2024/04/14
「再帰の呪い（The Curse of Recursion）」という題名の生成AIに関する論文（https://arxiv.org/abs/2305.17493）について、ネットニュースの記事で知った。再帰の呪いとは、AIが出力した言葉がインターネットに溢れるようになると、AIは自分が出力した言葉を学習に使うことになり、次第に同じようなことしか言わなくなり、出力が劣化することを言う。つまり、超簡潔に言うとインターネット上の情報の多様性が失われてゆく、ということか。
関連する論文、「生成AIとインターネットの相互作用の理解に向けて」（https://arxiv.org/abs/2306.06130）には、象徴的な画像が載っている。画像生成AIに、最初は普通の花とか鳥などの画像を学習させるのだが、そのAIに、自分が生成した画像を学習に使うことを繰り返したところ、ほんの数世代で出力がぼやけてしまい、単なるノイズ画像のようになってしまった、というものだ。実際に上記の論文の13ページの図（画像）を見てみれば、一目瞭然で再帰の呪いの意味を理解できる。
遺伝子のアナロジーで説明すると分かりやすいかもしれない。人間や動物でも、同じ親の子孫同志が結婚して子孫を残すような近親相姦を繰りせば、遺伝子の多様性が失われ、その子孫は絶えてしまうという。生成AIに、自分が出力した言葉を学習させるということは、結果的にインターネット上の情報の多様性を失わせる結果につながる。AIの専門家でなくても十分に想像できる。
そう考えると、それは人間の脳と言葉でも同様ではないかとも思う。テレビニュースの街頭インタビューなどでマイクを向けられた人の答えが、とても画一的になってきているような気がして、違和感を覚えたことがある。特に、若者が街頭インタビューで答えているのを見ると、どんな話題でも、ほぼ同じような言葉で、ほぼ同じような内容のことを言っているように見えて、言葉の多様性が失われているのではないかと思ったことがある。SNSなどで使われる言葉も、結局は人間の脳が出力している言葉。人間の脳が出力した言葉を、人間の脳が読み込んで、その言葉についてまた言葉を出力する。再帰以外の何物でもない。
しかし、人間と生成AIの違いは、脳の数は人間の数だけあるが、生成AIは、今のところ限られた数しかない点であろう。Chat GPTは、Open AI社が運用しているいくつかのモデルがあるだけだし、Hugging faceには膨大なLLMがアップされているとは言え、どれもモデルは類似で、そもそも地球上の人口に比べれば圧倒的に数は少ない。その少ないAIが、膨大なデータを学習して、膨大な出力をしている。まぁ、LLMの数が地球の人口並みになるのも、それほど遠い将来のことではないかもしれないが。
生成Aは、人間の作り出したものとしては、極めて強力で便利な反面、注意しないと、インターネット上のデータの多様性を失わせ、世の中の情報のエントロピーを増大させ、情報の熱的死のような状態に追いやる危険性を内在している。先にあげた、画像生成AIの出力が劣化する研究結果の画像を見たときそれを直観して怖くなった。しかし、今この瞬間にもインターネットには、AIが生成した情報が爆発的に増えていっている。
せめて、AIが生成したもには、Made With AI のマークをつけよう。そして、AIに学習させるときには、このマークのついてないものを使うようにしよう。そして、人間は、自分の頭で考えたことを自分の言葉で言おう。それが、情報の多様性を守り、情報の熱的死を遅らせる力になる。多様性大事。
2023.8.14.月 お盆、明日台風７号が接近する予報
写真：脳のイラストとChatGPTのロゴ（組み合わせて自作した）
