Skip to content
馬場 高志2024/09/06 10:00:001 min read

LLMについて語るとき我々が語ること|イノーバウィークリーAIインサイト -17

 

大規模言語モデル(LLM)は、人間のような自然な文章を生成したり、幅広い分野の問題に高いレベルの解答を出したりする驚くべき能力を示し、社会に変革をもたらす技術として注目を集めています。

しかし、LLMがどうしてそのような能力を発揮できるのか、何ができて何ができないかについては、専門家の間でも意見が分かれています。そもそも、LLMをどのような種類のものと考えれば良いかについてもコンセンサスはありません。

新しい概念を理解しようとするとき、私たちはしばしば比喩(メタファー)や類推(アナロジー)を用います。確かにLLMについて説明されたものを読むと、さまざまな比喩が用いられています。

 

本記事では、認知科学者であるカリフォルニア大学サンディエゴ校のショーン・トロット助教の「LLMについて語るとき我々が語ること(What We Talk About When We Talk About LLM)」*と題されたブログ記事を紹介します。この記事でトロット氏は、人々がLLMを説明するために使う比喩を分析しています。

*アメリカの小説家レイモンド・カーヴァーに「愛について語るとき我々の語ること(What We Talk About When We Talk About Love)」(日本語版の翻訳者は村上春樹)という小説があります。

 

トロット氏は、言語学者のジョージ・レイコフの考えにならい、比喩は単なる言葉の飾りではなく、私たちの認知の基礎をなすものと考えています。比喩は現実の完全な表現ではなく、概念の特定の側面を強調する一方で、他の側面を覆い隠します。LLMの比喩が反映する考え方や世界観を理解することで、我々はこの技術に対するより多面的な見方を養うことができるでしょう。

LLMの擬人化

LLMの最も一般的な比喩は人間の心です。LLMが何かを「知っている」とか「信じる」というなど擬人化することが避けられません(これは、このコラムでも何回か指摘してきたことです)。これは、私たちが他人とやりとりするのと同様に、LLMと言語を通じて相互作用できるためでしょう。

しかし、LLMを理解するための比喩は人間の心だけではありません。トロット氏は、この記事では、他の重要な比喩を分析しています。

 

コピーとしてのLLM

LLMを説明する際によく引用される比喩に「確率的オウム」と「ぼやけたJPEG」があります。

「確率的オウム」はワシントン大学のエミリー・ベンダー氏らが論文で使用した表現で、LLMは訓練データの言語パターンを、意味を理解せずに確率的に再生産しているだけという見方を反映しています。オウムが人間の言葉を模倣するが、その意味を理解しているわけではないのと同様に、LLMも表面的な言語パターンを再現しているに過ぎないという考えです。

「ぼやけたJPEG」はSF作家のテッド・チャン氏がニューヨーカー誌の記事で使って有名になった表現です。LLMをウェブ上の膨大な情報を圧縮した、やや不完全なコピーとして描写しています。JPEGファイルが元の画像の詳細を一部失いながらも全体的な情報を保持するように、LLMも訓練データの細部を失いつつ、全体的な言語パターンを保持しているという見方です。

これらの比喩はLLMの出力が入力に似ているという事実を強調しています。そしてLLMは真の理解や創造性を持たず、単に既存のデータを再構成しているに過ぎないと示唆しています。また、LLMが忠実なコピーではないという事実は、ある意味悪いことであり、劣化した、あるいは信頼できないアウトプットにつながる欠点であることを示唆しています。一方で、この不完全さこそが学習と一般化のために必要だという指摘もあります。

 

シミュレーターとしてのLLM

複数の論者は、LLMをシミュレーターに喩えています。この比喩は、LLMが様々な役割や性格を演じる能力に焦点を当てています

ChatGPTのようなチャットボットは、事前学習とフィードバックを通じて、役立つアシスタントの役割を演じるよう条件付けられていますが、他のさまざまな役割をとることもできます。LLMは特定の役割を演じることが事前に決まっているわけではありません。LLMが演じている「キャラクター」は、対話の過程で変化していく可能性があります。

この比喩は擬人化の誘惑に抵抗するのに役立つかもしれません。LLMは多様性を含みますが、それ自体は主体性を持たない受動的なシステムです。LLMが生成するテキストは、プロンプトに応じてその時々に採用した特定のキャラクターを表現しています。LLM自体を擬人化することはさまざまな倫理的な問題が考えられますが、アウトプットされたテキストのキャラクターが「信念」や「欲求」などの心的な特性を持つと考えれば、あまり問題はないでしょう。

 

群衆の叡智としてのLLM

トロット氏は、またLLMを「群衆の叡智(Wisdom of Crowds)」や「集合知」を活用するものとして捉える比喩が複数の研究者によって使用されていることを指摘しています。トロット氏自身も2024年の論文「Large Language Models and the Wisdom of Small Crowds」でこの比喩を用いています。

「群集の叡智」とは、ジェームズ・スロウィッキー著の『⁠「⁠みんなの意見」は案外正しい ⁠』⁠(⁠角川書店)で注目を浴びた概念で、少数の権威による意思決定や結論より、多数の意見の集合による結論や情報のほうが役に立つ、あるいは正しい結論や予測につながるという理論のことです。

群衆の叡智の比喩は、LLMが膨大な量のデータから学習し、多数の人間の知識や見解を集約しているという見方を反映しています。この比喩の妥当性を支持する研究として、ペンシルバニア大学教授で政治予測の研究で知られるフィリップ・テトロック氏らがLLMの予測能力の正確さを研究した論文があります。この論文で著者たちは、複数のLLMの集合的判断がそれぞれの個別の判断を改善することを確認できたとしています。これは、人間の予測を集合することで予測の精度が向上するという「群衆の叡智」効果がLLMでも見出されることを意味しています。

 

不可解な神や宇宙人としてのLLM

最後の比喩は、LLMを「神」や「宇宙人」、あるいは「召喚された精霊」のような不可解で強力な存在として捉えるものです。この比喩は、AIがもたらす人類存亡リスクを懸念する人々と、その反対に位置するAIの無制限な技術革新の加速を支持する人々(「加速的効果主義」と呼ばれる)の双方に使われています。

「召喚された精霊」という比喩は、生成AIにプロンプトを出して答えを引き出す方法を、難解な魔法を使って別の世界から霊を「召喚」するというアイデアと結びつけています。確かに、ある種のプロンプト・エンジニアリング(「あなたは世界一のB2Bマーケターです!」)は、一種の呪文のように見えます。

「エイリアン」や「召喚された精霊」といった比喩は、AIによる人類存亡リスクを警告する文脈でしばしば使われます。AIが不従順で破壊的なもの、我々の絶滅を意図した暴走する存在になるかも知れないという懸念を示唆しています。

スペクトルの反対側では、ベンチャーキャピタリストのマーク・アンドリーセン氏は「テクノ楽観主義宣言」で、AIを含む新しい技術がもたらすものを受け入れるべきだと主張しています。

「我々は人工知能が我々の錬金術、賢者の石だと信じています——文字通り、砂(注:コンピューターチップに使われるシリコンのこと)に考えさせているのです。」

ここでも、言葉は「魔法の世界」(「錬金術」、「賢者の石」)を想起させますが、警戒を促すのではなく、アンドリーセン氏はむしろ人工知能を構築することの潜在的な利点を強調しています。

この比喩の表現に相当なばらつきがありますが、いくつかの一貫したテーマも浮かび上がってきます。まず、これらの比喩では「魔法的」、「宇宙人」、「精霊」といった言葉を使って、AIシステムの不可解さと新奇さを強調します。次に、これらの言葉は、それが人類への潜在的な危険性であれ、重要課題を解決するポジティブな可能性であれ、AIが持つ潜在的で強力な力を象徴しています。

この比喩は、他の比喩のようにLLMの技術的な特徴を性格付けようとするのではなく、潜在的な社会的影響を強調しているといえます。

まとめ:我々がLLMについて語ることから何を学べるか?

LLMを特徴づける方法は数多くありますが、そのいずれも文字通りに正しいわけではありません。結局のところ、LLMはぼやけたJPEGでも群衆でもなく、もちろん召喚された悪魔でもありません。

しかし、人々がLLMについて語る方法を見ることで、何かを学ぶことはできるとトロット氏は言います。人々が使う比喩は、それが意図的であるかどうかにかかわらず、必然的にその物事自体のある側面を強調し、別の側面を隠します。

LLMは、完全ではありませんが、訓練データを再現するよう訓練されています(それらは「コピー」です)。また、異なる文脈で異なる振る舞いを示すようプロンプトを与えることもできます。そしてこのプロセスはプロンプトとLLMからのアウトプットの繰り返しを通じて動的に展開します(それらは「シミュレーター」です)。LLMはまた、個々の人間がアクセスできるものよりもはるかに多くのデータで訓練されているので、その出力は多くの人たちの考えの集合を反映しています(それらは「群衆の叡智」です)。

そして最後に、LLMは社会にとって危険と期待の両方を秘めた不可解なブラックボックスです(それらは「神々」、「悪魔」、または「宇宙人」です)。

これらの比喩のうちのどれかが他のものより優れているとは言えません。しかし、誰かがどの比喩を使うかを見ることで、その人がLLMのどの側面を重視し、どの側面を軽視しているのかについて、何かを知ることができるかもしれません。また、自分自身がLLMを理解するときに使う比喩についても振り返って、その枠組みの選択が自分の思考の方向に偏った影響を与えていないか、少し注意深く考えてみることも重要でしょう。 

avatar

馬場 高志

1982年に富士通に入社、シリコンバレーに通算9年駐在し、マーケティング、海外IT企業との提携、子会社経営管理などの業務に携わったほか、本社でIR(投資家向け広報)を担当した。現在はフリーランスで、海外のテクノロジーとビジネスの最新動向について調査、情報発信を行っている。 早稲田大学政経学部卒業。ペンシルバニア大学ウォートン校MBA(ファイナンス専攻)。