生成AIの進歩は、しばしばその学習データの規模やモデルの性能向上という観点から語られます。しかし、近年の最も重要な進展の一つが、あまり注目されていない「コンテキストウィンドウの拡大」です。最新のAIモデルでは、一度に処理できるデータ量が劇的に増加し、より深い文脈理解と情報源に裏付けられた正確な応答が可能になっています。
スティーブン・ジョンソンが最近公開したエッセイ「You exist in the long context」は、この進展が持つ革新的な意味を明快に解説しています。彼は「世界をつくった６つの革命の物語 新・人類進化史」などの著作で知られるサイエンス作家ですが、AIウィークリーインサイト第24回で紹介した通り、2年前からGoogleに籍をおきNotebookLMの開発に参画しています。
ジョンソンは、この記事で、コンテキストウィンドウの拡大が、AIの活用に大きなインパクトをもたらすと主張しています。ビジネスの世界においても、組織の膨大な知識を正確に理解・活用できるAIの実現によって、より信頼性の高い意思決定支援が可能になると期待されます。
コンテキストウィンドウとは何か
コンテキストウィンドウとは、モデルが一度に処理できるトークン数、つまりユーザーが入力できる情報量のことです。
大規模言語モデル（LLM: Large Language Model）は、人間で言えば「長期記憶」と「短期記憶」に相当する2種類の記憶を持つと考えることができます。インターネット上の膨大な一般的な知識を事前学習し圧縮したものが「長期記憶」であり、ユーザーが入力する情報を一時的に保持するコンテキストウィンドウが「短期記憶」にあたります。
2年前、最先端のOpenAIのGPT-3の1回の会話で処理できるトークン数（＝コンテキストウィンドウのサイズ）は2,000でした。これは、約1,500文字に相当します。しかし、現在のGeminiは、その1,000倍の200万トークン（約150万語）を処理できます。この短期記憶の進化の意味を理解するために、ジョンソンは脳神経医学の世界で有名な症例を挙げて説明しています。
1953年にてんかん発作の治療のために特殊な脳手術を受けたヘンリー・モレーソンという患者は、手術前の記憶は保持していましたが、新しい記憶を形成できなくなりました。短期的な会話は可能でしたが、数分経つと会話の内容を忘れてしまい、同じ人と何度も初対面のように話すことになりました。
2年前のAIモデルは、まさにこのヘンリー・モレーソンのような状態でした。豊富な知識を持っていても、ユーザーとの会話の文脈を長く保持できず、複雑な対話や深い理解を必要とするタスクには適していませんでした。
ロングコンテキストがもたらす利点
コンテキストウィンドウの拡大によってもたらされる主な利点は以下です：
より自然で文脈に沿った会話
初期のLLMは、会話の履歴を十分に保持できないため、しばしば文脈から外れた応答をしていました。しかし、コンテキストウィンドウの拡大により、LLMは過去の会話全体を参照しながら応答できるようになりました。
ハルシネーションの減少
LLMは誤った情報を生成してしまうハルシネーションの問題がありますが、コンテキストウィンドウ内の情報に関しては、LLMの回答の正確性は大幅に向上します。
複雑な文脈の理解と生成
ロングコンテキストを持つLLMは、長文のストーリーや複雑な文書を全体として理解し、その文脈に基づいた生成や分析が可能です。
パーソナライゼーション
ロングコンテキストウィンドウは、パーソナライゼーションを可能にします。LLMは、インターネット全体を読み込んでいるかもしれませんが、あなたのことは何も知りません。LLMはあなたの会社のマーケティングプランや個人のメールを知っているわけではありません。こうしたドキュメントをコンテキストウィンドウに入れることでLLMは、瞬時にあなたやあなたの会社に関するエキスパートになります。
ロングコンテキストウィンドウの活用：巨大な短期記憶の威力
GoogleのNotebookLMは、Geminiのロングコンテキストウィンドウの力を最大限に活用したツールです。さまざまなタイプのドキュメントをアップロードしてコンテキストウィンドウに自由に入れることができます。そして、アップロードされた文書から正確な引用とともに回答を生成でき、その信頼性を確認することも容易になっています。
NotebookLMのロングコンテキストウィンドウの活用方法として下記のような例を挙げられています：
インタラクティブゲーム：
ジョンソンは、彼の小説をコンテキストウィンドウに取り込み、LLMのゲームのホスト役を務めるようプロンプトを出し、インタラクティブな犯人捜しのストーリーゲームを作成しました。これはLLMが単なる要約や分析を超えて、文書の構造、因果関係、登場人物の関係性など、複雑な要素を理解し活用できることを示しています。
エブリシングノートブック：
ジョンソンは、彼の著書14冊すべての全文と、これまでに発表したすべての記事、ブログ記事、インタビュー、そして長年かけてまとめた研究ノートのコレクションをアップロードし、これを「エブリシングノートブック」と呼んでいます。新しいアイデアや魅力的なストーリーに出くわすと、まず、これを使って、そのアーカイブにつながりが潜んでいないかどうかを確認しているそうです。このエッセイで上記のヘンリー・モレーソンの話を使うことにしたのも、「エブリシングノートブック」を使った結果だそうです。
「第二の脳」：
Geminiのコンテキストウィンドウはさらに700万トークンに拡大される計画が発表されています。これが実現すれば、自分が書いたものすべてに加えて、長年の間に自分の考え方に最も深く影響した100冊の本や記事などをアップロードすることができるだろうと言います。これは、「第二の脳」といえるかも知れません。
ビジネスへのインパクト
ビジネスの文脈では、以下のような活用が考えられます：
エキスパートのノウハウの共有：
専門家の著作や記録全体をアップロードしコンテキストウィンドウに読み込むことで、その専門家の知見に基づいたアドバイスができるようになるかも知れません。これは、書籍や講演会のような既存のプラットフォームを通じて専門知識を共有することで生計を立てている専門家にとって、全く新しい収入源を生み出す可能性があります。
組織の知識の活用革新：
プレスリリース、マーケティング計画、取締役会議の議事録など、平均的な企業文書が数千語だとすると、Geminiは同時に千近い文書を短期記憶として保持できることになります。新たな製品機能や新たなプロジェクトを提案する際に、こうしたLLMは大いに役立つだろうと考えられます。企業に限らず、政府機関や地方自治体、あるいは草の根の支援団体でも同様の活用が可能でしょう。
ロングコンテキストウィンドウの真価：キュレーションが鍵を握る
ロングコンテキストは、LLMが事前学習の過程を通じて獲得した自然な言語生成の能力や推論能力以上のものをもたらします。組織の具体的な歴史をLLMに与えることで、単なる質問応答や提案へのフィードバック以上の価値を生み出すことができます。
例えば、企業のアーカイブから見出されるパターンに基づいて、新製品に対する顧客や取引先の反応をシミュレートすることが可能になります。また、都市のプランニングにおいても歴史的コンテキストを理解することで、重要な決定がもたらす波及結果をシミュレートするシナリオ・プランニングを行うこともできます。さらに、遊びを通した学習が高い効果を上げていることを考えれば、歴史的コンテキストをゲーム化して効果的な学習ツールとすることも可能でしょう。
しかし、こうしたロングコンテキストウィンドウの力を最大限に活用するために最も重要になるのが、情報の収集・選別・編集というキュレーションの能力です。ジョンソンは今後の組織には以下のような取り組みが求められるだろうと言っています：
- 知識ベースにより多様な情報ソースを含める
- 組織の歴史に適切な注釈を付ける
- モデルが理解しやすいように情報を選択的に編集する
- 専門的なアーカイブ担当者（キューレーター）の採用・育成
つまり、ロングコンテキストの時代における競争優位性は、LLMの性能自体ではなく、そこに投入する情報の質と、それを整理・活用する能力にかかっているというのです。
おわりに
ロングコンテキストウィンドウの進化は、AIの活用に新しい地平を開くものです。B2B企業にとっても、この進展は組織の知識管理と活用を根本的に変える可能性を持っています。重要なのは、この変化を単なる技術革新としてではなく、組織の知的資産を活用するための新しい機会として捉えることです。
今後、先進的な組織では、知識管理プロセスの確立など、具体的なアクションを開始されるでしょう。ビジネスリーダーは、この変化がもたらす機会とリスクを理解し、適切な準備を進めることが求められます。
