近年、ChatGPTに代表される生成AIの進歩には目を見張るものがあります。医療文献を要約したり、適切な法的判例を見つけたり、数学オリンピックの問題を解くなど、これまで人間のエキスパートにしかできないと考えられていた高度な認知タスクを次々とこなすようになっています。しかし、こうした進歩の一方で、現在のAIは、曖昧で予測困難な問題に対しては弱さを見せ、実世界で使用する際にそれが大きな危険につながる可能性があります。
このような背景のもと、AI研究の第一人者であるモントリオール大学のヨシュア・ベンジオ教授やウォータールー大学、スタンフォード大学、サンタフェ研究所などから人工知能、認知科学、心理学などの分野をまたがる著名な研究者たちが集まり共同で「知恵のあるマシンを作る：AIメタ認知の重要性（Imagining and building wise machines: The centrality of AI metacognition）」と題された興味深い論文を発表しました。
著者たちは、AIに残された課題を克服するためには、「知恵（wisdom）」という観点が重要だと指摘しています。
AIが直面する4つの課題
今の生成AIシステムは、学習データの範囲を超えた予測不可能な環境では、「頑健性」に欠け、しばしば信頼に欠けるアウトプットを生みます。AIの判断プロセスは不透明であり、「説明可能性」に問題があります。コミュニケーションに課題があり、長期的な計画に信頼性をもってコミットできないことが、「協力」の障壁となっています。そして、これらの欠点が、AIの判断ミスや予期せぬ行動を引き起こし、重大な危害リスクをもたらす、「安全性」の問題につながっています。
著者たちは、これらの課題に共通する根本的な原因は「知恵の欠如」だと言います。最近、主要AI企業各社が実世界の中で自律的に行動するAIエージェントへの取り組みを発表し、大きな話題となっていますが、これらの課題が未解決であることは、AIエージェントの展開に際しての大きなリスクになると考えられます。
知恵とは何か
本論文でいう「知恵」とは、曖昧で、不確実で、予測困難な「取り扱いにくい（Intractable）」問題を効果的に解決する能力を指します。著者たちは、人間の知恵は以下の2つのレベルの戦略から構成されると説明します：
1.タスクレベル戦略
具体的な状況に対処するための方法で、主に以下の3種類があります：
- ヒューリスティクス（経験則）は、複雑な分析を避け、少数の重要な情報に基づいて判断する方法です。例えば、家族関係の問題解決では「家族の絆を優先する」というヒューリスティクスが有効な場合があります。計算コストを抑えながら、多くの場合において適切な判断をもたらすことができます。
- ナラティブ（物語的理解）は、因果関係や類推を用いて状況を理解し、予測や評価を行う方法です。例えば、選挙キャンペーンのコンサルタントが、過去の選挙事例や有権者心理の理解に基づいて、最悪のシナリオを想定し対策を立てるような場合が該当します。ヒューリスティクスより計算コストは高いものの、やはり問題を単純化する戦略といえます。
- 分析的手順は、データや状況を体系的に分析し、論理的な推論を積み重ねて結論を導く方法です。例えば、統計分析を用いて市場動向を予測したり、数理モデルを使って最適な意思決定を行ったりする場合が該当します。最も計算コストが高い一方で、条件が明確な場合には最も正確な結論を導くことができます。
2. メタ認知戦略
適切なタスクレベル戦略を持つことは重要ですが、それだけで十分ではありません。タスクレベル戦略を選択・管理するメタ認知能力が必要です。メタ認知戦略の代表的なものとしては、以下の5つが挙げられます：
- 知的謙虚さは、自身の知識の限界を理解する能力です。例えば、ベテラン医師が個々の患者の症状について、より詳しい同僚に相談するような場合です。
- 認識論的敬意は、適切な場合に、他者の専門知識に委ねる姿勢を指します。問題解決において、異なる立場や経験を持つ人々の意見を積極的に取り入れることで、より包括的な理解が可能になります。
- シナリオ柔軟性は、状況の多様な展開を考慮する能力です。単一のシナリオだけでなく、様々な可能性を想定し、それぞれに対する対応を準備することができます。
- 文脈適応性は、状況の特徴を適切に見極める能力です。同じような問題でも、文脈によって最適な解決策が異なる場合があることを理解し、対応を調整できます。
- 視点のバランスは、異なる利害関係を統合する能力です。複数の当事者が関わる問題で、それぞれの立場や利害を考慮しながら、全体として最適な解決策を見出すことができます。
人間はタスクレベル戦略とメタ認知戦略を下記の図のように組み合わせて賢い判断をしていると考えられます。
タスクレベル戦略とメタ認知戦略の関係（Imagining and building wise machines: The centrality of AI metacognitionより引用）：
タスクレベル戦略（経験則、物語的理解、分析的手順など）は、特定の状況において取りうる行動の選択肢を提示します。これに対し、メタ認知による監視と制御は、以下の3つの方法でこれらの戦略を管理します：
- 適切な情報の収集
- 複数の戦略が競合する場合の選択
- 重大な失敗を防ぐための結果の監視
今までのAI研究は、タスクレベル戦略に焦点を当ててきており、メタ認知戦略の研究は未発達です。しかし、AIシステムが実世界で活動する機会が増えるにつれ、曖昧な状況や予測不可能な環境に対処する必要性が高まっており、メタ認知能力の実装はますます重要になっています。
AIにおけるメタ認知の可能性
人間のメタ認知とは、自分の思考を振り返り、その振り返りを使ってその後の思考や行動を効果的に方向付けることです。これに倣って、AIのメタ認知とは、自分自身の計算プロセスをモデル化し、そのモデルを用いて後続の計算を最適化する能力と定義できます。
現在の生成AIの一部のモデルも、数学の問題を解く際に必要な手順を分類・整理する能力や、複数のモデルからの情報を統合してより良い判断を行うなど、限定的なメタ認知能力を示しています。
しかし、現状のAIシステムは複雑なメタ認知を要する問題には対応できません。自身の目的を十分に理解できていないことや、しばしば過度の自信を示してしまう傾向があります。また、自身の能力の限界を適切に認識できず、情報源の質を正しく評価することも苦手です。
AIに知恵を実装する意義
メタ認知能力を持つ「知恵あるAI」の実現は、冒頭で述べた4つの課題の解決に大きく貢献すると期待されます。
頑健性の向上という点では、メタ認知を持つAIは、不確実な状況での過度の自信を避け、新規な状況での慎重な判断が可能になります。また、単一の情報源に頼ることなく、多様な視点からの情報を統合して、より信頼性の高い意思決定を実現できます。
説明可能性の改善においては、AIが自身の思考プロセスを明確に説明できるようになり、ブラックボックス化の問題を軽減できます。また、対話相手の理解レベルに合わせて説明方法を調整する能力も身につけることができます。
協調能力の強化に関しては、人間やAIの能力と限界を理解した上で適切な役割分担を行い、状況に応じてコミュニケーション方法を調整できるようになります。これにより、より信頼性の高い協力関係を築くことが可能になります。
安全性の確保については、自身の能力を認識したAIシステムは最も安全リスクが高い分野を特定できるようになるでしょう。継続的に自身のパフォーマンスをモニターすることによって、リスクの高まりを認識することも可能になります。また、経験から学習する能力も高くなると期待されます。
このように、メタ認知能力の実装はAIシステムの安全性向上に貢献すると期待されます。しかし、AIの安全性を考える上では、より根本的な課題が存在します。それが「AIアライメント」と呼ばれる問題です。強力になったAIシステムが、間違った目標を追求した場合、それを抑制できなくなるリスクに警鐘を鳴らす専門家もいます。
AIアライメントの問題
AIアライメントとは、AIシステムの目的や行動を人間の価値観や意図に沿うように設計・調整することです。しかし、人間の価値観をどう捉えるべきかについては、深刻な課題があります。
第一に、人間同士でさえ価値観は完全には一致していません。例えば、ステレオタイプ的な情報に関して、それが統計的に正確であれば提供して構わないと考えるか、それとも公平性の規範を重視して提供を控えるべきかという議論があります。
第二に、文化によって価値観は大きく異なります。西洋社会が個人主義的価値を重視する一方、他の社会では公共性、安全、博愛など、異なる価値を重視する場合があります。特に、主要なAI企業が特定の国や文化圏に集中している現状では、この問題は無視できません。
第三に、そもそも現在の社会規範が「正しい」という保証はありません。歴史的に見ても、かつては当然とされた価値観が現代では否定されているように、社会の価値観は進化し続けています。現在の価値観にAIを合わせることは、むしろ社会の進歩を妨げる可能性があります。
これらの問題を踏まえると、AIアライメントという目標自体を再考する必要があるかもしれません。著者たちは、AIを特定の「正しい」価値観へ合わせるのではなく、正しいメタ認知戦略を持つように設計する方が、より現実的かつ望ましい方向性かもしれないと言います。例えば、行動の選択において「人間の相反する規範の内、一つにでも危害を及ぼす可能性がある場合は、デフォルトとして行動を控える」というヒューリスティクス戦略をAIに組み込むといったアプローチが考えられます。この場合も相反する視点を認識したり、過剰な自信を避けたりできるというメタ認知能力が重要になります。
おわりに
AIに知恵を実装する試みは、まだ始まったばかりです。AIがメタ認知能力を獲得できているかどうかの評価手法の確立、効果的なメタ認知能力の学習手法の開発など、乗り越えるべき課題があります。しかし、この研究の方向性は、より信頼性が高く、人間との協調が可能なAIの実現に向けた重要な一歩となるでしょう。
今後、AI研究がこの方向にさらに進展することで、より賢明な判断ができ、人間社会により良く統合されたAIシステムの実現が期待されます。
