最近、AI開発の分野で最も注目を集めているのが、大規模言語モデル（LLM）の推論能力の向上です。2025年1月20日に中国のDeepSeekが発表したオープンソースLLMのDeepSeek R1は、数学、コーディング、科学的推論など、複雑な問題を解決する能力において、この分野で先行するOpenAIのo1モデルに匹敵する性能を示し、世界に大きな衝撃を与えました（くわしくは、「DeepSeekショック - 中国発のオープンソースAIはゲームチェンジャーか？｜イノーバウィークリーAIインサイト -36」をご覧ください）。
DeepSeekは、どのようにして短い期間でLLMに高い推論能力を持たせることができたのでしょうか？その鍵を握るのは、DeepSeek R1の開発過程で生まれたR1-Zeroというモデルです。今回は、そのR1-Zeroの開発手法と成果が、今後のAI進化に与える重大な影響について解説します。
R1-Zero：強化学習のみによる推論能力の創発
従来のAI開発では、高度な推論能力を獲得するために、人間の専門家が作成した教師データを大量に使ったファインチューニングが必要不可欠だと考えられてきました。これは教師ありファインチューニング (SFT: Supervised Fine-tuning)と言われる手法で、大変時間とコストがかかるプロセスです。
ところが、DeepSeek R1の開発過程では、SFTを一切行わず、強化学習 (Reinforcement Learning)のみでトレーニングされたR1-Zeroというモデルが重要な役割を果たしました。 DeepSeekはR1をオープンソースで公開し、その開発プロセスの詳細も論文で公開しています。
DeepSeekは、この論文で、R1-Zeroが、数学やコーディングなどの推論タスクにおいて、SFTなしでも高い能力を獲得できたことを明らかにしました。 これは驚くべき成果でしたが、R1-Zeroは、複数の言語の混合や読みづらさといった難点が残っていました。そこでDeepSeekの研究者たちは、R1-Zeroの手法に加えて、SFTと人間からのフィードバックによる強化学習 (RLHF : Reinforcement Learning from Human Feedback）を行うことで、これらの問題を克服し、最終的にR1を完成させました。しかし、高度な推論能力はR1-Zeroで既に現れていたのです。
アハ・モーメント：自己検証や振り返りといった洗練された推論行動の自発的な出現
DeepSeek-R1のトレーニングでは、モデルは問題に対する最終的な答えを出す前に、まず推論プロセスを生成するように指示されます。生成された推論プロセスは、応答の正誤を主な基準として強化学習アルゴリズムに従って評価され、学習されていきます。この推論プロセスは思考の連鎖 (COT: Chain of Thought)と呼ばれています。
R1-Zeroはこのトレーニングの過程で、自身の推論プロセスを改善し、具体的には自己検証、内省、長い思考の連鎖などの高度な推論行動を自律的に学習しました。
R1-Zeroの特徴の一つは、思考の連鎖のステップをユーザーに見せてくれることです。DeepSeekの研究者たちが驚いたことには、ある数学の問題を解く途中で、R1は「待て、待て、待て。これはアハ・モーメントだ。ステップ・バイ・ステップで再評価しよう」（下図の赤字部分）と反省し、最初からやり直して、別の方法で問題を解き始めたのです。
(R1-Zeroの中間バージョンの出力例)
(DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning)
論文では、このようにモデルが試行錯誤を繰り返す中で、ある時点から問題解決能力を飛躍的に向上させる様子を「アハ・モーメント（ひらめきや発見、洞察などの『なるほど！』という瞬間）」と表現しています。
R1-Zeroは強化学習の過程で以下のような行動を自然に身につけていきました：
- 問題解決の途中で立ち止まり、それまでの手順を見直す
- 複数の解決アプローチを探索し、より良い方法を選択する
- 複雑な問題にはより長い時間をかける
驚くべきことに、これらの行動は、プログラムとして明示的に組み込まれたものではないにも関わらず、強化学習の過程で自発的に獲得されていったのです。
OpenAIの推論モデルであるoシリーズも思考の連鎖と強化学習を用いていることがわかっていますが、その具体的な手法は明らかにされていません。今回DeepSeekが、モデルをオープンソースで提供し、その開発手法を公開したことによって、高度な推論能力を持つAIの開発が加速することが予想されます。
強化学習の威力：DeepMindのAlphaGoとAlphaGo Zeroの違い
OpenAIの共同設立者であるアンドレイ・カーパシーは、教師あり学習と強化学習の違いについて最近のXへの投稿で興味深い指摘をしています。
教師あり学習は、お手本を見て真似をする学習方法であり、強化学習は、自分で試行錯誤を通じて学習する方法です。 カーパシーによれば、ディープラーニングが人間の能力を超えるような真に驚くべき成果をもたらすのは、教師あり学習ではなく、強化学習を用いた場合であり、その例としてGoogle DeepMindが開発した囲碁AIのAlphaGoを挙げています。
Google DeepMindのAlphaGoは初期段階ではプロ棋士の棋譜データを教師として学習し、やがて世界最強のプロ棋士を打ち破るレベルに達しました。しかし、DeepMindはその後も開発を進め、人間の棋譜を一切使わず、AI内で自己対戦を繰り返すことで強くなるAlphaGo Zeroを開発しました。これは、単純に対戦に勝つこと報酬として学習する教師なし強化学習です。
その結果、AlphaGo Zeroは最強プロを破った従来のバージョンでも全く歯が立たず、人間には全く思いもよらないような手を打つシステムに成長しました。カーパシーは、LLMも人間が介在したデータを使用せずにAIが自分で試行錯誤して学習することで自律的に人間のレベルを超えるような高い推論能力を獲得できるようになる可能性を示唆しています。
R1-Zeroという命名は、AlphaGo Zeroへのオマージュかも知れません。
R1-Zeroが示す4つの重要な可能性
R1-Zeroの成功は、今後のAI進化におけるいくつかの重要な可能性を示唆しています。
1．人間というボトルネックを取り除くR1-Zeroは、人間による教師データという従来のボトルネックを取り除きました。
従来のAI開発における最大の課題の一つは、質の高い教師データの作成に膨大な時間とコストがかかることでした。例えば、数学の問題解法を学習させるためには、数学の専門家が多数の問題について、その解法プロセスを詳細に記述する必要がありました。また、人間の専門家の知識や経験に基づいた解法に限定されるため、潜在的により効率的な解法をAIが見つけ出せない可能性もありました。
R1-Zeroは、これらの制約を取り払い、答えが正しいかどうかという単純なフィードバックのみを使用して、効率的な問題解決方法を自ら見出すことに成功しました。R1-Zeroは、人間というボトルネックを取り除き、強化学習を大規模化することでモデル能力が向上するという新たなスケーリング則の可能性を示唆しています。
2．推論プロセスの透明性
R1-Zeroは、AIの思考プロセスを人間が理解できる形で示します。
R1-Zero（およびR1）は思考の連鎖の過程をユーザーに見せてくれます (これに対して、OpenAIのo1は、細かい思考のステップの内容をユーザーから隠しています)。R1は意思決定プロセスを人間にとって理解しやすい形で示してくれるため、AIがどのように結論に達したのかを検証することができます。
説明可能性は、医療診断や金融取引など、重要な意思決定を伴う分野でAIを活用する際に極めて重要な要素です。AIの判断根拠が明確に示されることで、システムの信頼性が大きく向上することが期待できます。
3．推論能力が一般化する可能性
R1-Zeroの強化学習アプローチは、多様な分野への応用が期待できます。
今回のDeepSeekの研究は、答えの正誤が明確で検証可能な数学やコーディングといった分野においては、教師なし強化学習が非常に有効であることが示しました。 しかし、現実世界の問題は、答えの検証が難しい場合も多く、強化学習のみというアプローチがどこまで他の分野に適用できるかは、今後の研究の進展を待つ必要があります。
しかし、アレン人工知能研究所で事後学習の研究を率いているネイサン・ランバートは、「なぜ推論モデルは汎化するのか」と題されたブログ記事の中で、思考の連鎖は、LLMが推論するためにとても適したアプローチであり、思考の連鎖を強化する学習方法には、多くのドメインで推論能力を獲得する汎用性があるのではないかと述べています。思考の連鎖を使って獲得された推論能力は、さまざまな分野に移転可能なのではないかという見方をしているのです。
さらに、現実世界の複雑な問題に関しても、適切なサンドボックス（Sandbox：コンピューターやゲーム、規制などにおいて、特定の領域を隔離して安全に実行・検証するための環境）を準備することで、強化学習を行うことは可能だとする論者もいます。
最近、コンピューターを操作し、ウェブブラウザーなどのツールを使えるAIエージェントが登場してきています。まずは安全なサンドボックス環境で、サイトへのログイン、アカウントの設定な、ボタンのクリックなど検証可能なアクションについて強化学習をすることから始めれば、やがては、例えば「数百の『いいね』をゲットしろ」という指示に対しても、試行錯誤を繰り返し、成功する方法を学習できるAIが登場するかも知れません (ここでの議論は米国で大変人気があるレックス・フリードマンのポッドキャストを参考にしました)。
4．安全性と信頼性の向上
高度な推論能力は、AIシステムの安全性と信頼性を大きく向上させます。
例えばOpenAIは、「熟慮によるアライメント: 推論がより安全な言語モデルを可能にする」という論文でOpenAI oシリーズのような 推論能力の高いモデルは、より効果的に安全判断を行えるようになることを示しています。
また、いくつかの研究や評価結果は、思考の連鎖で推論を行うLLMでは、従来のモデルに比べてタスク遂行中の誤った情報生成（いわゆるハルシネーション）が低減される傾向があることを示唆しています。たとえば、1月31日に発表されたOpenAI o3-miniは、ハルシネーション率が改善されていると報告されています。
おわりに
DeepSeekは、教師あり学習に依存しない強化学習のアプローチによって、AIが自発的に推論能力を発達させることを実証しました。この成果は、汎用性、信頼性、安全性、そして説明可能性の高いAIの実現に向けて、重要な一歩となるでしょう。
現在、AIの次のステージとして、AIエージェントが注目を集めています。これは、人間に代わって自律的にタスクをこなすAIシステムです。R1-Zeroで実証された技術は、高度な判断力と確実性を備えたAIエージェントの実現を後押しする可能性があります。
強化学習を通じて推論能力が自発的に発達し、しかも、その能力が様々な領域に一般化するとすれば、それはAIの進化が加速し、その活用範囲が大きく広がる新たなステージに入りつつあることを示しているといえるでしょう。
