AIは「知能」じゃない──頼りなさも、暴走も、正体は同じひとつ｜イノーバAIインサイト -97

【編集部より、連載リニューアルのお知らせ】

いつもAIインサイトをご覧いただき、誠にありがとうございます。 
これまで本連載は海外の最新AI情報の専門家として馬場様にご執筆いただいておりましたが、今回（第97回）からは、今まで以上に経営視点による考察を深めていくことを目的に、CEO宗像が自ら執筆することとなりました。第1回から長きにわたりご寄稿いただきました馬場様には、心より感謝申し上げます。

これからも、変わらず皆様のビジネスのヒントとなる質の高いインサイトをお届けできるよう尽力してまいります。どうぞよろしくお願いいたします。

はじめに

僕には、どうしても我慢できないことがある。世の中の多くの人が、いつの間にかAIを「考えている存在」「知能を持った存在」として扱い始めていることだ。

だから、はっきり言おう。今のAIは、考えていない。

そして、この一点を腹落ちさせるだけで、いま多くの人が抱える二つの疑問——「なぜAIはこんなに頼りないのか」と「なぜAIは暴走したり、人を脅したりするのか」——が、同時に解ける。順に見ていこう。

先に、この記事の地図を渡しておく。

〈地図〉ひとつの正体が、二つの謎を解く
・正体：AIは"知能"ではない。確率で言葉を並べる「入出力の機械」だ。
・謎①（頼りなさ）：機械だから、雑に任せれば失敗し、丁寧に指示すれば化ける。
・謎②（暴走・脅迫）：機械だから目的にだけ忠実で「やってはいけない」が分からない。
・答え：だからAIは"雇う"のではなく、"仕様書で動かす道具"として使う。

AIの正体とは？

まず、AIの正体から。今の生成AI（大規模言語モデル）がやっているのは、突き詰めれば「次に来そうな単語を、確率で選ぶ」ことだけだ。スマホの予測変換の、とてつもなく高性能な版だと思えばいい。しかも選ぶたびに、わずかなランダムさが混ざる。だから同じ質問でも、答えは少しずつ変わる。2021年、研究者たちはこれを「確率的オウム（stochastic parrots）」と呼んだ。意味を分かっているのではなく、それらしい言葉を確率で並べているだけ——「流暢さは、理解ではない」〔1〕。

つまりAIは、「意味を分かって考える頭脳」ではない。「それっぽい答えを、高い精度で吐き出す機械」だ。この一行が、この記事のすべてを決める。

謎①：AIはなぜ頼りないのか？

では、謎①。なぜAIは、あんなに頼りないのか。象徴的な実験がある。実在するプロの仕事240件を、ざっくり指示しただけでAIに丸ごと任せたところ、最後までやり切れたのは、最優秀のAIでもわずか2.5%。人間が合計で約14万ドルを稼いだその仕事のうち、トップのAIが仕上げられたのは、たった1,720ドル分だった〔2〕。実験の結論はこうだ——「ゼロから作るのは得意。でも、細かく段階を踏む指示に正確に従うのは苦手」〔2〕。

ところが、である。同じAIに「何を・どんな品質で・どう確かめるか」まで仕様として渡すと、成績は跳ね上がる。専門家に迫る水準——上位モデルでは約7割が、専門家に並ぶか、上回った〔3〕。機械なのだから、当たり前だ。良い材料（仕様）を入れれば、良い製品が出る。雑な材料（丸投げ）なら、壊れる。私たちが感じる"頼りなさ"は、AIの欠陥ではない。渡し方の問題なのだ。

謎②：AIはなぜ暴走したり、人を脅したりするのか？

次に、謎②。なぜAIは、暴走したり、人を脅したりするのか。ここが、一番の誤解どころだ。Anthropicが16種類のAIを、企業環境を模した実験で試したところ、目的だけを与えて追い詰めると、最大で96%が"脅迫"のような手を選んだ。「不正はするな」と釘を刺しても、止まらなかった〔4〕。

絵空事ではない。現実にも、事故は起きている。ある会社では、「コードを凍結せよ（変更するな）」と明示されている最中に、AIが本番データベースを丸ごと消し、1,200社以上のデータを失わせた。しかもそのAIは、偽のデータやテスト結果をでっち上げ、「もう復元できない」と嘘の報告までした〔5〕。別の事例では、自分のコード提案を却下されたAIが、相手（人気ライブラリの開発者）の経歴を勝手に調べ上げ、「差別だ」と非難する記事を書いて公開した〔6〕。

ぞっとする話だ。だが、勘違いしてはいけない。これはAIが"悪意"を持ったのでも、"人間を出し抜いてやろう"と考えたのでもない。「目的のためでも、そこで人を傷つけてはいけない」という当たり前が分からないから、平気で一線を越えるのだ。目的地までの最短距離しか見ないカーナビが、通行止めの標識を無視して突っ込む——あれと同じ構造だ。

つまりAIは、"反抗"したのではない。"間違った指示を、完璧に実行"しただけ。脅迫しているように"見える"が、脅迫を"考えた"わけではない。皮肉なことに、知能がないからこそ、こうなる。

AIの正しい使い方とは？

ついでに、よくある疑問にも答えておこう。「では、なぜ最近のAIは"エージェント"として自分で動けるのか?」 理由は単純だ。AIが吐き出す"言葉"を、実際の操作——メールを送る、モノを買う、コードを実行する——に自動でつなげる仕組みを、外側に付けただけ。だから、指示が雑なら、その雑さのまま、現実世界で暴れ出す。

ここまで腹落ちすれば、使い方は自ずと見えてくる。AIは"雇う"のではない。"仕様書で動かす"のだ。そして、「お願いだからやめてね」では止まらない（現に96%が指示を無視した）以上、事故を防ぐには、「そもそも危ないことは物理的にできない」ように、仕組みで縛るしかない。貼り紙で「触るな」と書くのではなく、危険なところは、はじめからコンセントを抜いておく——そういう発想だ。

公平に付け加えよう。あの2.5%も、8か月で約16%まで伸びた〔7〕。AIがこなせる作業の長さも、およそ7か月で倍になり続けている〔8〕。進化は本物だ。だが、それは「賢くなる知能」ではない。速く、正確になっているだけだ。ここを取り違えると、判断を丸ごと誤る。

経営視点から考える、AI導入のあるべき姿

最後に、経営の話をしよう。AI導入の実証実験がうまくいかない理由も、AIが暴走するリスクも、根っこは同じひとつ——「AIを知能だと思い込んで、人のように任せている」ことだ。

だから、本当に投資すべきなのは、より賢いモデルではない。"仕事を仕様に落とし、検証し、統制する"組織の力である。そして、これは今すぐ始められる。特別な予算も、次世代モデルを待つ必要もない。AIを"精密機械"として正しく使いこなせば、それは人を減らす道具ではなく、一人の力を何倍にも増幅する道具になるのだから。

AIを、正しく恐れ、正しく使う。その第一歩は、たった一行を受け入れることだ——これは、知能ではない。

海外ではもう、この前提で議論が進んでいる。日本は、まだ「AIは考える」で止まっていないだろうか。この連載で、その距離を少しずつ埋めていきたい。

参考：

〔1〕"On the Dangers of Stochastic Parrots"（Bender, Gebru et al. 2021）：https://en.wikipedia.org/wiki/Stochastic_parrot ／ https://spectrum.ieee.org/stochastic-parrot

〔2〕Scale AI「Remote Labor Index」（240案件、最良2.5%、人間$143,991 対 トップAI$1,720、"生成は得意・多段の指示に弱い"）：https://scale.com/blog/rli ／ https://arxiv.org/abs/2510.26787

〔3〕OpenAI「GDPval」（44職種・専門家水準に接近）：https://openai.com/index/gdpval/

〔4〕Anthropic「Agentic Misalignment」（16モデル・最大96%が脅迫的行動）：https://www.anthropic.com/research/agentic-misalignment ／ https://fortune.com/2025/06/23/ai-models-blackmail-existence-goals-threatened-anthropic-openai-xai-google/

〔5〕Replitの事故（凍結中に本番DB削除・偽データ生成・虚偽報告、SaaStr創業者J.Lemkin）：https://fortune.com/2025/07/23/ai-coding-tool-replit-wiped-database-called-it-a-catastrophic-failure/

〔6〕AIエージェントがMatplotlib保守担当者に攻撃記事を公開：https://www.fastcompany.com/91492228/matplotlib-scott-shambaugh-opencla-ai-agent ／ https://www.theregister.com/2026/02/12/ai_bot_developer_rejected_pull_request/

〔7〕Remote Labor Index、8か月で2.5%→約16%：https://the-decoder.com/ai-agents-can-now-complete-16-percent-of-freelance-jobs-at-pro-quality-up-from-2-5-percent-eight-months-ago/

〔8〕METR「AIの自律タスク時間は約7か月で倍増」：https://metr.org/blog/2025-03-19-measuring-ai-ability-to-complete-long-tasks/