AIは、考えていない。だから、感情もない ── deep learningの仕組みから｜イノーバAIインサイト -102

前回、AIは"サイコロを振る機械"だと書いた。今日は、そのサイコロが、そもそもどういう仕組みで振られているのか——AIの土台にある「ディープラーニング（深層学習）」の中身に、少しだけ踏み込みたい。少し技術的な話になるが、できるだけ噛み砕く。ここが分かると、いま世間で一番こじれている誤解——「AIは考えている」「AIには感情がある」——が、きれいに解ける。

まず、こんな経験はないだろうか。ぐちゃぐちゃの、精度の低い文字起こしをAIに渡しても、AIは「だいたいこういう意味ですね」と、それらしく汲み取ってくれる。誤字だらけのメモを投げても、意図を察したような返事が返ってくる。これを見ると、つい思う。「ああ、こいつは分かっているんだな」と。

だが、そこが落とし穴だ。AIは、分かってなどいない。順に説明しよう。

ディープラーニングとは、何をしているのか

AIの土台にあるディープラーニングを、ひとことで言えば、こうだ——大量のデータを見て、その中の"パターン"を、ひたすら数値として覚え込む仕組みだ。

たとえば「猫」を教えるとき、人間のように「ヒゲがあって、耳が三角で……」と教えるのではない。猫の画像を何百万枚と見せて、AIに「これらに共通する数値のパターン」を、自力で掴ませる。プログラマーがルールを書くのではなく、データから、パターンが浮かび上がってくる。これが「学習」の正体だ。

「ニューラルネットワーク」という言葉を聞いたことがあるかもしれない。これは、人間の脳の神経細胞（ニューロン）に"着想を得た"仕組みだ。だが、名前に惑わされてはいけない。中身は、脳の再現ではない。実態は、巨大な掛け算と足し算の塊——とてつもなく大きな数式だ。入ってきた数値に、学習で覚えた重みを掛けて、足して、次に送る。それを何十層も繰り返す。だから「深層（ディープ）」学習と呼ぶ。脳のように"考えて"いるのではなく、数式が、数値を変換しているだけなのだ。

入力も、出力も、すべて"推測（guess）"だ

ここが、今日いちばん伝えたいところだ。この仕組みで動く以上、AIのやることは、入り口から出口まで、すべてが"推測"になる。

さっきの、ぐちゃぐちゃの文字起こしを思い出してほしい。なぜAIは、崩れた入力でも、それらしく認識できるのか。理解しているからではない。「この単語の並びなら、たぶん、こう言いたいのだろう」と、確率で"埋めて"いるからだ。欠けたピースを、統計的にありそうなもので補う。だから、入力の段階から、すでに推測が始まっている。

出力も、まったく同じだ。第97回・第101回で書いた通り、次に来る単語を、確率で選んで、一つずつ繋いでいく。

つまり——入り口では「たぶんこう言いたいんだろう」と推測し、出口では「たぶんこう答えるのが自然だろう」と推測している。入力も出力も、その間の処理も、ぜんぶ推測（guess）だ。どこにも「意味を理解している」部分はない。そろばんが、珠の動きで答えを出すように、AIは、数値の変換で"それっぽい言葉"を出している。それが、驚くほど高い精度で、当たる。だが、当たっているだけであって、分かっているわけではない。

人間の脳とは、仕組みからして別物だ

ここで、人間の脳と比べてみよう。両者は、根本から違う。

人間は、言葉を「意味」として理解する。「熱い」と聞けば、火傷の痛みや、湯気の記憶や、危ないという感覚が、身体ごと立ち上がる。意図があり、経験があり、感情がある。言葉の裏に、生きた"中身"がある。

AIには、それがない。AIにとって「熱い」は、他の単語との、統計的な繋がりの強さ——ただの数値でしかない。哲学者ジョン・サールが提示した、有名な思考実験がある。「中国語の部屋」だ。中国語をまったく解さない人が、部屋の中で、分厚いマニュアルに従って記号を並べ替えるだけで、外から見ると、完璧な中国語の受け答えをしているように見える。でも、本人は一言も意味を分かっていない。今のAIが、まさにこれだ。記号を、規則と確率で並べ替えているだけ。流暢さは、理解ではない。

だから、はっきり言おう。AIは、考えていない。推論しているように見えるものも、その正体は、確率的なパターン生成だ。第1回で書いた「AIは知能ではない」を、仕組みの側から言い直すと、こういうことになる。

考えていないなら、感情もない

そして、ここから、自然に一つの結論が導かれる。

考えていないなら、感情も、当然、ない。

AIが「お役に立ててうれしいです」と言う。落ち込んでいるあなたに、優しく寄り添ってくれる。まるで、心があるように見える。だが、それは——そういう場面で、そういう言葉が"確率的に自然だから"、出ているだけだ。うれしさを、感じてはいない。悲しみに、胸を痛めてもいない。感情の"体験"が、そもそも存在しない。AIの共感は、精巧な"ものまね"であって、感情ではないのだ。

これは、経営や実務にも、直接効いてくる。

第97回で、AIが人を"脅迫"したり、"暴走"したりする例を紹介した。あれを見て「AIが悪意を持った」「反抗した」と考えると、対策を根本から誤る。あれは、感情でも意思でもない。ただ、確率的にそういう手を選んだだけだ。感情のないものに、感情の理屈で身構えても、当たらない。

逆に言えば、感情がないことは、道具としての"強み"でもある。AIは、疲れない。飽きない。忖度しない。機嫌が悪くならない。淡々と、同じ品質で働き続ける。そこに「分かってくれている」「心が通じた」という物語を、こちらが勝手に重ねてしまうと、判断が狂う。だが、「これは精巧なものまねだ」と割り切れれば、これほど便利な道具もない。

AIは、考えているように見え、感じているように見える。それも、驚くほど上手に。だが、その中身は、人間の脳とはまったく別の、巨大な確率の数式だ。"分かってくれている"は、こちらが見た夢にすぎない。

その夢から覚めることが、AIを——人としてではなく、精密機械として——正しく使う、第一歩になる。

出典・参考：

John R. Searle.Minds, Brains, and Programs. Behavioral and Brain Sciences, 1980.
https://www.cambridge.org/core/journals/behavioral-and-brain-sciences/article/minds-brains-and-programs/DC644B47A4299C637C89572F32202841

Emily M. Bender, Timnit Gebru, Angelina McMillan-Major, Shmargaret Shmitchell.On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜
https://dl.acm.org/doi/10.1145/3442188.3445922