"パターン発見マシン"の物語 ── 三度の冬を越えて、AIの土台になるまで｜イノーバAIインサイト -103

これまで何度も「AIの土台はディープラーニング（深層学習）だ」と書いてきた。では、それは一体、何なのか。今日は、技術者でなくても分かるように、しかしごまかさず正確に、その中身を説明したい。そして、この技術が、実はなんども"冬"を越えてきた、数奇な歴史も紹介したい。仕組みと来歴の両方が分かると、AIへの見方が、ぐっと立体的になるはずだ。

まず、一言でいうと

ディープラーニングとは、大量のデータを見て、その中にある"パターン"を、機械が自分で見つけ出す仕組みだ。

ここが、昔のやり方との決定的な違いだ。かつては、人間が「猫とは、ヒゲがあって、耳が三角で……」とルールを一つずつ書いていた。ディープラーニングは、それをやらない。猫の画像を何百万枚と見せて、共通するパターンを、機械自身に掴ませる。人が特徴を教えるのではなく、データから特徴が浮かび上がる。この「特徴を自分で見つける」ことこそ、革命の核心だった。

仕組み ── 無数の"つまみ"を回す

もう少しだけ、中を覗いてみよう。

基本の部品は、「人工ニューロン」と呼ばれる、小さな計算装置だ。難しく考えなくていい。一人の"採点係"だと思ってほしい。

この採点係は、いくつかの手がかりを受け取る。そして、手がかりごとに「これは重要」「これはどうでもいい」と重要度の差をつけて点数にし、合計する。最後に、合計点がある基準を超えたら「はい！」と手を挙げて、次に伝える。届かなければ、黙っている。やっているのは、これだけだ。

たとえば「この写真は猫か？」を採点する係なら、こうなる。「尖った耳がある」は大事だから高い点。「ヒゲがある」も高い点。「背景が屋外」はあまり関係ないから低い点。これらを合計して、点が十分に高ければ「猫っぽい！」と手を挙げる。——この「重要度の差」が"重み"であり、「手を挙げるかどうかの基準」が"関門"（専門的には活性化という）だ。脳の神経細胞に着想を得てはいるが、正体は、この採点——重みづけ（掛け算）と、合計（足し算）——にすぎない。

ポイントは、"強ければ手を挙げ、弱ければ黙る"という一手間が入っていることだ。ただ足すだけでなく、この「手を挙げる／黙る」があるからこそ、単純なイエス・ノーが積み重なって、やがて複雑な判断ができるようになる。神経が、刺激がある強さを超えて初めて"発火"するのと、同じ理屈だ。

このニューロンを、横に並べて「層」を作り、その層を、何枚も重ねる。この"層の深さ"が、「ディープ（深層）」の由来だ。そして面白いのは、層を通るごとに、扱うパターンが高度になっていくことだ。画像なら、最初の層は「線」を、次の層は「目や鼻の形」を、その次は「顔ぜんたい」を捉える。単純な部品を積み上げるうちに、複雑なものが見えてくる。工場の組み立てラインのように、段階を追って、認識が組み上がっていく。

では、「学習」とは何をしているのか。ネットワークの中には、さっきの"重み"が、いまや何十億個も入っている。学習とは、この何十億個の"つまみ"を、少しずつ回して、答えが合うように調整する作業だ。

やり方は、こうだ。まず、答えを出させてみて、正解とのズレ（誤差）を測る。そして、そのズレを減らすには、どのつまみを、どちら向きに、どれだけ回せばいいかを計算し、ほんの少し回す。これを、データを変えながら、何百万回、何十億回と繰り返す。この「誤差から逆算して、つまみを調整する」計算手順を、誤差逆伝播（バックプロパゲーション）という。あとで歴史に出てくるので、名前だけ覚えておいてほしい。

要するに、ディープラーニングとは、途方もない数のつまみを持った、巨大な数式だ。その数式を、データで少しずつ調整して、「それっぽい答え」を高い精度で出せるようにしたもの——それが、AIの正体だ。

歴史 ── 三度の"冬"を越えて

この技術は、一夜にして生まれたわけではない。むしろ、何度も「もう終わった」と見捨てられ、そのたびに蘇ってきた。

・1943年｜誕生：脳の神経を数式でまねる、という最初のアイデアが生まれる（マカロックとピッツ）。

・1958年｜最初の期待：「パーセプトロン」という、学習する装置が登場（ローゼンブラット）。新聞は「機械が歩き、話し、自らを意識する日が来る」と沸いた。

・1969年｜一度目の冬：数学者ミンスキーらが、「この単純な仕組みは、"排他的論理和"のような簡単な問題すら解けない」と指摘。熱は一気に冷め、研究資金は干上がった。

・1986年｜復活：先ほどの「誤差逆伝播」が広く知られ（ラメルハート、ヒントンら）、層を深く重ねても学習できるようになる。冬が明けた。

・1989〜98年｜実用の芽：ヤン・ルカンが、画像認識に強い仕組み（畳み込みネットワーク）で、手書きの郵便番号を読ませることに成功。

・1990〜2000年代｜二度目の冬：それでも計算力とデータが足りず、より手軽な別の手法に主役を奪われ、ニューラルネットは再び日陰へ。

・2012年｜ビッグバン：画像認識のコンテストで、「AlexNet」（ヒントン、サツキヴァー、クリジェフスキー）が、他を圧倒的に突き放して優勝。世界が、目を見張った。ここから、現在のAIブームが始まる。

なぜ、2012年だったのか。三つの燃料が、同時に揃ったからだ。①大量のデータ（研究者フェイフェイ・リーが作った巨大な画像データ集「ImageNet」）、②計算力（もともとゲーム用だったGPUが、この計算に驚くほど向いていた）、③アルゴリズム（積み上げられてきた学習の工夫）。アイデアは何十年も前からあった。足りなかったのは、データと計算力だったのだ。

そこからは、坂を転げるように進む。2016年、囲碁AI「AlphaGo」が世界最強棋士を破る。そして2017年、「トランスフォーマー」という新しい仕組みが登場（Googleの論文「Attention is All You Need」）。これが、いまのChatGPTをはじめとする大規模言語モデルの、直接の土台になった。2022年、ChatGPTが世に出て、AIは一気に日常へ。

この分野の功績は、世界も認めている。2018年、基礎を築いたヒントン、ルカン、ベンジオの三人が、計算機科学最高の栄誉チューリング賞を受賞。さらに2024年には、ニューラルネットワークの研究で、ヒントンらがノーベル物理学賞を受賞した。半世紀、二度の冬を耐えた技術が、ついに頂点で報われた瞬間だった。

なぜ、"見分ける"技術が、"作り出す"技術になったのか

ここで、一つの疑問が湧くはずだ。ディープラーニングは、もともと「画像が猫かどうかを見分ける」——つまり、入力を認識する技術だった。それが、なぜ、文章や絵を生み出す技術になれたのか。

答えは、こうだ。認識も生成も、正体は同じ「予測」だからである。

認識とは、「これは何か？」を予測すること（画像 → "猫"）。一方、生成とは、「次に来るものは何か？」を予測し、それを繰り返すこと。次の一語を予測し、それを継ぎ足し、また次を予測する——これを延々と続けると、一本の文章ができあがる。予測を1回やれば認識、予測を繰り返せば生成。この二つは、地続きだったのだ。

転機になったのは、「自己教師あり学習」という発想だ。昔の認識AIは、人間が「これは猫」とラベルを付けたデータを必要とした。手間がかかり、量に限りがある。ところが文章なら、一部を隠して「次の単語を当てろ」とやれば、答えは元の文章の中にすでにある。人がラベルを付けなくていい。おかげで、インターネット中の膨大な文章を、まるごと"問題集"にできるようになった。

そして、ここが面白いところだ。「次の単語を上手く当てる」ためには、AIは否応なく、文法も、事実も、論理の型も、吸収せざるを得なかった。予測を極限まで鍛えた副産物として、"書く力"が生まれてしまったのだ。スマホの予測変換を、途方もない規模まで育てたら、いつのまにか文章を書けるようになった——そう考えればいい。仕上げが、先ほどの2017年のトランスフォーマーだ。これが「長い文脈を踏まえて次を予測する」のを一気に得意にし、"予測＝生成"が花開いた。

応用 ── もう、そこら中にある

いまや、ディープラーニングは、生活の隅々に入り込んでいる。

・画像認識：医療画像からがんの兆候を見つける。顔認証でスマホのロックを解く。

・音声認識・文字起こし：話した言葉を、その場で文字にする。

・機械翻訳：外国語のサイトを、瞬時に読める言葉に変える。

・レコメンド：あなたが次に見たい動画、買いたい商品を予測する。

・自動運転：カメラの映像から、人や車や標識を"見分ける"目の役割。

・科学：タンパク質の立体構造を予測する「AlphaFold」は、創薬を大きく前進させ、2024年のノーベル化学賞につながった。

・生成AI：文章を書き、絵を描き、コードを書く。この連載で、ずっと話してきたものだ。

結び ── 仕組みを知れば、正しく怖がれる

これだけのことができると、つい「AIは、ものを分かっているに違いない」と思ってしまう。でも、第102回で書いた通り、そうではない。ここまで読んでくれた方には、もう腑に落ちるはずだ。

ディープラーニングがやっているのは、結局、データからパターンを見つけ、確率で当てにいくこと。ただ、それを、何十億ものつまみを使って、途方もない規模でやっているだけだ。だから、驚くほど賢く"見える"。けれど、意味を分かって考えているわけではない。

仕組みを知ることは、AIを冷静に見る力になる。過剰に持ち上げることも、やみくもに怖がることもなく、「これは、こういう機械だ」と腹に落とせる。正しく使い、正しく怖がるための土台は、この一枚の絵——"つまみを回して、パターンを当てる巨大な数式"——なのだ。

出典・参考：

Warren S. McCulloch, Walter Pitts.A logical calculus of the ideas immanent in nervous activity. Bulletin of Mathematical Biophysics, 1943.
https://link.springer.com/article/10.1007/BF02478259

Frank Rosenblatt.The perceptron: A probabilistic model for information storage and organization in the brain. Psychological Review, 1958.
https://psycnet.apa.org/record/1959-09865-001

David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams.Learning representations by back-propagating errors. Nature, 1986.
https://www.nature.com/articles/323533a0

Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton.ImageNet Classification with Deep Convolutional Neural Networks. NeurIPS, 2012.
https://proceedings.neurips.cc/paper_files/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf

Ashish Vaswani, Noam Shazeer, Niki Parmar, et al.Attention Is All You Need. NeurIPS, 2017.
https://arxiv.org/abs/1706.03762