アラン・チューリング(Alan Mathison Turing)が、論文 "On Computable Numbers, with an Application to the Entscheidungsproblem"(「計算可能数、ならびにそのヒルベルトの決定問題への応用」を1936年に発表した。この論文で、十分長い1本のテープと読み書きを行う移動ヘッドと有限個の状態を持つ仮想計算機械(チューリング・マシン)を導入して、計算可能な関数を計算するアルゴリズムが存在することを示し、さらに任意の入力で任意のチューリング・マシンをシミュレートする万能チューリング・マシンが可能であることを示した。
1943年、マカロック(W. S. Moculloch)とピッツ(W. Pitts)によって形式ニューロンのモデルが発表された。多数の入力の線形加重和が、ある一定値を超えるか否かで1か0を出力する線形閾値素子である。神経科学を数学的に記述した最初のモデルであり、形式ニューロンは後のパーセプトロン、それから発展してゆくニューラルネットワークの構成要素となった。ノイマン型コンピュータの基礎となった「EDVAC草稿」では、この形式ニューロンの機能によってチューリング・マシンの移動ヘッドや有限個の状態を制御・演算処理することができるとされ、この処理が真空管によって実現可能とされた。後に真空管に代わってトランジスタが用いられるようになった。1960年代以降のコンピュータやAIでは、この電子デバイスに半導体が用いられることになった。
1945年 サイバネティクスの学際領域
後にサイバネティクス会議とも呼ばれたメイシー会議が1945年に開催された。この会議のきっかけになったのは、1943年に発表された二つの論文であった。マカロック(W. S. Moculloch)等による形式ニューロンのモデル化の論文と、ローゼンブリュート(A. Rosenblueth)、ウィーナー(N. Wiener)等によるフィードバック理論を用いて行動と目的論をモデル化した論文である。この第1回会議には彼らのほかに、社会科学のベイトソン(Gregory Bateson)、EDVAC草稿を執筆していたノイマン(Jhon von Neumann)等、神経科学、精神病理学、数学、工学、社会科学等の多分野の研究者が集まり、生物的科学や社会科学とコンピュータ科学が結合した学際的な議論がなされた。この会議は1961年まで10回開催された。
1943年に始まるENIACの開発過程では汎用性の不十分さが問題にされており、これらを解決するEDVAC計画が並行して検討された。この検討に参加したジョン・フォン・ノイマン(John von Neumann)によって、1945年にEDVAC計画の基本構想「The First Draft of a Report on the EDVAC(EDVACに関する報告書―草稿)」としてまとめられた。その特徴は、
1)命令やデータは主メモリ中に記憶されている、
2)命令とデータは主メモリ中では区別されず、自由に書き換えられる、
3)命令の解読と実行は逐次的、
4)命令やデータはメモリ中のアドレスを頼りに読み書きされる、
5)1つの記憶装置と1つの演算処理装置がある。
1946年、アメリカで開発された初のコンピュータ、ENIAC(Electronic Numerical Integrator And Computer)が発表された。ENIACはアメリカ陸軍の弾道研究室での砲撃射表の計算向けに設計されたが、パッチパネルによるプログラミングが可能であり、様々な計算が可能な汎用性をもっていた。ENIACはアメリカ陸軍に引き渡され、黎明期のコンピュータとして1955年まで稼働した。
(参考文献) A. M. Turing: “Computing Machinery and Intelligence” Mind 49 (1950)
1956年 ダートマス会議において「AI」の研究分野が確立
1956年7月から8月にかけて「"The Dartmouth Summer Research Project on Artificial Intelligence(通称ダートマス会議)」が開催された。ジョン・マッカーシー(John McCarthy)が主催した会議で、会議のコンセプト自体はマービン・ミンスキー(Marvin Lee Minsky)、ネイサン・ロチェスター(Nathan Rochester)、クロード・シャノン(Claude Elwood Shannon)らと共に前年の1955年に企画された。その企画書において、「人工知能(Artificial Intelligence)」という用語が初めて使われた。
この会議では下記の7テーマについてブレインストーミング形式で議論された。
1)Automatic Computers(自動コンピュータ)
2)How can a computer be programmed to use language?(自然言語処理)
3)Neuron Nets(ニューラルネットワーク)
4)Theory of the size of a calculation(計算のサイズ)
5)Self-improvement(自己学習)
6)Abstractions(抽象化)
7)Randomness and creativity(偶発性と創造性)
遡れば、1949年に心理学者のヘッブ(Donald O. Hebb)によってニューロン間の結合強度の変化で学習が実現できること(Hebbの学習規則)が示されていた。これを契機にして生物の視覚などの情報処理を工学的に研究する動きが始まり、1960年代前後に工学的な情報処理を行うニューラルネットワークの様々なモデルが提案されるようになった。学習の収束定理を証明したパーセプトロンはその代表例であり、第1次AIブームとなった。
しかし60年代末に、マービン・ミンスキー(Marvin L. Minsky)らによって1, 0の入出力を行う単純パーセプトロンは線形分離可能な問題しか扱うことができないことが明らかにされ、ニューラルネットワークによる並列学習の研究は一時的に停滞した。60年代にはノイマン型のコンピュータ技術が著しく発展し、記号処理による論理的な情報処理がニューラルネットワークよりも遥かに優位になったことがこの停滞の背景にあった。とはいえ2000年代のディ―プラーニングに到るニューラルネットワークの並列学習処理の地道な研究は継続された。パーセプトロンの活性化関数に非線形問題を扱うシグモイド関数は60年代に導入され、パーセプトロンは後のディ―プラーニングに繋がるニューラルネットワークの構成要素になった。
LISPは記号処理や言語処理に適しているため当初から人工知能関連の分野で使用されてきた。自分自身を評価できる点に特徴があり、LISPシステム自身のソースコードはLISPで記述される。システムに新しい関数を付加することで、次から次へとシステムを拡張することができる。そのため、1970年代から1980年代にかけて多くの方言が出現したが、その後標準化の動きが進み、「Common Lisp」と「Scheme」の二つの流れに収斂されるようになった。Common LISPは、1984年と1994年に ANSI(American National Standards Institute、米国規格協会)によって制定された。Scheme は1975年に開発され、その後 IEEE(Institute of Electrical and Electronics Engineers、米国に本部を置く電気・情報工学分野の学会)によって標準仕様が制定された。
1968年、『2001年宇宙の旅』(原題:2001: A Space Odyssey)と題したSF映画が、アーサー・C・クラーク(Sir Arthur Charles Clarke)とスタンリー・キューブリック(Stanley Kubrick)のアイデアをまとめたストーリーに基いて製作された、この映画では、ディスカバリーと呼ばれる木星探査宇宙船に積まれたHAL9000というAIコンピュータが登場する。HALは人間とコミュニケーションし、自ら思考する高度なAIとして描かれた。最終的に乗務員を殺害するまでになり、AI社会の未来に警鐘を鳴らすSFであったが、多くの技術者がこの映画に触発されてコンピュータやAIの開発に携わるようになった。パーソナルコンピュータの父とも呼ばれるアラン・ケイ(Alan Curtis Kay)もその代表的なひとりである。彼が構想したダイナブックもこの映画からの着想とされる。
1968年 フレーム問題
1958年のパーセプトロン(2層の形式ニューロンからなるネットワーク)の提案によって機械学習するAIシステム開発の機運が急速に高まり、1960年代の第1次AIブームが到来した。ところが、1969年にマッカーシー(John McCarthy)とヘイズ(Patrick John Hayes)によってフレーム問題が提起され、線形素子であった単純パーセプトロンの限界が明らかにされた。フレーム問題とは、様々なファクターが絡み合っている事象において問題解決しようとするときに、重要なファクターと無視してよいファクターを、パーセプトロンを用いたAIでは自律的に判断できないという問題である。つまり、パーセプトロンでは教師あり学習の線形分離可能な問題しか解けない(XOR(排他的論理和)は表現できない)、ということである。これによって第1次AIブームは下火になり、1970年代のAIの冬の時代を迎えることとなった。
1972年、マルセイユ大学のアラン・カルメラウアー(Alain Colmerauer)とフィリップ・ルーセル(Philippe Roussel)によって、論理型言語のProlog(PROgramming in LOGic)が開発された。数理論理学をプログラミングに応用したものであり、Prologのプログラムは述語論理で記述され、論理式としてそのまま実行される。Prologの処理系は質問に対して回答を繰り返すという対話型の構成になっており、質問に対する答えが知識として蓄積される。
1970年代ごろから、AIの基礎として知識ベースによる自然言語処理が重要と考えられるようになり、専門家の代わりに知識によって推論を行うエキスパートシステムが着目され、Prologはそれを体現するプログラミング言語として期待された。1982年からスタートした第5世代コンピュータ・プロジェクト、すなわち新世代コンピュータ技術開発機構(ICOT: Institute for New Generation Computer Technology)の開発では、Prolog を含む論理型言語が開発課題の中心に位置付けられ、その後10年間にわたって大きな注目を浴びた。そこでは、当時の最先端半導体技術を用いて、Prologによる推論を直接逐次処理するPrologマシンが開発された。
1982年に(財)新世代コンピュータ技術開発機構(Institute for New Computer Technology; ICOT)が設立され、11年にわたるプロジェクトがスタートした。その結果、512台の並列推論マシン、並列推論型のプログラミング言語システムとOS、並列定理証明や知識表現言語などの知識プログラミングシステムのプロトタイプシステムが開発され、遺伝子情報処理・VLSI設計支援・法的推論などの機能実証が行われた。
1986年にラメルハート(David E. Rumelhart)、ヒントン(Geoffrey E. Hinton)、ウィリアムス(Ronald J. Williams)によって提案されたバックプロパゲーションは、正負の実数値を0以上1以下の実数地に変換するシグモイド関数を用いて3層パーセプトロンの結合強度を学習する際に、正解値からの出力誤差を逆方向に返して各ニューロンの誤りを正すアルゴリズムである。この提案によって非線形問題を解く可能性が高まり、フレーム問題によって下火になっていたニューラルネットワークによる機械学習のアプローチが再び盛り上がることになった。
この提案は、第1次AIブームにおいてパーセプトロンの提案によって始まったニューラルネットワーク研究がフレーム問題に突き当たって長い冬の時代が続いていた時代に、より先進的な脳神経科学研究のモデルを半導体集積回路に実装しようとするものであった。ニューラルネットワークの難点を乗り越える新たなアプローチとして様々な脳機能の実現が試みられた。2008年にはDARPA(Defense Advanced Research Projects Agency、アメリカ国防高等研究計画局)とIBMなどによるSyNAPSプロジェクトがスタートし、ニューロモルフィック・エンジニアリングは脳のシミュレータやエミュレータの研究も盛んになった。2014年のIBMによるニューロチップ(TrueNorth)はこのプロジェクトの延長線上での発表である。
Deep Blueは、RISCベースの32ノード高性能コンピュータで、IBM POWER2 Super Chipプロセッサを使用している。IMB POWER2 Super Chipプロセッサは、0.25μm 5層 メタル CMOSプロセスで、335 mm2 のチップ上に、1500万トランジスタを集積し、クロック160MHzで動作した。Deep Blueでは、合計256個のプロセッサを連動させた。
2012年9月、1000万枚の画像の中にある物体の認識精度を競う大会であるILSVRC(ImageNet Large Scale Visual Recognition Challenge)において、トロント大(A. Krizhevsky, I. Sutskvever, J. Hinton)のSuperVisionと呼ばれるディ―プラーニング(Deep Learning)が認識率で2位(東京大学)以下を圧倒的に引き離して優勝した。これを契機にAI技術者たちのディ―プラーニングへの関心が集まり、急速に発展していった。これに先立つ2011年にはMicrosoftが言語認識にニューラルネットワークを用い、さらにGoogleがYouTubeからランダムに取り出した1000万枚の画像から猫を認識したと発表した(「Googleの猫」と呼ばれた)こともディ―プラーニングが注目されるようになった大きな要因であった。2016年にはGoogleによるAlphaGoが登場し、ディ―プラーニングの高い能力が広く知られるようになった。2022年にはDALLE2やStable Diffusion等の画像生成、対話型のChatGTP-3等が相次いでリリースされ、誰もが利用できる生成AIへと驚異的な発展を遂げる契機となった。
ニューラルネットワークの歴史は長い。1943年のマカロック(W. S. Moculloch)とピッツ(W. Pitts)による形式ニューロンの提案に始まり、1956年のダートマス会議ではニューラルネットワークがAIの実現の有力候補として議論された。1958年にはローゼンブラット(F. Rosenblatt)によって視覚と脳の機能をモデル化した2層の形式ニューロンからなるパーセプトロン(Perceptron)が提案され、パターン認識の研究が加速した。しかし、1968年にマッカーシー(J. McCarthy)からフレーム問題(単純パーセプトロンでは線形分離可能な問題しか扱えないこと)が示され、ニューラルネットワークの研究は冷え込んだ。
それでも一部の研究者による地道な研究は続けられ、2012年のトロント大のディープラーニングにつながる技術が提案されてきた。1979年には畳み込みニューラルネットワーク(CNN : Convolutional Neural Network)へ発展するネオコグニトロンが福島邦彦から発表された。そのCNNはルカン(Y. LeCun)(1989年)によって文字認識に適用された。またこれに並行して、線形分離不可能問題(フレーム問題)を扱う中間層を持つ多層ニューラルネットワークへの研究が進み、1985年にはヒントン(G. E. Hinton)とセジュノスキー(T. Sejnowski)によってニューラルネットワークに情報を記憶させるホップフィールドネットワークで中間層の層数を減らすボルツマンマシンが提案され、1986年にはラメルハート(D. Rumelhart)とヒントン(G. E. Hinton)によって出力層の推論値との誤差から各ニューロンの重みを調整して学習する誤差逆伝搬(backpropagation)のアルゴリズムなどが提案された。そして2006年には、これらの技術に加えて教師なし学習を行うためのオートエンコーダのアルゴリズムがヒントン(G. E. Hinton)とサラフトディノフ(R. Salakhutdinov)によって提案された。2012年のトロント大のSuperVisionはこれら諸提案の集大成ともいえる。
2012年ごろから普及し始めたディ―プラーニングは音声や画像、文章などの対象の特徴を学習する方法であるが、対象を学習した結果からその対象を再生成してそれが何であるかを認識する機能をも有している。それ故にその後のディ―プラーニングは急速に学習精度の向上が図られていったが、それは同時に認識とその認識の再生成精度の向上を図ることでもあった。このディ―プラーニングにおける学習精度を高めながら学習した認識の再生成に力点を置いたのが生成AIと呼ばれ、2010年代前半からに様々な提案がなされてきた。2013年のアムステルダム大のキンフマ(D. P. Kingma)等によるVAE(Variational Autoencoder;変分オートエンコーダ)、2014年のモントリオール大のグッドフェロー(I. J. Goodfellow)等によるGAN (Generative Adversarial Nets;敵対的生成ネットワーク)、2017年のGoogleによるTransformerモデルなどはその代表例である。
VAEは、EMアルゴリズムや変分ベイズを用いて、ひとつのニューラルネットワークによって対象を学習して最もよくフィットする既存の確率分布を選択し、もうひとつのニューラルネットワークで選択した確率分布の形状を決定するパラメータを推定することで学習精度を高める方法であり、高精度で推定した結果を生成AIとして出力できる。またGANは、二つのニューラルネットワークの一方を生成ネットとし、他方を識別ネットとして、生成ネットが生成したモデルが識別ネットのモデルと区別できなくなるまで競わせて生成モデルの学習精度を上げる方法である。Transformerは正確な翻訳を目指した新しいモデルであり、アテンション層を設けるだけで限られたコンピューティングパワーで高速で学習可能にしたものである。その後GoogleによるBERT(Bidirectional Encoder Representations from Transformers)やOpen AIによるGPT(Generative Pretrained Transformer)などの大規模言語モデルが提案された。2010年代後半にはこれらをベースにして生成系のディ―プラーニングが急速に改良、進化していった。