神経回路網の研究が行なわれるようになった最大の動機は、人間の脳における情報処理機能の解明にあるといってよいだろう。 脳の解明は極めて大きなテーマである。 人類はこのテーマに哲学、心理学、解剖学などで古くから挑戦してきた。 現在ではさらに多くの分野で個々あるいは協力して脳の研究を行なっており、工学もその１つである。[2, 3]
また、神経回路網の研究は、脳の情報処理原理の工学的応用という側面を持っている。 すなわち、``人間の神経系を模倣した装置を構成すれば、人間と同様な情報処理が実現できるに違いない''という期待から、脳の研究を通じて現在のコンピュータが苦手とするような仕事をうまく処理するような新しい情報処理原理の構築を狙っているのである。 しかし、脳や神経系の研究が大きく進展しているとはいっても、今だに多くの部分が神秘のベールに包まれているため、神経回路網の開発目標の具体像も多様である。
1943年、McCullochとPittsは、脳の基本構成素子である神経細胞（ニューロン）の単純なモデルを提案し、その論理演算系としての万能性を示した。 この神経細胞のモデルが、神経回路を機能面から捕らえた最初の研究であった。 このモデルについては、後に述べることにする。 1949年、Hebbは神経細胞が興奮すると、入力部のシナプス結合のうち、刺激を伝えたものは結合強度が増加し、さらに刺激が伝えやすくなるという説を唱え、これが神経回路に``可塑性''をもたらし、認識や、記憶のもとになっていると主張した。 この説は、生理学的にはいまだに実証されていないが、ヘッブのシナプス強化則とよばれ、現在までの大部分の神経回路モデルが学習則としてこの法則を用いている。 1950年代の終りに、Rosenblttはこれらの原理に基づいてパターンをカテゴリー分類し、学習識別するパーセプトロンを作った。 ヘッブのシナプス強化則ではシナプス結合が強化されるほうしか主張していないが、パーセプトロンでは、出力細胞が興奮すべきでない入力パターンに対して興奮してしまったとき、興奮してはいけないという教師入力を受けてシナプス結合を弱める働きも組み入れられている。 与えられたカテゴリー分類が線形分離可能であるとして、ヘッブの強化法則に逆の働きを付け加えた上記の強化法則を適用した場合、学習が本当に正しい分類をするところまで必ず収束するという定理が得られた。 これをパーセプトロンの学習収束定理と呼ぶ。 パーセプトロンの理論はかなりの話題を呼び、1960年代に多くの研究者を輩出した。 しかし、その後MinskyとPapertによりパーセプトロンの限界が示され、以後、神経回路網モデルによる知的情報処理の研究は陰をひそめ、人工知能の研究に移行してしまった。
世界的には神経回路網研究が下火になっているのにも関わらず、日本では1969年に中野が神経回路網構造の連想記憶モデル、アソシアトロンを提案した。 1972年にはAndersonやKohonenのモデルも出そろい、彼らのモデルは後の連想記憶モデルのプロトタイプの役割を果たした。 甘利は1970年頃から神経回路網の性質や限界についての理論的研究に取り組み、かなりの成果をあげた。 1975年には福島が自己組織的認識システムコグニコロンを提案した。
1980年代になって、並列分散回路を扱うPDP(Parallel Distributed Processing)グループ、またはコネクショニストと呼ばれる研究者達が火付け役となって、神経回路網研究は再び盛んになった。
1982年、アメリカの物理学者であるHopfieldは神経回路網のダイナミクスを研究し、いわゆるホップフィールドのモデルを提案した。 それは、神経細胞の発火のアルゴリズムと結合係数の組が決められた神経回路網に、適当に与えられた興奮パターンが安定には存在しえず変化していくとき、それにつれて必ず減少していくエネルギー関数が定義でき、その関数の極小値に達するときパターンは安定になるという神経回路網のダイナミクスを示した。 この極小値に対応するパターンを記憶パターンとすれば、このシステムは適当な刺激パターンから、記憶パターンを想起する連想記憶装置となる道理である。 連想記憶装置として動作させるとき、このシステムはアソシアトロンにきわめて近いものとなる。 1985年、HopfieldとTankは上記のモデルを巡回セールスマン問題に適用した。 巡回セールスマン問題というのは複数個の町があって各町の間の距離が与えられているとき、セールスマンが最短距離で全部の町を通るにはどうすればよいのかという問題である。 神経細胞の興奮で解を表現できるような割当てを考えた後、距離を組み入れて、最小値が与えられた巡回セールスマン問題の解になるようにエネルギー関数を作る。 これに対応する神経回路網の係数の組を求めて、その神経回路網に適当な興奮パターンを印加し、エネルギー最小のパターンに収束すれば、そのパターンが解を示しているというものである。
1983年、FarmannとHintonはボルツマンマシンを提案した。 神経細胞モデルとして確率的に動作する素子を使ったもので、神経細胞の出力関数をある形に定めると統計力学との対応がつき、ここで絶対温度に当たるパラメータを高くとると興奮パターンは熱運動するごとく激しく変動し、低くする神経細胞が興奮するかどうかは決定論的になってくる。
バックプロパゲーションは、1986年にRumelhartとHintonによって提案されたもので、フィードバックのない層状回路で、与えられた入出力関数を満たすように神経回路を組織化させる１つの手法である。 出力細胞において実際の出力が教師入力が与える正解と異なったとき、各層間の結合係数を修正すると、最終的に与えられた入出力関数を満たす神経回路網になるというものである。
上記の３つのモデルを中心とし、これらの研究の目指すものがニューロコンピュータと名付けられた。 これらは原理的に新しいものではないが、処理の実例を示すことによってその有用性を示し、広く一般に神経回路網の有用性を認めさせた功績は大きい。
最近の研究状況の例をいくつかあげてみる。 平井の連想記憶モデルHASP(1985)、福島のネオ・コグニトロンや選択的注意のモデル(1986)、中野のアソシアトロン関係の学習認識、思考、行動形成への応用(1988)などがある。 神経回路網による運動制御については、川人、鈴木、銅谷、吉沢らをはじめとしていくつかの研究がある。 バックプロパゲーションの応用の試みは実用化をめざして各社で行なわれているようであるし、ニューロチップの試作なども始まっている。