20年におよぶ冬の時代を経て、現在、神経回路網研究に大きな関心が寄せられている。脳の解明は極めて大きなテーマであり、工学、哲学、生理学、および心理学のさまざまな分野の専門家が、この技術によってもたらされる可能性に興味をもち、それぞれの専門分野に応用しようと試みている。 神経回路網研究の分野では、生理学的、すなわち、神経細胞によってなされる情報処理のメカニズムの解明をめざした研究が行なわれている。
1943年、McCullochとPittsは、脳の基本構成素子である神経細胞（ニューロン）をモデル化した形式ニューロンを提案した。このモデルについては、4章で述べる。 1949年、Hebbは神経細胞が興奮すると、入力部のシナプス結合のうち、刺激を伝えたものは結合強度が増加し、さらに刺激が伝えやすくなるという説を唱え、これが神経回路に``可塑性''をもたらし、認識や、記憶のもとになっていると主張した。 この説は、生理学的にはいまだに実証されていないため、仮説なであるが、ヘッブのシナプス強化則とよばれ、現在までの大部分の神経回路モデルがこの法則を変形したものを学習則として用いている。 また、1950年代の終りに、Rosenblattはパターンを学習識別する機械パーセプトロンをつくった。ヘッブのシナプス強化則ではシナプス結合が強化されるほうしか主張していないが、パーセプトロンでは、出力細胞が興奮すべきでない入力パターンに対して興奮してしまったとき、興奮してはいけないという教師入力を受けてシナプス結合を弱める働きも組み入れられている。
このように、1940年から1960年にかけて、脳に学ぶコンピュータ研究が盛んに行なわれ始めた。しかし、1969年にMinskyとPapertのパーセプトロン批判が行なわれ、この分野の限界が示されてから、神経回路網モデルによる知的情報処理の研究は陰をひそめ、より大きく期待される人工知能などの研究に移行してしまった。
それでも、Kohonenなどの優秀な科学者が努力を続け、徐々にではあるが、理論的な基礎が現れ、Minskyの示した問題は無理なく解決できるようになった。 1980年になると、神経回路網研究は再び盛んになり、1982年、アメリカの物理学者であるHopfieldは神経回路網のダイナミクスを研究し、ホップフィールドのモデルを提案した。それは、神経細胞の発火のアルゴリズムと結合係数の組が決められた神経回路網に、適当に与えられた興奮パターンが安定には存在しえず変化していくとき、それにつれて必ず減少していくエネルギー関数が定義でき、その関数の極小値に達するときパターンは安定になるという神経回路網のダイナミクスである。この極小値に対応するパターンを記憶パターンとすれば、このシステムは適当な刺激パターンから、記憶パターンを想起する連想記憶装置となる道理である。 連想記憶装置として動作させるとき、このシステムはアソシアトロンにきわめて近いものとなる。
1985年、HopfieldとTankは上記のモデルを巡回セールスマン問題に適用した。 巡回セールスマン問題というのは複数個の町があって各町の間の距離が与えられているとき、セールスマンが最短距離で全部の町を通るにはどうすればよいのかという問題である。 神経細胞の興奮で解を表現できるような割当てを考えた後、距離を組み入れて、最小値が与えられた巡回セールスマン問題の解になるようにエネルギー関数を作る。 これに対応する神経回路網の係数の組を求めて、その神経回路網に適当な興奮パターンを印加し、エネルギー最小のパターンに収束すれば、そのパターンが解を示しているというものである。
1983年、FarmannとHintonはボルツマンマシンを提案した。 神経細胞モデルとして確率的に動作する素子を使ったもので、神経細胞の出力関数をある形に定めると統計力学との対応がつき、ここで絶対温度に当たるパラメータを高くとると興奮パターンは熱運動するごとく激しく変動し、低くする神経細胞が興奮するかどうかは決定論的になってくる。
バックプロパゲーションは、1986年にRumelhartとHintonによって提案されたもので、フィードバックのない層状回路で、与えられた入出力関数を満たすように神経回路を組織化させる1つの手法である。 出力細胞において実際の出力が教師入力の与える正解と異なったとき、各層間の結合係数を修正すると、最終的に与えられた入出力関数を満たす神経回路網になるというものである。
上記の3つのモデルを中心とし、これらの研究の目指すものがニューロコンピュータと名付けられた。 これらは原理的に新しいものではないが、処理の実例を示すことによってその有用性を示し、広く一般に神経回路網の有用性を認めさせた功績は大きい。