2.4 ニューラルネットワークとエネルギー関数

  Hopfieldらによって、対象的なシナプス結合 を 持つある種のニューラルネットワークにおいて、エネルギー関数が存在し、 ニューラルネットはこのエネルギーを減少させるように 動作することが示された。[3]。

このニューラルネットワークの振舞いは図 2.6 に示すように、 一種の山下り法（最急降下法）で、なめらかな凹凸を持つ曲面上を 転がるボールの動きと同様であり、最終的にはエネルギーの谷である 曲面のくぼみ（図 2.6 の極小値 A や点 B）に収束する。

  
図 2.6: エネルギー曲面

エネルギー関数がどのような形状を持つかは、シナプス結合分布などの ニューラルネットワークの構造によるが、一般に、 エネルギー関数は多くの極小点を持つ多安定関数になる。 たとえば、各極小点を記憶の内容と考えると、ボールが斜面を転がる過程は、 記憶の内容を思い出す（想起）過程と考えることができる。 このような連想記憶メモリの検索時間は、記憶数によらず一定であり、 高速の読み出しが可能である[1]。