2.5 ニューラルネットワークのエネルギー関数

  Hopfield らによって、対称的なシナプス結合 を持つある種のニューラルネットワークにおいて、エネルギー関数が存在し、ニューラルネットワークはこのエネルギーを減少させるように動作することが示された[5]。

このニューラルネットワークの振舞いは、図2.6に示すように一種の山下り法（最急降下法）で、なめらかな凹凸を持つ曲面上を転がるボールの動きと同様であり、最終的には曲面のくぼ地（図2.6の極小値である点 A や点 B ）に収束する。

  
図 2.6: エネルギー曲面

エネルギー関数がどのような形状を持つかはシナプス結合分布などのニューラルネットワークの構造によるが、一般にエネルギー関数は多くの極小点を持つ多安定関数になる。たとえば、各極小点をメモリの内容と考えると、ボールが斜面を転がる過程はメモリの内容を思い出す相起過程と考えることができる。このようにニューラルネットワークが内容アドレスメモリとして利用できることが示されている。このような連想記憶メモリの検索時間は、記憶数によらず一定であり、高速の読み出しが可能である[6]。