ニューラルネットワークとエネルギー関数

ホップフィールド(Hopfield)らによって， 対称的なシナプス結合( )において， エネルギー関数が存在し，ニューラルネットワークは このエネルギーを減少させるように動作することが示された [3]．

このニューラルネットワークの振舞いは図2.7に示すように， 一種の山下り法（最急降下法）で滑らかな凹凸を持つ曲面上を転がるボールの動きと 同様であり， 最終的にはエネルギーの谷（図2.7の極小値Aや点B）に収束する．

  
図 2.7: エネルギー関数のイメージ

エネルギー関数がどのような形状を持つかは， 素子間の結合荷重分布などのニューラルネットワークの構造によるが， 一般に，エネルギー関数は多くの極小点を持つ多安定関数になる． 例えば，各極小点をメモリの内容と考えると， ボールが斜面を転がる過程はメモリの内容を思い出す想起過程と考えることができる [4]． このようにニューラルネットワークが内容アドレスメモリとして利用できることが示されている． このような連想記憶メモリの検索時間は記憶数によらず一定であり，高速の読み出しが可能である．