ニューラルネットワークとエネルギー関数

ホップフィールド(Hopfield)らによって、対称的なシナプス結合($w_{ij}=w_{ji}$)において、エネルギー関数が存在し、 ニューラルネットワークはこのエネルギーを減少させるように動作する事が示された。[5] このような性質を持つ代表的なネットワークが、ホップフィールドネットワークである。 このニューラルネットワークの状態は図2.6に示すように、一種の山登り法（最急降下法）で滑らかな凹凸を持つ曲面上を転がるボールの動きと同様であり、最終的にはエネルギーの谷（図2.6の極小値AやB）に収束する。

図 2.6: エネルギー関数のイメージ

エネルギー関数がどのような形状を持つかは、素子間の結合荷重分布などのニューラルネットワークの構造によるが、一般に、エネルギー関数は多くの極小点を持つ多安定関数になる。例えば、各極小点をメモリの内容と考えると、ボールが斜面を転がる過程はメモリの内容を思い出す想起過程と考える事ができる。[1] このようにニューラルネットワークが内容アドレスメモリとして利用できる事が示されている。このような連想記憶メモリの検索時間は記憶数によらず一定であり、高速の読み出しが可能である。