ニューラルネットワークとエネルギー関数

ホップフィールドらによって、対称的なシナプス結合($w_{ij}=w_{ji}$)において、エネルギー関数が存在し、 またニューラルネットワークはこのエネルギーを減少させるように動作するという事が示された。[5] このような性質を持つネットワークとして、ホップフィールドネットワークがある。 このニューラルネットワークの状態は図2.6に示すように、 一種の山登り法（最急降下法）で滑らかな凹凸を持つ曲面上を転がるボールの動きと同様である。 そして最終的にはエネルギーの谷の部分に収束することになる。

図 2.6: エネルギー関数のイメージ

エネルギー関数がどのような形状を持つかは、素子間の結合荷重分布などのニューラルネットワークの構造によるが、一般に、エネルギー関数は多くの極小点を持つ多安定関数になる。例えば、各極小点をメモリの内容と考えると、ボールが斜面を転がる過程はメモリの内容を思い出す想起過程と考える事ができる。[1]