ニューラルネットワークとエネルギー関数

ホップフィールドによって、 ニューロン間のシナプス結合荷重が対称であるとき、 つまりニューロン$i$から$j$でシナプス結合荷重は以下の関係2.4をもつとき、 エネルギー関数が存在することが示された。

$$w_{i,j}=w_{j,i}$$ (2.4)

またニューラルネットワークはこのエネルギーを減少させるように動作するという事が示された。[6] このような性質を持つネットワークをホップフィールドモデルと呼ぶ。 このニューラルネットワークの状態を図2.6に示す。

図 2.6: エネルギー関数のイメージ

　

エネルギー関数がどのような形状を持つかは、素子間の結合荷重分布などのニューラルネットワークの構造によるが、一般に、エネルギー関数は多くの極小点を持つ多安定関数になる。例えば、各極小点をメモリの内容と考えると、ボールが斜面を転がる過程はメモリの内容を思い出す想起過程と考える事ができる。[1]