ニューラルネットワークとエネルギー関数

  神経回路網において， 状態が時間とともにどう移り変わっていくのかを 調べる方法として， エネルギー関数を用いたものがある。

ホップフィールド（Hopfield）らによって， 対称的なシナプス結合 を持つ ニューラルネットワークにおいて， エネルギー関数が存在して， ニューラルネットワークはこのエネルギーを 減少させるように動作することが示された[6]。

このニューラルネットワークの振舞いは図 2.6 に示すように， 一種の山下り法（最急降下法）で， なめらかな凹凸を持つ曲面上を 転がるボールの動きと同様であり， 最終的にはエネルギーの谷である 曲面のくぼみ（図 2.6 の極小値 A や点 B）に到達する。

  
図 2.6: エネルギー曲面

エネルギー関数がどのような形状を持つかは， 素子間の結合荷重分布などの ニューラルネットワークの構造によるが， 一般に， エネルギー関数は多くの極小点を持つ多安定関数になる。 たとえば， 各極小点を記憶の内容と考えると， ボールが斜面を転がる過程は， 記憶の内容を思い出す（想起）過程と考えることができる[7]。