ホップフィールドの提案した神経回路モデルのような、対称的なシナプス結合を持つネットワークでは エネルギー関数が存在し、ニューラルネットワークはこのエネルギー関数を減少させるように動作することが示された[3]。 エネルギー関数のイメージ図は図 2.6 である。 対称的な結合を持つニューラルネットの振舞いは滑らかな曲面を転がるボールが 最後には曲面のくぼみで止まってしまうように、エネルギーの極小点に向かって 収束していく。 A点、B点のように関数の極小点が曲面のくぼみとなる。
図 2.6 において極小点がそれぞれ記憶している内容とすると ボールが転がっている時、 すなわちネットワークのエネルギーが収束に向かっている時は 記憶をを思い出そうと想起していることである。 このような連想記憶メモリの想起による記憶の検索時間は記憶数によらず一定である。[1]
エネルギー関数はニューラルネットワークの構造や、シナプス結合の分布により、 さまざまなものが存在するが、一般にエネルギー関数は多くの極小点を 持ち、ネットワークの収束点は多数になっている。
