神経回路網において、全ての細胞の出力値の組（N個の細胞からなる回路網の 場合はN次元ベクトルで書ける)を、 その時刻におけるその回路網の状態とよぶことにする。 神経回路網の理論においては、現在の回路網の状態と外部からの入力が、 以後の回路網の動作を全て決定する形式のモデルが普通に用いられる。 そのため、神経回路網の動作を調べることは、 状態の時間変化を追うことに他ならない。 神経回路網で連想記憶を行なう場合、想起の動作は、 ある初期状態を与えた時に回路網がどの状態に移るか(各細胞の出力が どのように変化していくか)という動作を利用している。 つまり、記銘したいパターンに対応した 状態に移りやすい回路網を作ることが連想記憶の学習ということになる。 回路網がある状態にあって、時間がたってもその状態から変化しないとき、 その状態を平衡点とよぶ。 回路網の状態は、変化し続けるか、どれかの平衡点に落ち着くかのどちらかである。
神経回路網において状態が時間とともにどう遷移していくかを調べる方法として、 回路網の状態空間上にエネルギー関数と呼ばれる値を定義し、時間とともにその値が どのように変化するかを調べる方法を考える。 神経細胞1個1個の出力をミクロに調べるのではなく、エネルギー関数という マクロな量に注目するのである。 ある種の条件を満たす回路網では、状態が変化する時には必ずエネルギー関数 が減少する方向に変化することが示される。 このような回路網では、状態空間内で回路網はエネルギー関数の谷に向かって動くこ とになり、最後には必ず平衡点に達する。この関係を図に示すと、 図 2.5のようになる。
平衡点は状態空間内エネルギー関数の極小点になる。 このエネルギー関数がどのような形状を持つかは、素子間の結合荷重分布などの ニューラルネットワークの構造によるが、一般に、エネルギー関数は多くの 極小点をもつ多安定関数になる。 図 2.5において、ボールが斜面を転がっていく過程は 想起の過程と考えられる。
ニューラルネットワークにおいて エネルギー関数が存在し、このエネルギーを減少させる方向に ニューラルネットワークは向かうという考えはホップフィールドらにより 示された[4]。
