ニューラルネットワークのエネルギー関数

ホップフィールド(Hopfield)は、ある種の性質を持つ相互結合型のネットワーク は、物理学で物質の磁気的性質を説明するために研究されているスピンのモデルと よく似ているということを指摘した。そして、スピンモデルを調べるために物理学者が用いていた エネルギーという量に対応して、ニューラルネットワークのエネルギーという考え方を導入した。[5]

そのある種の性質とは次の2点である。

(1)対称的な結合荷重値$w_{ij}=w_{ji}$を持つ

(2)各ニューロンは非同期的に動作する

非同期的な動作とは、状態が変化するのは一度に一つのニューロンだけという意味 である。

このような性質を持つ代表的なネットワークを、ホップフィールドネットワーク と呼ぶ。 $N$素子のホップフィールドネットワークに対し$k$個のパターンを記憶させるときの 結合荷重値は、式 (2.5)のように表される。 また、出力関数は式 (2.6)を用いる。 ここで、$x_{i}^{(s)}$はパターン$s$の$i$番目の要素で、$+1$か$-1$の値をとる ものとする。

$$w_{ij} = \sum_{s=0}^{k-1}{x_{i}^{(s)}x_{j}^{(s)}}$$ (2.5)

$$f(u)= \left\{ \begin{array}{ll} 1 \; (u \geq 0)\\ 0 \; (u < 0) \end{array} \right.$$ (2.6)

式 (2.5)から、結合荷重は対称となり、値は$1$刻みで大きさは $\pm{k}$までとなる。 このネットワークが記憶できるパターンの数は、約$0.15N$個であるといわれている。

エネルギー関数は、現在のネットワークの状態を知る方法として用いられる。 ホップフィールドらによって、このネットワークの状態は、 必ずエネルギー関数が減少する方向に変化することが示された。[6] エネルギー関数がどのような形状になるかは結合荷重分布など、ニューラル ネットワークの構造によって変わるが、一般に多数の極小点を持つ多安定関数になる。

図 2.7はネットワークの状態遷移の様子を表したもので、 黒い点が状態を表している。 このようなネットワークでは、状態は滑らかな凹凸を持つ曲面上を転がるボールの 動きと同様に、最終的には必ず曲面の谷(関数の極小点)に収束する。

図 2.7: ニューラルネットワークのエネルギー