next up previous contents
Next: カオスニューラルネットワーク Up: ニューロンとニューラルネットワーク Previous: ニューラルネットワークの協調と競合

ニューラルネットワークのエネルギー関数

  ホップフィールド(Hopfield)は、ある種の性質を持つ相互結合型のネットワーク は、物理学で物質の磁気的性質を説明するために研究されている、スピンのモデルと よく似ており、スピンモデルを調べるために使用されているエネルギー関数が、 そのようなニューラルネットワークにも存在することを指摘した。[1]

そのある種の性質とは次の2点である。

(1)対称的な結合荷重値 tex2html_wrap_inline1459 を持つ

(2)各ニューロンは非同期的に動作する

非同期的な動作とは、状態が変化するのは一度に一つのニューロンだけという意味 である。

このような性質を持つ代表的なネットワークが、ホップフィールドネットワーク である。 N素子のホップフィールドネットワークに対しk個のパターンを記憶させるときの 結合荷重値は、式 (2.4)のように表される。 また、出力関数は式 (2.5)を用いる。 ここで、 tex2html_wrap_inline1465 はパターンsi番目の要素で、+1か-1の値をとる ものとする。

  equation86

  equation96

式 (2.4)から、結合荷重は対称となり、値は1刻みで大きさは tex2html_wrap_inline1477 までとなる。 このネットワークが記憶できるパターンの数は、約0.15N個であるといわれている。

エネルギー関数は、現在のネットワークの状態を知る方法として用いられる。 ホップフィールドらによって、このネットワークの状態は、 必ずエネルギー関数が減少する方向に変化することが示された。[2] エネルギー関数がどのような形状になるかは結合荷重分布など、ニューラル ネットワークの構造によって変わるが、一般に多数の極小点を持つ多安定関数になる。

図 2.6はネットワークの状態遷移の様子を表したもので、 黒い点が状態を表している。 このようなネットワークでは、状態は滑らかな凹凸を持つ曲面上を転がるボールの 動きと同様に、最終的には必ず曲面の谷(関数の極小点)に収束する。

   figure106
図 2.6: ニューラルネットワークのエネルギー



Deguchi Lab.