next up previous contents
Next: 第6章 時系列の学習 Up: 第5章 連想記憶 Previous: 5.1 連想記憶モデル

5.2 回想モデル

ニューラルネットワークの連想記憶能力の向上について考える。 連想記憶は事項を回路網全体の中に分散し多重化して貯える [5] 。 このため、ある程度以上多数の事項を憶えようとすると、事項どうしの相互干渉が起こり、記憶が崩壊する。 ニューロン数 n の回路網で、いくつまでの事項パターンを記憶させることができるだろうか。 その最大数 k を記憶容量という。 連想記憶モデルが記憶できるパターンの数 k は、 n が大きければ、式(5.10)で表せる [9] 。

  equation248

ここでニューロン数を変えず、結合数を減らすと想起が不安定となり、更に結合数を減らすと、学習していない出力パターンに似たパターンを出力しうるということが実験によって確かめられている。 結合数を減らすことができれば、計算やハードウエア上の配線が楽になるが、現在のところ、記憶容量を向上させるには、ニューロン数を増加させるしかないと言える。

また、誤り訂正能力については以下に示す方法が提案されている。 自己相関記憶において、ある時刻での入力が、次の時刻の入力になるよう出力を入力にフィードバックさせ、図5.3のように記憶パターンをサイクル状にして、サイクル周期で出力をとれば誤り訂正の回数も増し、全体の誤り訂正能力も高まると考えられている [5] 。 図5.2が出力を入力にフィードバックさせたモデルで、これを回想モデルという。

しかし、自己相関記憶ではニューロンの状態が本来学習されたアトラクタ(状態を表す 方程式に於いて近傍の軌道解を引きつける解)以外の擬アトラクタへ引き込まれやすい 。 このため、記憶しないパターンに収束することがある。 そこで、記憶するパターン P を、図5.3のように相互相関記憶の サイクル状にして、 tex2html_wrap_inline1475 を入力すると tex2html_wrap_inline1477 を想起する。 更に、 tex2html_wrap_inline1477 から tex2html_wrap_inline1481 を想起し、 tex2html_wrap_inline1483M はサイクルの 周期)を想起するまで繰り返せば、 tex2html_wrap_inline1483tex2html_wrap_inline1475 に等しいため、 図5.1に比べて高い誤り訂正能力が得られる。 この回想モデルでは、サイクル周期が大きくなるほど学習パターンに収束し易くなり、 想起能力が高まることが確認されている [10]。

   figure264
図 5.2: 回想モデル

   figure272
図 5.3: サイクル状の記憶パターン



Deguchi Toshinori
1996年10月08日 (火) 12時41分40秒 JST