next up previous contents
Next: 第5章 時系列の学習 Up: 第4章 連想記憶 Previous: 4.1 連想記憶とは

4.2 記憶能力の向上

本節では、前節で述べたニューラルネットワークの連想記憶能力の向上について考える。 連想記憶モデルが記憶できるパターンの数 k は、ニューロン数 n が大きければ、式(4.9)で表せる [8]。

  equation261

ここでニューロン数を変えず、結合数を減らすと想起が不安定となり、 更に結合数を減らすと、学習していない出力パターンに似たパターンを出力しうるということが実験によって確かめられている。 結合数を減らすことができると、計算やハードウエア上の配線が楽になるが、 現在のところ、記憶能力を向上させるには、ニューロン数を増加させるしかないと言える。 また、誤り訂正能力についてはつぎに示す方法が提案されている [7]。

入力と出力が同じパターンである自己相関記憶において、 ある時刻での入力が、次の時刻の入力になるよう出力を入力にフィードバックさせ、 図4.3のように記憶パターンをサイクル状にして、サイクル周期で出力をとれば誤り訂正の回数も増し、 全体の誤り訂正能力も高まると考えられている。 このように、出力を入力にフィードバックさせたモデルは、図4.2に示すようなもので、これを回想モデルという。

   figure269
図 4.2: 回想モデル

しかし、自己相関記憶ではニューロンの状態が本来学習されたアトラクタ(状態を表す方程式に於いて近傍の軌道解を引きつける解) 以外の擬アトラクタへ引き込まれやすい。 このため、記憶しないパターンに収束することがある。

   figure277
図 4.3: サイクル状の記憶パターン

そこで、記憶するパターン P を、図4.3のように入力と出力が違う記憶パターンである相互相関記憶のサイクル状とし、 tex2html_wrap_inline1505 を入力すると tex2html_wrap_inline1507 を想起する。 更に、 tex2html_wrap_inline1507 から tex2html_wrap_inline1511 を想起し、 tex2html_wrap_inline1513M はサイクルの周期)を想起するまで繰り返せば、 tex2html_wrap_inline1513tex2html_wrap_inline1505 に等しいため、図4.1に比べて高い誤り訂正能力が得られる。 この回想モデルでは、サイクル周期が大きくなるほど学習パターンに収束し易くなり、 想起能力が高まることが確認されている [9]。



Deguchi Toshinori
1996年10月29日 (火) 11時21分05秒 JST