5.2 記憶能力の向上 [6]

本節では、前節で述べたニューラルネットの連想記憶能力の向上について考える。 ニューロン数 n が大きいとすると、連想記憶モデルが記憶できるパターンの数 k は、確率論の法則(中心極限定理)を用いて式(5.9)で表すことができる[7]。

 

ここでニューロン数を変えず、結合数を減らすと想起が不安定となり、更に結合数を減らすと、学習していない出力パターンに似たパターンを出力しうるということが実験によって確かめられている。 結合数を減らすことができると、計算やハードウエア上の配線が楽になるが、現在のところ、記憶能力を向上させるには、ニューロン数を増加させるしかないと言える。 また、誤り訂正能力についてはつぎに示す方法が提案されている。

入力と出力が同じパターンである自己相関記憶において、ある時刻での入力が、次の時刻の入力になるよう出力を入力にフィードバックさせ、図5.3のように記憶パターンをサイクル状にして、サイクル周期で出力をとれば誤り訂正の回数も増し、全体の誤り訂正能力も高まると考えられている。 このように、出力を入力にフィードバックさせたモデルは、図5.2に示すようなもので、これを回想モデルという。

  
図 5.2: 回想モデル

しかし、自己相関記憶ではニューロンの状態が本来学習されたアトラクタ(状態を表す方程式に於いて近傍の軌道解を引きつける解)以外の擬アトラクタへ引き込まれやすい。 このため、記憶しないパターンに収束することがある。

  
図 5.3: サイクル状の記憶パターン

そこで、記憶するパターン P を、図5.3のように入力と出力が違う記憶パターンである相互相関記憶のサイクル状とし、 を入力すると を想起する。 更に、 から を想起し、 (M はサイクルの周期)を想起するまで繰り返せば、 は に等しいため、図5.1に比べて高い誤り訂正能力が得られる。 この回想モデルでは、サイクル周期が大きくなるほど学習パターンに収束し易くなり、想起能力が高まることが確認されている [8]。