本節では、前節で述べたニューラルネットワークの連想記憶能力の向上について考える。 連想記憶モデルが記憶できるパターンの数 k は、ニューロン数 n が大きければ、式(4.9)で表せる [8]。
ここでニューロン数を変えず、結合数を減らすと想起が不安定となり、 更に結合数を減らすと、学習していない出力パターンに似たパターンを出力しうるということが実験によって確かめられている。 結合数を減らすことができると、計算やハードウエア上の配線が楽になるが、 現在のところ、記憶能力を向上させるには、ニューロン数を増加させるしかないと言える。 また、誤り訂正能力についてはつぎに示す方法が提案されている [7]。
入力と出力が同じパターンである自己相関記憶において、 ある時刻での入力が、次の時刻の入力になるよう出力を入力にフィードバックさせ、 図4.3のように記憶パターンをサイクル状にして、サイクル周期で出力をとれば誤り訂正の回数も増し、 全体の誤り訂正能力も高まると考えられている。 このように、出力を入力にフィードバックさせたモデルは、図4.2に示すようなもので、これを回想モデルという。
しかし、自己相関記憶ではニューロンの状態が本来学習されたアトラクタ(状態を表す方程式に於いて近傍の軌道解を引きつける解) 以外の擬アトラクタへ引き込まれやすい。 このため、記憶しないパターンに収束することがある。
そこで、記憶するパターン P を、図4.3のように入力と出力が違う記憶パターンである相互相関記憶のサイクル状とし、
を入力すると
を想起する。
更に、
から
を想起し、
(M はサイクルの周期)を想起するまで繰り返せば、
は
に等しいため、図4.1に比べて高い誤り訂正能力が得られる。
この回想モデルでは、サイクル周期が大きくなるほど学習パターンに収束し易くなり、
想起能力が高まることが確認されている [9]。