ニューラルネットワークの連想記憶能力の向上について考える。 連想記憶は事項を回路網全体の中に分散し多重化して貯える [5] 。 このため、ある程度以上多数の事項を憶えようとすると、事項どうしの相互干渉が起こり、記憶が崩壊する。 ニューロン数 n の回路網で、いくつまでの事項パターンを記憶させることができるだろうか。 その最大数 k を記憶容量という。 連想記憶モデルが記憶できるパターンの数 k は、 n が大きければ、式(5.10)で表せる [9] 。
ここでニューロン数を変えず、結合数を減らすと想起が不安定となり、更に結合数を減らすと、学習していない出力パターンに似たパターンを出力しうるということが実験によって確かめられている。 結合数を減らすことができれば、計算やハードウエア上の配線が楽になるが、現在のところ、記憶容量を向上させるには、ニューロン数を増加させるしかないと言える。
また、誤り訂正能力については以下に示す方法が提案されている。 自己相関記憶において、ある時刻での入力が、次の時刻の入力になるよう出力を入力にフィードバックさせ、図5.3のように記憶パターンをサイクル状にして、サイクル周期で出力をとれば誤り訂正の回数も増し、全体の誤り訂正能力も高まると考えられている [5] 。 図5.2が出力を入力にフィードバックさせたモデルで、これを回想モデルという。
しかし、自己相関記憶ではニューロンの状態が本来学習されたアトラクタ(状態を表す 方程式に於いて近傍の軌道解を引きつける解)以外の擬アトラクタへ引き込まれやすい 。 このため、記憶しないパターンに収束することがある。 そこで、記憶するパターン P を、図5.3のように相互相関記憶の サイクル状にして、 を入力すると を想起する。 更に、 から を想起し、 (M はサイクルの 周期)を想起するまで繰り返せば、 は に等しいため、 図5.1に比べて高い誤り訂正能力が得られる。 この回想モデルでは、サイクル周期が大きくなるほど学習パターンに収束し易くなり、 想起能力が高まることが確認されている [10]。