ニューラルネットワークの連想記憶能力の向上について考える。 連想記憶は事項を回路網全体の中に分散し多重化して貯える [5] 。 このため、ある程度以上多数の事項を憶えようとすると、事項どうしの相互干渉が起こり、記憶が崩壊する。 ニューロン数 n の回路網で、いくつまでの事項パターンを記憶させることができるだろうか。 その最大数 k を記憶容量という。 連想記憶モデルが記憶できるパターンの数 k は、 n が大きければ、式(5.10)で表せる [9] 。
ここでニューロン数を変えず、結合数を減らすと想起が不安定となり、更に結合数を減らすと、学習していない出力パターンに似たパターンを出力しうるということが実験によって確かめられている。 結合数を減らすことができれば、計算やハードウエア上の配線が楽になるが、現在のところ、記憶容量を向上させるには、ニューロン数を増加させるしかないと言える。
また、誤り訂正能力については以下に示す方法が提案されている。 自己相関記憶において、ある時刻での入力が、次の時刻の入力になるよう出力を入力にフィードバックさせ、図5.3のように記憶パターンをサイクル状にして、サイクル周期で出力をとれば誤り訂正の回数も増し、全体の誤り訂正能力も高まると考えられている [5] 。 図5.2が出力を入力にフィードバックさせたモデルで、これを回想モデルという。
しかし、自己相関記憶ではニューロンの状態が本来学習されたアトラクタ(状態を表す
方程式に於いて近傍の軌道解を引きつける解)以外の擬アトラクタへ引き込まれやすい
。
このため、記憶しないパターンに収束することがある。
そこで、記憶するパターン P を、図5.3のように相互相関記憶の
サイクル状にして、 を入力すると
を想起する。
更に、
から
を想起し、
(M はサイクルの
周期)を想起するまで繰り返せば、
は
に等しいため、
図5.1に比べて高い誤り訂正能力が得られる。
この回想モデルでは、サイクル周期が大きくなるほど学習パターンに収束し易くなり、
想起能力が高まることが確認されている [10]。