このようなモデルで、入力パターン 
= 
( 
：ニューロンjの入力信号がとる値)と出力パターン
= 
( 
：
ニューロンiの出力信号がとる値)の組が複数個 
,
, 
, 
)あって、
上記のP個の入力パターンのうちの1つを
ニューラルネットに入力したときに、対応する出力パターンを出力するように、
入出力パターンを記憶させることを連想記憶という。
このことは、対称結合のネットワークでいえば、エネルギー関数の極小点が
出力パターンになるような結合荷重を作るということになる。
このとき、ニューラルネットが連想記憶を学習する過程を記銘過程とよぶ。
また、ニューラルネットが入力パターンを与えられることにより、なんらかの
出力をすることを想起過程とよぶ。
ニューラルネットにおける連想記憶の特徴として、以下の点が挙げられる。
(1)分散性記憶である。 1つの入出力パターンの組の情報は結合荷重全体に分散して記憶される。 また、複数の入出力パターンの組については、分散した情報を重ね合わせて記憶する。
(2)記憶の取り出し方が並列的である。 コンピュータのメモリなどに、直列的に入出力パターンの組を記憶させておくと、 取り出すのにかかる時間は記憶させたパターンの組の数、取り出そうとしている パターンの組が記憶されている順番などにより異なる。 また、もし取り出そうとしているパターンの組が記憶されていない場合、全ての パターンを探索し終えるまで、記憶されていないことを知ることはできない。 しかし、ニューラルネットによる連想記憶の場合、記憶させたパターンの組の 数、取り出すパターンの組、取り出そうとしているパターンの組が記憶されているか によらず、かかる時間はほぼ同じである。
(3)誤り訂正能力を持つ。
あいまいな入力パターンから、正しい出力パターンを得ることができる。
例えば、 
, 
という
パターンの組を記憶しているニューラルネットに対し、 
と若干異なるパターン 
を入力した場合でも、
ニューラルネットは正しい出力パターン 
を出力する。
これは、ニューロンモデルの持つ非線形性が、多少の誤りの影響なら吸収してくれる
ためである。
連想記憶のうち、記銘する入力パターンと出力パターンが一致している連想記憶の ことを自己相関記憶、異なっている記憶のことを相互相関記憶という。 自己相関記憶を行なうとき、ネットワークの出力をそのまま入力としてフィードバック する(相互結合型)ことで、情報が何度もネットワークで処理され、誤り訂正能力を 強めることができる。 このときの誤り訂正能力は、図 2.6のエネルギー関数の 谷の幅であるということもできる。 入力パターンの状態が記憶したパターンの位置からずれていても、 目的のパターンを極小点とする谷に含まれていれば、そのパターンを 出力することができる。 ただし、ニューラルネットワークのエネルギー関数は、記憶させたパターン以外にも 極小点を多数持つため、目的のパターンと入力パターンが離れ過ぎていると、 誤ったパターンを出力してしまう。
自己相関記憶において、誤り訂正機能を持つということは次のような意味がある。
複数のパターンを記憶したニューラルネットにおいて、記憶しているパターン
に非常に良く似たパターン
を入力した時、正しいパターン
を出力すれば、 から
を連想したことになる。
人間の脳で例えれば、複数の記号を記憶している状態で、形の崩れた記号を
見せられたとき、記憶している記号の中で最も形の似たものを答えることに当たる。
ニューラルネットワークで自己相関記憶を実現する簡単な方法に、自己相関行列を 加算したものを結合行列とするものがある。 これを相関学習法といい、2.5節の式 (2.4)のような 結合荷重設定法は、まさに相関学習法である。
