連想記憶モデルは 1970 年代の始めに Nakano(1972),Kohonen(1972),Anderson(1972) の 3 者によって同時期に,しかも独立に提案された。 3 者のモデルにはそれぞれ特色があるが,ここでは,特定のモデルに偏らずに, 3 者のモデルに共通するような基本原理について説明する[10]。
ニューラルネットにおける連想記憶とは,一般に次のようなものである。 図 11 のように, N 個のニューロンに M 本の入力信号が加えられているニューラルネットを考える。
入力パターン ( :入力信号 j がとる値) と出力パターン(想起パターン) ( :ニューロン i の出力信号がとる値)の組が複数個 あって, 上記の P 個の入力パターンの内の 1 つをニューラルネットに入力した時に, 対応する出力パターン(つまり入力パターン に対しては 出力パターン )を出力するように, 上記の入出力パターンを記憶することを連想記憶という。 また,連想記憶が学習する過程を記銘過程と呼び,神経回路網が入力パターンを 与えられることによって,何らかの出力をする過程を想起過程と呼ぶ。
記銘する入力パターンと出力パターンとが一致\ している連想記憶のことを 自己相関記憶,異なる連想記憶のことを相互相関記憶とよぶ。 自己相関記憶では,入力パターンと出力パターンとの組を複数個記憶するのでなく, 単純に復数個のパターンを記憶することになる。
自己相関記憶は次のような意味をもつ。いくつかのパターンを記憶した後, どのパターンとも正確には一致しないが,どれかのパターン と 最も近い入力 をニューラルネットに与えるとする。 そのとき そのものを出力すれば,パターン から パターン を「連想」したことになる。 このことを人間の脳の機能にあてはめると,例えば, 複数の文字の形を覚えている状態で, 形の崩れた文字を見せたときに,その文字がなんであるのか, 記憶しているものから最も近いものを答えることに相当する。
次に,ニューラルネットにおける連想記憶の特徴となる点を挙げる.
この点を解消することができる。
以上の特徴について,従来の方法と比較しながら説明する。(1) は,記憶する複数の入出力パターンの組の情報がそれぞれ, ニューラルネットのシナプス全体に分散され, 各々の情報が重なって記憶されることを意味する。 そのため,ニューラルネットが局所的に壊れても,従来の方法のように, 1 つの入出力パターンの組がまるごと記憶から失われることはない。
(2) は,(1) のようにシナプス全体に重なって 記憶されるために,記憶するパターンの組の数が増えても, 従来の方法で比較する回数が増えるように, 出力パターンを取り出すまでの動作は増えない。
(3) は,曖昧な入力パターンから正しい出力パターンを想起する能力の ことである。 これは,ニューロンにしきい値作用を持たせた場合に持つ能力である。 自己相関記憶のところでも説明したように, 入力したパターン に近いパターン が連想する 出力パターン を想起する。 従来の方法では,近いパターンでも違うパターンとみなされるので, 出力が得られない。