連想記憶（相関学習）

ニューラルネットワークにおける連想記憶とは、次のようなものである。 $N$個のニューロンに$M$本の入力信号が加えられている図 4.1のような モデルを考える。

図 4.1: 連想記憶を実現するニューラルネット

このようなモデルで、入力パターン $\mbox{\boldmath$x$}$ = $(x_{1},x_{2}, \ldots,x_{M})^{T}$ （$x_{j}$：ニューロン$j$の入力信号がとる値）と出力パターン $\mbox{\boldmath$y$}$ = $(y_{1},y_{2},\ldots,y_{N})^{T}$（$y_{i}$： ニューロン$i$の出力信号がとる値）の組が複数個（ $(\mbox{\boldmath$x$}^{(1)}, \mbox{\boldmath$y$}^{(1)})$, $\ldots$, $(\mbox{\boldmath$x$}^{(P)}$, $\mbox{\boldmath$y$}^{(P)})$）あって、 上記の$P$個の入力パターンのうちの1つを ニューラルネットに入力したときに、対応する出力パターンを出力するように、 入出力パターンを記憶させることを連想記憶という。 このことは、対称結合のネットワークでいえば、エネルギー関数の極小点が 出力パターンになるような結合荷重を作るということになる。 このとき、ニューラルネットが連想記憶を学習する過程を記銘過程とよぶ。 また、ニューラルネットが入力パターンを与えられることにより、なんらかの 出力をすることを想起過程とよぶ。

ニューラルネットにおける連想記憶の特徴として、以下の点が挙げられる。

(1)分散性記憶である。 1つの入出力パターンの組の情報は結合荷重全体に分散して記憶される。 また、複数の入出力パターンの組については、分散した情報を重ね合わせて記憶する。

(2)記憶の取り出し方が並列的である。 コンピュータのメモリなどに、直列的に入出力パターンの組を記憶させておくと、 取り出すのにかかる時間は記憶させたパターンの組の数、取り出そうとしている パターンの組が記憶されている順番などにより異なる。 また、もし取り出そうとしているパターンの組が記憶されていない場合、全ての パターンを探索し終えるまで、記憶されていないことを知ることはできない。 しかし、ニューラルネットによる連想記憶の場合、記憶させたパターンの組の 数、取り出すパターンの組、取り出そうとしているパターンの組が記憶されているか によらず、かかる時間はほぼ同じである。

(3)誤り訂正能力を持つ。 あいまいな入力パターンから、正しい出力パターンを得ることができる。 例えば、 $(\mbox{\boldmath$x$}^{(r)}$, $\mbox{\boldmath$y$}^{(r)})$という パターンの組を記憶しているニューラルネットに対し、 $\mbox{\boldmath$x$}^{(r)}$ と若干異なるパターン $\mbox{\boldmath$x$}^{(r)'}$を入力した場合でも、 ニューラルネットは正しい出力パターン $\mbox{\boldmath$y$}^{(r)}$を出力する。 これは、ニューロンモデルの持つ非線形性が、多少の誤りの影響なら吸収してくれる ためである。

連想記憶のうち、記銘する入力パターンと出力パターンが一致している連想記憶の ことを自己相関記憶、異なっている記憶のことを相互相関記憶という。 自己相関記憶を行なうとき、ネットワークの出力をそのまま入力としてフィードバック する(相互結合型)ことで、情報が何度もネットワークで処理され、誤り訂正能力を 強めることができる。 このときの誤り訂正能力は、図 2.7のエネルギー関数の 谷の幅であるということもできる。 入力パターンの状態が記憶したパターンの位置からずれていても、 目的のパターンを極小点とする谷に含まれていれば、そのパターンを 出力することができる。 ただし、ニューラルネットワークのエネルギー関数は、記憶させたパターン以外にも 極小点を多数持つため、目的のパターンと入力パターンが離れ過ぎていると、 誤ったパターンを出力してしまう。

自己相関記憶において、誤り訂正機能を持つということは次のような意味がある。 複数のパターンを記憶したニューラルネットにおいて、記憶しているパターン $\mbox{\boldmath$x$}^{(r)}$に非常に良く似たパターン $\mbox{\boldmath$x$}^{(r)'}$を入力した時、正しいパターン $\mbox{\boldmath$x$}^{(r)}$を出力すれば、 $\mbox{\boldmath$x$}^{(r)'}$から $\mbox{\boldmath$x$}^{(r)}$を連想したことになる。 人間の脳で例えれば、複数の記号を記憶している状態で、形の崩れた記号を 見せられたとき、記憶している記号の中で最も形の似たものを答えることに当たる。

ニューラルネットワークで自己相関記憶を実現する簡単な方法に、自己相関行列を 加算したものを結合行列とするものがある。 これを相関学習法といい、2.5節の式 (2.5)のような 結合荷重設定法は、まさに相関学習法である。