5.1 連想記憶モデル

人間は知っている人の顔を見ればその人の名前を思い出すことができる。 また、形の崩れた文字を見せたときでも、その文字が何であるのか、記憶しているものから最も近いものを答えることができる。 このように、入力から前もって覚えているパターンを思い出すことを連想記憶という。 [2]

ニューラルネットワークにおける連想記憶モデルは1970年代の初めに中野、Kohonen、Andersonの三者によって同時期に、しかも独立に提案された。三者のモデルにはそれぞれ特色があるが、基本原理は共通している部分がある。 ここでは出力に２値モデルを用いた中野のモデルを説明する。

  
図 5.1: 連想記憶をする神経回路網の構造

図5.1の様に一つのニューロンに入力 を全結合させる。 入力パターンを 、 出力パターンを とする。 なお、n はパターンの要素の数であり、要素は全て1と -1 の２値で表される。 P を覚えるパターンの数とし、入力と出力の組 を記憶させることを考える。 具体的には、まず i 番目の入力から j 番目の細胞へのシナプス荷重 を全て0にする。 入力と出力の組を与えるとき、以下の学習則に従ってシナプス荷重を更新する。

 

ただし、閾値 は 0 とする。 これをベクトルで表せば次式となる。

 

これは、入力 x を受けて出力

 

を出す神経細胞で、情報源 I から信号 と教師信号 を受けて学習する場合である。 シナプス荷重 の方程式は式(4.6)より

 

で、I の中では信号は等確率で出現するため、平均学習方程式は

  

で、式(5.6)を式(5.5)に代入すると

 

となるから、シナプス荷重は

 

に収束する。 これをベクトル全体で考えるには を縦に並べた ベクトルを 、横ベクトル を 縦に並べたものを行列 W とし、 とすれば 式(5.2)となる。 また、これはニューロンが同じ状態にあった場合 はシナプス荷重が増加し、そうでない場合にはシナプス荷重が減少するというHebbの変形学習則そのものである。 このようにして学習し、その後、入力 x を与えたときの 出力 y は

 

となる。 入力 x が学習したパターンの一つである の場合、 が互いに直交していれば、式(5.9)で は0となるので、 となり、 これを単位ステップ関数にいれて２値化すれば となるため、 学習した入力に対応したパターンを正しく想起していることが分かる。

x が に近いパターン の場合、 が互いに直交していれば は に非常に近い。 一方、 の とは直交に近い関係にあるのでこれらの項は小さい。 これが十分小さければ、単位ステップ関数で無視され、 もしくは に近いパターンが出力される。

ここで、ニューラルネットワークが連想記憶を学習する過程を記銘過程という。 また、神経回路網が入力パターンを与えられることによって、何らかの出力を出す過程を想起過程という。 記銘する入力パターンと出力パターンとが一致している連想記憶のことを自己相関記憶、異なる連想記憶のことを相互相関記憶という。 自己相関記憶では、入力パターンと出力パターンとの組を複数個記憶するのではなくて、単純に複数個のパターンを記憶することになる。

ニューラルネットワークにおける連想記憶の特徴はつぎのような点である。

1. 分散多重記憶である。 つまり、一つの入出力パターンの組を記憶するとき、その情報はニューラルネットワークのシナプス全体に分散して記憶される。 また、複数の入出力パターンの組を記憶する際には、それぞれの入出力パターンの情報は重なって記憶される。 したがって、ニューラルネットワークが局所的に故障しても一つの入出力パターンの組が全て記憶から失われることはない。
2. 並列分散処理である。 記憶するパターンの組が増しても、そのうちの一つの入力パターンから、対応する出力パターンを取り出すために各ニューロンが必要とする動作は増えない。
3. 誤り訂正能力を持つ。 ニューロンに閾値作用をもたせた場合、あいまいな入力パターンから正しい出力パターンを想起する能力をもつことができる。