4.1 連想記憶とは

人間は、複数の文字を覚えている状態で、形の崩れた文字を見せたとき、 その文字が何であるのか、記憶しているものから最も近いものを答える。 このように、入力から前もって覚えているパターンを思い出すことを連想記憶という。

  
図 4.1: 連想記憶をする神経回路網の構造

ニューラルネットワークにおける連想記憶とは、一般につぎのようなものである。 図4.1の様に１つのニューロンに入力 を全結合させる。 入力パターンを 、 出力パターンを とする。 なお、n はパターンの要素の数であり、要素は全て1と -1 の２値で表される。 P を覚えるパターンの数とし、入力と出力の組 を記憶させることを考える。 具体的には、まず i 番目の入力から j 番目の細胞へのシナプス荷重 を全て0にする。 入力と出力の組を与えるとき、以下の学習則に従ってシナプス荷重を更新する。

 

ただし、閾値 は 0 とする。これをベクトルで表せば次式となる。

 

これは、入力 x を受けて出力

 

を出す神経細胞で、情報源 I から信号 と教師信号 を受けて学習する場合である。 シナプス荷重 の方程式は式(3.5)より

 

で、I の中では信号は等確率で出現するため、平均学習方程式は

  

で、シナプス荷重は

 

に収束する。これをベクトル全体で考えるには を縦に並べたベクトルを y とし、横ベクトル を縦に並べたものを行列 W とすれば 式(4.2)となる。 また、これはニューロンが同じ状態にあった場合 はシナプス荷重が増加し、 そうでない場合にはシナプス荷重が減少するというHebbの変形学習則そのものである。このようにして学習し、その後、入力 x を与えたときの 出力 y は

 

となる。 入力 x が学習したパターンの１つである の場合、 が互いに直交していれば、式(4.8)で は0となるので、 となり、 これを単位ステップ関数にいれて２値化すれば となるため、 学習した入力に対応したパターンを正しく想起していることが分かる。

x が に近いパターン の場合、 が互いに直交していれば は に非常に近い。 一方、 の とは直交に近い関係にあるのでこれらの項は小さい。 これが十分小さければ、単位ステップ関数で無視され、 もしくは に近いパターンが出力される。

また、ニューラルネットワークにおける連想記憶の特徴はつぎのような点である [3]。

1. １つの入出力パターンの組を記憶するとき、その情報はニューラルネットワークのシナプス全体に分散して記憶される。 また、複数の入出力パターンの組を記憶する際には、それぞれの入出力パターンの情報は重なって記憶される。 したがって、ニューラルネットワークが局所的に故障しても１つの入出力パターンの組が全て記憶から失われることはない。
2. 記憶するパターンの組が増しても、そのうちの１つの入力パターンから、 対応する出力パターンを取り出すために各ニューロンが必要とする動作は増えない。
3. ニューロンに閾値作用をもたせた場合、あいまいな入力パターンから正しい出力パターンを想起する能力をもつことができる。