5.1 連想記憶とは [3]

人間の記憶は連想である。すなわち、記憶の一部から関係の深いより多くの事柄を想起できる。例えば、ある曲の数小節を聞いただけで、情景、音、においなどの感覚的な経験を完全に思い出すことができる。これが、連想記憶である。

  
図 5.1: 連想記憶をする神経回路網の構造

ニューラルネットにおける連想記憶とは、一般につぎのようなものである。 図5.1の様に1つのニューロンに入力 を全結合させたニューラルネットを考える。 入力パターン と、 出力パターン の組が複数個 あるとする。 なお、n はパターンの要素の数であり、要素は全て1と -1 の2値で表される。 ここで、p 個の入力パターンのうち一つをニューラルネットに入力したときに、対応する出力パターンを出力するように、上記の入出力パターンを記憶することを連想記憶という。

具体的には、まず i 番目の入力から j 番目の細胞へのシナプス荷重 を全て0にする。 入力と出力の組を与えるとき、以下の学習則に従ってシナプス荷重を更新する。

 

ただし、閾値 は 0 とする。これをベクトルで表せば次式となる。

 

これは、入力 x を受けて出力

 

を出す神経細胞で、情報源 I から信号 と教師信号 を受けて学習する場合である。 シナプス荷重 の方程式は式(4.5)より

 

で、I の中では信号は等確率で出現するため、平均学習方程式は

  

で、シナプス荷重は

 

に収束する。これをベクトル全体で考えるには を縦に並べたベクトルを y とし、横ベクトル を縦に並べたものを行列 W とすれば 式(5.2)となる。 またこれは、ニューロンが同じ状態にあった場合 はシナプス荷重が増加し、そうでない場合にはシナプス荷重が減少するというHebbの変形学習則そのものである。 このようにして学習し、その後、入力 x を与えたときの 出力 y は

 

となる。 入力 x が学習したパターンの１つである の場合、 が互いに直交していれば、式(5.8)で は0となるので、 となり、 これを単位ステップ関数にいれて2値化すれば となるため、 学習した入力に対応したパターンを正しく想起していることが分かる。

x が に近いパターン の場合、 が互いに直交していれば は に非常に近い。 一方、 の とは直交に近い関係にあるのでこれらの項は小さい。 これが十分小さければ、単位ステップ関数で無視され、 もしくは に近いパターンが出力される。

また、ニューラルネットにおける連想記憶の特徴はつぎのような点である。

1. 1つの入出力パターンの組を記憶するとき、その情報はニューラルネットのシナプス全体に分散して記憶される 。そして、複数の入出力パターンの組を記憶する際には、それぞれの入出力パターンの情報は重なって記憶される。したがって、ニューラルネットが局所的に壊れても1つの入出力パターンの組がまるごと記憶から失われることはない。
2. 記憶するパターンの組が増えても、そのうちの1つの入力パターンから、対応する出力パターンを取り出すために各ニューロンが必要とする動作は増えない。
3. ニューロンに閾値作用をもたせた場合、あいまいな入力パターンから正しい出力パターンを想起する能力(誤り訂正能力)をもつことができる。