連想記憶と引き込み領域

ある$N$個のニューロン、$M$本の入力信号を与えられてニューラルネットワークを考える。ネットワークに入力したパターンと、出力されるパターンの組が複数個あったときに、入力したパターンの中の１つをネットワークに入力する。そのときに対応するパターンを出力するように、入出力パターンを記憶することを連想記憶と呼ぶ。 学習させたパターンと出力が一致している連想記憶のことを自己相関記憶、異なる連想記憶のことを相互相関記憶と呼ぶ。自己相関記憶では、入力パターンと出力パターンとの組を複数個記憶するのではなく、単純に複数個のパターンを記憶することになる。

ここで、$N$個のパターン$x(1)$から$x(N)$を考える。それらのパターンを記憶した後、どのパターンとも正確に一致はしないがどれかのパターン$x(r)$と最も近い入力$x(r)'$を与える。そのときに、$x(r)$を出力すれば、パターン$x(r)'$を入力したことにより、パターン$x(r)$を連想したことになる。これが、自己相関記憶である。 この最も近い入力$x(r)'$を与えたときに、学習したパターン$x(r)$を連想するというのは、2.5節でも述べたように、相互結合型のニューラルネットワークでエネルギー関数が存在していることが関係していると考えられる。 ある学習させたパターンに近い入力をした場合に、エネルギー関数の斜面の点にいると考えることができ、その学習させたパターンの記憶は極小点であると考えると、近い入力をすることで、その極小点へと収束しようとする。これが想起の過程であると考えられる。 このように、$N$次元ベクトルであるパターンが、その$N$次元超平面上でネットワークに入れると$x(r)$に収束する範囲を、$x(r)$の引き込み領域であるとする。

この連想記憶は次に示すような特徴を持つ。 1つの入出力パターンの組を記憶するとき、その情報はニューラルネットワークのシナプス全体に分散して記憶される。 そして、複数の入出力パターンの組を記憶する際には、それぞれの入出力パターンの情報は重なって記憶される。したがって、ニューラルネットが局所的に壊れたとしても、1つの入出力パターンの組が記憶から失われるということはない。 また、記憶の取り出し方が並列的であるため、記憶するパターンの組の数が増えてもそのうちの1つの入力パターンから、対応する出力パターンを取り出すために各ニューロンが必要とする動作は増えない。 そして、ニューロンに閾値を持たせることであいまいな入力パターンから正しい出力パターンを想起する能力を持つことができる。[2]