内部記憶を持つニューラルネットワークの構造

Elmanのネットワークのように過去の情報を直接利用した場合， 同じ周期を数回繰り返した後に別の周期の情報が現れるような時系列を 学習させることが困難であるとされている。 これは過去の情報だけでは同じ周期から別の周期に移るのか 再び同じ周期を繰り返すのかという判別ができないからである。 そこで文脈層にも結合荷重を持たせることとし， これを内部記憶層と呼称する。 結合荷重を持たせることによって 教師信号の変化によって結合荷重が変化し， その出力値が変化するために 時系列を学習させやすい。 また素子数が必ずしも中間層と同じである必要がない。

  
図 3.2: Elmanのネットワーク

以上の特性を持つ素子を図 3.2 のように組み合わせた 内部記憶を持つニューラルネットワークはリカレントネットワークの一種で， 普通の階層型との大きな違いは，内部記憶層部分があるために 出力層の出力の一部が入力層の入力の一部に戻っている点である。

リカレントネットワークとは， 相互結合型のように結合の仕方が対称になっているネットワークとは異なり， 結合状態が非対称でフィードバックを持つネットワークのことである。 ネットワークの非対称性やフィードバックを持つネットワークは， 現在の出力が現在の入力だけではなく， 過去の入力で決定されたネットワークの状態にも依存するようになる。 したがって，入力の時系列パターンを識別することや，自律的に時空間的なパターンを 発生するためには，非対称性やフィードバックがなければならない。