内部記憶を持つニューラルネットワークの構造

Elmanのネットワークのように過去の情報を直接利用した場合、 同じ周期を数回繰り返した後に、別の周期の情報が現れるような時系列を 学習させることが、困難であるとされている。 これは過去の情報だけでは同じ周期から別の周期に移るのか 再び同じ周期を繰り返すのかという判別ができないからである。 そこで文脈層にも結合荷重を持たせることとし、 これを内部記憶層と呼称する。 結合荷重を持たせることによって 教師信号の変化によって結合荷重が変化し、 その出力値が変化するために 時系列を学習させやすい。 また素子数が必ずしも中間層と同じである必要がない。

図 3.2: 内部記憶層を持つニューラルネットワーク

以上の特性を持つ素子を図3.2 のように組み合わせた 内部記憶を持つニューラルネットワークはリカレントネットワークの一種で、 普通の階層型との大きな違いは、内部記憶層部分があるために 出力層の出力の一部が入力層の入力の一部に戻っている点である。

リカレントネットワークとは、 相互結合型のように結合の仕方が対称になっているネットワークとは異なり、 結合状態が非対称でフィードバックを持つネットワークのことである。 非対称性でフィードバックを持つネットワークは、 現在の出力が現在の入力だけではなく、 過去の入力で決定されたネットワークの状態にも依存するようになるため、 入力の時系列パターンを識別することや、自律的に時空間的なパターンを 発生することが可能となる。