内部記憶を持つニューラルネットワーク

前節で述べたようなネットワークを使って本研究のような、時系列パターンを学習するのは困難であるとされている。 そこで内部記憶というものを考える。

内部記憶を持つニューラルネットワークのモデルを、図 6.4 に示す。 内部記憶を持つニューラルネットワークは、階層型ニューラルネットワークを基本としているが、大きく違うところは、出力層の一部が入力層へとフィードバックしている。 これは非対称でフィードバックを持つネットワークの1つで、リカレントネットワークと呼ばれる。

  
図 2.5: 内部記憶を持つニューラルネットワーク

このフィードバックのため、このニューラルネットワークは現在の出力が現在の入力のみで決定されるのではなく、過去の入力で決定されたネットワークの状態にも依存する。[3, 4] 本研究のような、時系列パターンを入力として、適切な出力を求める場合には適したネットワークといえる。