再帰型ニューラルネットワーク

1990年にエルマン(Elman)が単純再帰型(単純回帰型)ニューラルネットワークを考案した。

図 2.6: 単純再帰型ニューラルネットワーク

このネットワークは図 2.6のように入力層に、 文脈層と呼ばれる以前の中間層の値をそのまま保持する層が追加されていた。 この文脈層は1ステップ前までの過去の状態を記憶している。 これにより、通常のニューラルネットワークはある時刻の入力信号のみで出力が決定していたのが、 文脈層を持つ事により現在の入力と過去の入力履歴の集合から決定できるようになった。

　しかし、単純再帰型ニューラルネットワークのように過去の情報をそのまま利用した場合、 同じ周期を複数回繰り返した後に、 別の周期情報が現れるといった時系列のデータに対して学習をする事が困難であるとされている。 そこで中間層から文脈層に結合荷重を持たせ、 中間層から複数文脈層に結合が出来るようにし、 その総和を計算し文脈層の出力する値を決定する。 本研究室では、この再帰型ニューラルネットワークを内部記憶を持つニューラルネットワークと、 文脈層を内部記憶層を呼ぶ事にする。 内部記憶を持つニューラルネットワークを図 2.7で示す。

図 2.7: 内部記憶を持つニューラルネットワーク