内部記憶を持つニューラルネットワークの学習には、バックプロパゲーションを ただ用いるだけでは、不完全な学習しか行なえない。 それはなぜかと言うと、出力層の内部記憶層部分には教師信号が存在しないため、 学習が行なえないからである。 これを解決すべく、ある時刻tの誤差を時刻t-1まで さかのぼって伝播させた後、時刻t-1の教師信号と併せ、 学習を行なっている。
内部記憶を持つニューラルネットワークの 学習の流れを図 6.5 に示す。 この図では、t-1の出力層とtの入力層にまたがって 横長の層が存在するが、これが内部記憶層部分であり、 本研究のニューラルネットワーク構成では、出力層の内部記憶層部分が そのまま次の単位時間の入力層の内部記憶層部分に代入されるため、 等しいものとしてこう図示した。 また、そのために内部記憶層は時刻tとt-1、あるいはt+1との繋がりを持つ 唯一の層となる。
学習の流れは、まず図のように、まず時刻tの教師信号を与える。 それをバックプロパゲーションを用いて中間層、入力層の内部記憶層部分へと 学習信号を伝播させる。
このとき、入力層の内部記憶層部分を除いた部分には学習信号を伝播させない。 その理由としては、上述したように時刻t-1との繋がりがないため、 時刻t-1への学習信号の伝播がさせようがないからである。
ここで内部記憶層部分に学習信号を伝播させることで、 時刻t-1の教師信号と組み合わせることにより、 時刻t-1でできなかった出力層全体への学習信号作成が可能となる。
ここではじめて時刻t-1での学習が可能となる。 つまりは、時刻tで時刻t-1の学習を行なう、というのが 内部記憶を用いた学習法の特徴である。
