内部記憶を持つニューラルネットワークの学習は、バックプロパゲーションを用いるだけでは、教師信号は出力層のみに与えられ、内部記憶層には与えられず、内部記憶層素子は学習できない。
そこで、図 6.5 に示すような中間層から、現在を t とすると、t-1 の内部記憶層に誤差を伝搬することで、内部記憶層の学習を行なっている。 すなわち、ネットワークを時間的に展開し、学習をしていない内部記憶層へ時間を逆に進み、学習信号を与えている。
図 3.2: 内部記憶を持つニューラルネットワークの誤差伝搬
学習の流れは、まず時刻 t の教師信号を与える。 それをバックプロパゲーションを用いて中間層、入力層の内部記憶層へと学習信号を伝搬させる。
ここで内部記憶層に学習信号を伝搬させたことで、時刻 t-1 の教師信号と組み合わさることにより、時刻 t-1 でできなかった出力層全体への学習信号作成が可能となる。