前節の方法では出力結果が教師信号に近くなってきた場合， 内部記憶層から中間層への結合荷重に対する影響は小さくなり 学習が非常に緩やかなものになる可能性がある。 そこで今回新しく考えた学習法があり， この方法では誤差信号を大きくするために 時間ステップ t における結合荷重を変化させずに 誤差信号だけ伝播して， t-1 におけるネットワークの状態を学習させる。 これを遅れ学習法と呼ぶことにする。
図 4.2 を用いて詳しく説明すると， ある時間ステップ t の中間層への入力値の一部は， 時間ステップ t-1 の出力層が出力したフィードバックする出力値そのものである。 よって，時間 t における中間層の一つ前の層と言うのは， 時間ステップ t-1 における学習出来なかった出力層ということとなる。 そして， 時間ステップ t の中間層から時間ステップ t-1 の出力層へ誤差伝播を行ない， そこで学習できなかった中間層から出力層への結合荷重の学習を行なっている。 即ち時間tにおける教師信号によって学習できる結合荷重a,c,dの値を変化させず， 誤差信号だけを時間ステップ t-1 における中間層へと伝播する。 これと t-1 における教師信号を利用して， 結果的には結合荷重e,f,g,hを変化させる。 今回の実験では時間ステップ t-2 におけるネットワークまで伝播して学習させた。
