出力結果が教師信号に近くなってきた場合、内部記憶層から中間層への結合荷重に対する影響は小さくなり学習が非常に緩やかなものになる可能性がある。 そこで考られた学習法があり、この方法では誤差信号を大きくするために時間ステップ t における結合荷重を変化させずに誤差信号だけ伝播して、 t-1 におけるネットワークの状態を学習させる。これを遅れ学習法と呼ぶことにする。
ある時間ステップ t の中間層への入力値の一部は、 時間ステップ t-1 の出力層が出力したフィードバックする出力値そのものである。 よって、時間 t における中間層の一つ前の層と言うのは、 時間ステップ t-1 における学習出来なかった出力層ということとなる. そして、時間ステップ t の中間層から時間ステップt-1 の出力層へ誤差伝播を行ない、そこで学習できなかった中間層から出力層への結合荷重の学習を行なっている。 即ち、図 6.4において、時間tにおける教師信号によって学習できる結合荷重a,c,dの値を変化させず、誤差信号だけを時間ステップ t-1 における中間層へと伝播する。これと t-1 における教師信号を利用して、結果的には結合荷重e,f,g,hを変化させる。今回の実験では時間ステップ t-2 におけるネットワークまで伝播して学習させた。
t-1 におけるネットワークまで伝播し学習させることを遅れ時間1の遅れ学習と呼び、 t-2 におけるネットワークまで伝播し学習させることを遅れ時間2の遅れ学習と呼ぶことにする。
