過去の情報を用いる， あるいは教師信号の影響を大きくすれば学習が成功すると思われるので， 4.5 で述べた遅れ学習法を適用し， 時間 t-2 まで伝播させて学習を行なわせてみた. この場合には誤差は少ない学習回数で小さくなるが， 逆に安定もしていない. これは遅れ学習法によって誤差信号が大きくなったために 内部記憶層の出力値を変化させやすくなり， 新しい状態を作ろうとしているからであると思われる. 最終的には誤差は規定値より小さくなり学習は成功した.
また，誤差が小さくなっている理由を調べるために， 学習途中で時間 t の中間層に与えられる誤差信号と ネットワークを時間的に展開して考えた場合の時間 t-2 における 中間層のある一素子に与えられる誤差信号の大きさを測定した. その結果図 6.10 のようになり， 特に学習回数が8万回までは t-2 における中間層の誤差信号が大きくなっていることがわかる. 図 6.9 において教師信号と出力値の誤差が 急激に小さくなっているのも学習回数が8万回までの範囲であるため， この誤差信号の大きさが学習に大きな影響を与えているといえる.
この遅れ学習法を用いることによって 誤差を前の時間まで伝播するため計算時間が多くなったが， 内部記憶を持つニューラルネットワークを 他の層を利用することなく学習させることができた. しかし設定する中間層と内部記憶層の素子数によっては成功しない例もある. よって遅れ学習法は内部記憶層を持つニューラルネットワークの学習に 必ず有効であるとはいえないが，効果的であるといえる.
