内部記憶を持つニューラルネットワークの学習は、バックプロパゲーションを用いるだけでは、教師信号は出力層のみに与えられ、内部記憶層には与えられず、内部記憶層素子は学習できない。
そこで、図 6.4 に示すような中間層から、現在を t とすると、t-1 の内部記憶層に誤差を伝搬することで、内部記憶層の学習を行なっている。 （図 6.4中の長方形は図2.5 のようにニューロンの連なった層を表している。 縦に長い長方形は中間層、横に長い長方形は内部記憶層、一番小さい長方形は入力層、又は出力層を表している。 なお、内部記憶層が横に長いのは、出力層と次のtの入力層がネットワークでつながっているからである。）
すなわち、ネットワークを時間的に展開し、学習をしていない内部記憶層へ時間を逆に進み、学習信号を与えている。
図 3.2: 内部記憶を持つニューラルネットワークの誤差伝搬
学習の流れは、まず時刻 t の教師信号を与える。 それをバックプロパゲーションを用いて中間層、入力層の内部記憶層へと学習信号を伝搬させる。
ここで内部記憶層に学習信号を伝搬させたことで、時刻 t-1 の教師信号と組み合わさることにより、時刻 t-1 でできなかった出力層全体への学習信号作成が可能となる。