一般にリカレントネットワークでは， ある時点でのある細胞の状態変化はネットワーク内を巡って後々まで 多くのユニットの状態に影響を及ぼすので， 厳密な意味での最急降下学習則は， フィードフォワードネットのように単純には求められない. しかし，離散時間モデルのリカレントネットワークを時間的に展開し， フィードフォワードネットワークとみなして バックプロパゲーションを適応させることにより， 学習を行なわせる方法がある. 内部記憶を持つニューラルネットワークの学習には， この学習の考え方を流用した [6].
内部記憶を持つニューラルネットは， 前節に記したバックプロパゲーションを用いるだけでは， フィードバックする信号を出す出力層の一部，即ち内部記憶層が学習出来ない. つまり教師信号は出力層にのみ与えられ， 内部記憶層には与えられず， 内部記憶層素子は学習できないことになる. この問題に対して， 図4.2に示すように 中間層から1ステップ前の内部記憶層へと誤差を伝播することで 内部記憶層の学習を行ない，解決している. すなわち，ネットワークを時間的に展開し， 学習をしていない内部記憶層へ時間を逆に進み学習信号を与えていることになる.
