一般にリカレントネットワークでは、 ある時点でのある細胞の状態変化は ネットワーク内をめぐりめぐって後々まで 多くのユニットの状態に影響を及ぼすので、 厳密な意味での最急降下学習法は、 フィードフォワードネットのように単純には求められない。 しかし，離散時間モデルのリカレントネットワークを空間的に展開し、 フィードフォワードネットワークとみなして バックプロパゲーションを適応させることにより、 学習を行なわせる方法がある。 内部記憶を持つニューラルネットワークの学習には、 この学習の考え方を流用した[3]。
さて、内部記憶を持つニューラルネットの学習について説明する。 前に記したバックプロパゲーションを用いるだけであると、 この内部記憶を持つニューラルネットは、 フィードバックする信号を出す出力層の一部が学習出来ない。 つまり、教師信号は出力層のユニット数より少ないため、 教師信号を受けとれない出力層ユニットが出てくる。 そのため、教師信号を受けとれない 出力層ユニットは学習できないことになる。 この問題に対して、 中間層から1ステップ前の出力層へと
誤差を伝搬することで出力層の学習を行ない、
解決している。
つまり、ネットワークを時間的に展開し、学習をしていない出力層の一部へ
時間を逆に進み学習信号を与えていることとなる。
図4.2を用いて詳しく説明すると、
時刻 t の中間層の入力値の一部は、
学習できない出力層が出したフィードバックする出力値そのものである。
すると、時刻 t における中間層 
の一つ前の層と言うのは、
時刻t-1における学習出来なかった出力層 
ということとなる。
そして、時刻tの中間層 から時刻 t-1 の出力層
へ誤差伝搬を行ない、
そこで学習できなかった出力層の学習を行なっている。
