一般にリカレントネットワークでは， ある時点でのある細胞の状態変化は， ネットワーク内をめぐりめぐって後々まで 多くのユニットの状態に影響を及ぼすので， 厳密な意味での最急降下学習法は， フィードフォワードネットのように単純には求められない。 しかし，離散時間モデルのリカレントネットワークを空間的に展開し， フィードフォワードネットワークとみなして バックプロパゲーションを適応させることにより， 学習を行なわせる方法がある。 内部記憶を持つニューラルネットワークの学習には， この学習の考え方を流用した[6]。
さて，内部記憶を持つニューラルネットの学習について説明する。 前に記したバックプロパゲーションを用るだけであると， この内部記憶を持つニューラルネットは， フィードバックする信号を出す出力層の一部が学習出来ない。 つまり，教師信号は出力層のユニット数より少ないため， 教師信号を受けとれない出力層ユニットが出てくる。 そのため，教師信号を受けとれない 出力層ユニットは学習できないことになる。 この問題に対して，中間層から1ステップ前の出力層へと誤差を伝搬することで 出力層の学習を行ない，解決している。 つまり，ネットワークを空間的に展開し，学習をしていない出力層の一部へ 時間を逆に進み学習信号を与えていることとなる。 図3.2を用いて詳しく説明すると， 時刻 t の中間層の入力値の一部は， 学習できない出力層が出したフィードバックする出力値そのものである。 すると，時刻tにおける中間層◯ (-10,0.7)2 の一つ前の層と言うのは， 時刻t-1における学習出来なかった出力層◯ (-10,0.7)3 ということとなる。 そして，時刻tの中間層◯ (-10,0.7)2 から時刻 t-1 の出力層◯ (-10,0.7)3 へ誤差伝搬を行ない， そこで学習できなかった出力層の学習を行なっている(図3.2)。
