一般にリカレントネットワークでは、ある時点でのある細胞の状態変化は ネットワーク内をめぐりめぐって後々まで多くのユニットの状態に影響を及ぼすので、 厳密な意味での最急降下学習法は、フィードフォワードネットのように単純には求められない。 しかし、離散時間モデルのリカレントネットワークを空間的に展開し、 フィードフォワードネットワークとみなしてバックプロパゲーションを 適応させることにより、学習を行なわせる方法がある。 内部記憶を持つニューラルネットワークの学習には、 この学習の考え方を流用した[6]。 さて、内部記憶を持つニューラルネットの学習について説明する。 前に記したバックプロパゲーションを用いるだけであると、 この内部記憶を持つニューラルネットは、 フィードバックする信号を出す出力層の一部が学習出来ない。 つまり、教師信号は出力層のユニット数より少ないため、 教師信号を受けとれない出力層ユニットが出てくる。 そのため、教師信号を受けとれない 出力層ユニットは学習できないことになる。 この問題に対して、 中間層から1ステップ前の出力層へと誤差を伝搬することで出力層の学習を行ない、 解決している。 つまり、ネットワークを時間的に展開し、学習をしていない内部記憶層へ 時間を逆に進み学習信号を与えていることとなる。