内部記憶を持つニューラルネットワークの学習 [6]

一般にリカレントネットワークでは、ある時点でのある細胞の状態変化は ネットワーク内をめぐりめぐって後々まで多くのユニットの状態に影響を及ぼすので、 厳密な意味での最急降下学習法は、フィードフォワードネットのように単純には求められない。 しかし、離散時間モデルのリカレントネットワークを空間的に展開し、 フィードフォワードネットワークとみなしてバックプロパゲーションを 適応させることにより、学習を行わせる方法がある。 内部記憶を持つニューラルネットワークの学習には、 この学習の考え方を流用した[5]。

内部記憶を持つニューラルネットの学習は、先に記したバックプロパゲーションを用いるだけであると、 教師信号は出力層のみにしか与えられないため、 フィードバックする信号を出す内部記憶層には教師信号が与えられず、 内部記憶層素子は学習できない。 この問題に対して、中間層から1ステップ前の出力層へと誤差を伝搬することで出力層の学習を行い、 解決している。 つまり、ネットワークを時間的に展開し、学習をしていない内部記憶層へ 時間を逆に進み学習信号を与えていることになる。