ニューラルネットの学習法は、バックプロパゲーションを用いた。 バックプロパゲーションは誤差逆伝搬とも言い、 その名の通り出力と教師信号の誤差を前の層、前の層へと伝えていくことにより、 各ニューロンの重み、閾値が変動し学習が行なわれる(図1)。
バックプロパゲーションの特徴は、入力信号と教師信号のセットを 次々と与えるだけで個々の問題の特徴を抽出する内部構造が、 中間層のニューロン郡のシナプス結合として自己組織される点と、 誤差計算が出力を出す方向への情報の動きとよく類似している点がある。 \
次に、内部記憶を持つニューラルネットの学習について説明する。
前に記したバックプロパゲーションでは、
このニューラルネットは
フィードバックする所である出力層の一部が学習出来ない。
つまり、教師信号は2つしかないため、
この2つ以外の出力層ユニットは教師信号がない。
そのため、教師信号を受けとらない
2つ以外の出力層ユニットは学習できないことになる。
この問題に対して、中間層から一時前の出力層へと誤差を伝搬することで
出力層の学習を行ない、問題を解決している。
詳しく言えば、時刻tの中間層の入力値の一部は、
学習できない出力層が出したフィードバックする出力値そのものである。
すると、時刻tにおける中間層 
の一つ前の層と言うのは、
時刻t-1における学習出来なかった出力層 
ということとなる。
そして、時刻tの中間層 から時刻t-1の出力層 へ誤差伝搬を行ない、
そこで学習できなかった出力層の学習を行なっている(図2)。
