いくつかの中間層をもつ多層のネットワークを考える。
同じ層の素子間に結合はなく、どの素子も1つ前の層からのみ入力を受け、
次の層へのみ出力を送るものとする。こ
のようなネットワークの中間層に対して同様に学習則を導こうとした時、
式( 5.4)の
(反復的に変化させるとするのでパターンcは無視)の
値はすぐに求めることができない。
この微分値を出力層より逆向きに順々に計算していく、
言い換えれば出力の誤差を前の層へ前の層へと伝えていく、
というのがバックプロパゲーション(一般化デルタルール)のアイディアである。
すなわち、ある層の素子jの の計算は、
次の層の素子kの 
を用いて、
と展開することができる。式( ##200>
これと式( ##206>
となる。この式を、これがバックプロパゲーションのアルゴリズムである。 バックプロパゲーションはいかなる結合加重の初期値からでも 誤差が極小になる(最小ではない)ことが保証される。
一般に神経回路形計算は、規則性と例外とが入り混じった関係を表現し、 未知の入力パターンに対して出力を推測する必要がある場合に能力を発揮する。 このような例として、英単語の発音規則の学習や凹凸画像の判別に バックプロパゲーションが応用され成果をあげている。