3.2.2 バックプロパゲーション

続いて、入力層のニューロン k と中間層のニューロン j の間の 結合荷重 についても同様に学習することができる。 あらかじめ中間層のニューロン出力 に対する誤差関数の 微分を式 (3.6) で求めておく。

 

すると、結合荷重 に対する微分は式 (3.7) の ようになる。

 

最後に、誤差関数が減少する方向に変化させるために、ある定数 を 掛けて式 (3.8) のように結合荷重 を変化させる。

 

以上のように、どの層のどのニューロンのパラメータについても、誤差関数を 減少させるための式が得られるわけである。

実際に結合荷重 、 を変化させるための数値計算を行なう場合には、 それぞれ式 (3.3) および式 (3.7) が用いられる わけであるが、このとき各パラメータを変化させるために必要なデータは、 全てその層またはその前後の関連するニューロンの中に含まれていることが分かる。

ここで、誤差情報の伝搬について考えてみる。まず、出力層の各ニューロンに対して 教師信号 が与えられると、式 (3.2) によって誤差情報 が作られる。この情報は学習の過程で加工され、 と いう情報が作られる。 このとき、式 (3.6) によって中間層の各ニューロンで作られる 誤差情報 を見ると、それは および 結合荷重 から作られていることが分かる。 つまり、出力層の各ニューロンから なる情報が逆向きに伝搬し、中間層の ニューロンにおいて結合荷重 を考慮して加算されていると考えられる わけである。これが、バックプロパゲーション（逆伝搬）といわれるゆえんである。

しかしながら、実際の生体の神経回路においては なる情報が軸索を 通って逆向きに伝わるとは考えられていない。そのため、バックプロパゲーションは 実際の脳の学習モデルにはなりえない。実際の脳の学習メカニズムは未だ明らかには なっていない。