とは、入力層-中間層の結合荷重、
は中間層-出力層の結合荷重である。
は中間層のネット値で、式は
である。
は出力層のネット値で、中間層と同じようにして求めることができる。
図には書いていないが、出力層の i 番目のニューロンの教師信号は である。
つぎに学習方法について説明する。ここで、学習する上で必要な誤差 E について定義する。
バックプロパゲーションの学習においては、この誤差が小さくなるように結合荷重を調整していく。
まずは、中間層-出力層の結合荷重の学習をみていく。結合荷重 に対する誤差 E の変化を見ればいいので、 E を
で偏微分すればいい。これを式にすると、
となる。 は学習係数で、一度にどの程度結合荷重を変化させるかを示す。大きすぎると学習が大雑把になり、小さすぎると学習に膨大な回数がかかるようになってしまうため、調整するのは難しい。
まずはそれぞれの微分の計算をする。
次に、出力をネット値で偏微分する。
最後に、ネット値を結合荷重で偏微分します。
これらの式から、修正量 の式は以下のようになる。
このようにして、出力層の結合荷重を求める。
[7]