学習方法２（後ろ向き演算）

次に、入力層-中間層の結合荷重の計算について説明する。 結合荷重の修正量は、中間層-出力層と同じように、式（4.9）で求められる。

$$\triangle W_{ji} = -\eta \frac{\partial E}{\partial W_{ji}}$$ (17)

出力層の結合荷重を計算するときは、$k$番目の出力$O_k$のみに注目していたが、中間層の結合荷重を更新するときは$n$個の出力すべてが関係する。 この偏微分を行うには合成関数の微分を行う。これを行うと、中間層の結合荷重の修正量 $\triangle W_{ji}$は式（4.10）で求められる。

$$\triangle W_{ji} = -\eta \frac{\partial E}{\partial W_{ji}}$$

$$= -\eta \left( \sum_{i=1}^{n} \frac{\partial E_i}{\partial O_i} \fr... ... \right) \frac{\partial H_j}{\partial T_j} \frac{\partial T_j}{\partial W_{ji}}$$ (18)

前節と同じようにこの式を計算していく。始めの2つは前節と同じなので省略する。 ネット値$U_i$を中間層の出力$H_j$で偏微分する式を式（4.11）に示す。

$$\frac{\partial U_i}{\partial H_j} = \frac{\partial}{\partial H_{j}}(H_1W_{k1}+H_2W_{k2}+...+H_nW_{kn})$$

$$= W_{kj}$$ (19)

中間層の出力$H_j$をネット値$T_j$で偏微分する式を式（4.12）に示す。

$$\frac{\partial H_j}{\partial T_j} = \frac{\partial}{\partial T_{j}}\left( \frac{1}{1+e^{-T_j}}\right)$$

$$= -\frac{e^{-T_j}}{1+e^{-T_j}}$$

$$= \frac{1}{1+e^{-T_j}}\left( 1-\frac{1}{1+e^{-T_j}}\right)$$

$$= H_{j}(1-H_j)$$ (20)

ネット値$T_j$を結合荷重$W_{ji}$で偏微分する式を式（4.13）に示す。

$$\frac{\partial T_j}{\partial W_ji} = \frac{\partial}{\partial W_{ji}}(X_1W_{j1}+X_2W_{j2}+...+X_nW_{jn})$$

$$= X_i$$ (21)

これらの式より、結合荷重の修正量は式（4.14）のようになる。

$$\triangle W_{ji} = -\eta \frac{\partial E}{\partial W_{ji}}$$

$$= -\eta \frac{\partial H_j}{\partial T_j} \frac{\partial T_j}{\part... ...artial O_i} \frac{\partial O_i}{\partial U_i} \frac{\partial U_i}{\partial H_j}$$

$$= \eta H_j(1-H_j)X_i \sum_{k=1}^{n}W_{kj}(t_k-O_k)O_k(1-O_k)$$

$$= \eta H_j(1-H_j)X_i \sum_{k=1}^{n}W_{kj}\delta _k$$

$$= \eta \delta _j X_i$$ (22)

ここで、$\delta _j$は、式（4.15）と定義される。

$$\delta _j=H_j(1-H_j)\sum_{k=1}^{n}W_{kj}\delta _k$$ (23)

このようにして中間層の結合荷重の修正量を求める。