学習方法２(後ろ向き演算)

次に、入力層-中間層の結合荷重の計算について説明する。

結合荷重の修正量は、中間層-出力層と同じように、次の式で求められる。

$$\triangle W_{ji} = -\eta \frac{\partial E}{\partial W_{ji}}$$ (4.5)

出力層の結合荷重を計算するときは、$k$番目の出力$O_k$のみに注目していたが、中間層の結合荷重を更新するときは$n$個の出力すべてが関係する。 この偏微分を行うには合成関数の微分を行う。これを行うと、中間層の結合荷重の修正量 $\triangle W_{ji}$を求める式は次のようになる。

$$\begin{eqnarray*} \triangle W_{ji} &=& -\eta \frac{\partial E}{\partial W_{ji}}... ...\partial H_j}{\partial T_j} \frac{\partial T_j}{\partial W_{ji}} \end{eqnarray*}$$

それでは前節と同じようにこの式を計算していく。始めの2つは前節と同じなので省略する。 ネット値$U_i$を中間層の出力$H_j$で偏微分する。

$$\begin{eqnarray*} \frac{\partial U_i}{\partial H_j} &=& \frac{\partial}{\partial H_{j}}(H_1W_{k1}+H_2W_{k2}+...+H_nW_{kn})\\ &=& W_{kj} \end{eqnarray*}$$

中間層の出力$H_j$をネット値$T_j$で偏微分する。

$$\begin{eqnarray*} \frac{\partial H_j}{\partial T_j} &=& \frac{\partial}{\partia... ...-T_j}}\left( 1-\frac{1}{1+e^{-T_j}}\right) \\ &=& H_{j}(1-H_j) \end{eqnarray*}$$

ネット値$T_j$を結合荷重$W_{ji}$で偏微分する。

$$\begin{eqnarray*} \frac{\partial T_j}{\partial W_ji} &=& \frac{\partial}{\partial W_{ji}}(X_1W_{j1}+X_2W_{j2}+...+X_nW_{jn})\\ &=& X_i \end{eqnarray*}$$

これらの式より、結合荷重の修正量は次のようになる。

$$\begin{eqnarray*} \triangle W_{ji} &=& -\eta \frac{\partial E}{\partial W_{ji}}... ...\left( \delta _j=H_j(1-H_j)\sum_{k=1}^{n}W_{kj}\delta _k \right) \end{eqnarray*}$$

このようにして中間層の結合荷重の修正量を求める。[7]