next up previous contents
Next: 3.3 カオスニューロンの学習 Up: 3.2 ニューロンの学習 Previous: 3.2.1 バックプロパゲーションの学習則

3.2.2 バックプロパゲーション

続いて、入力層のニューロン k と中間層のニューロン j の間の 結合荷重 tex2html_wrap_inline1372 についても同様に学習することができる。 あらかじめ中間層のニューロン出力 tex2html_wrap_inline1292 に対する誤差関数の 微分を式 (3.6) で求めておく。

  equation227

すると、結合荷重 tex2html_wrap_inline1372 に対する微分は式 (3.7) の ようになる。

  eqnarray242

最後に、誤差関数が減少する方向に変化させるために、ある定数 tex2html_wrap_inline1242 を 掛けて式 (3.8) のように結合荷重 tex2html_wrap_inline1372 を変化させる。

  equation262

以上のように、どの層のどのニューロンのパラメータについても、誤差関数を 減少させるための式が得られるわけである。

実際に結合荷重 tex2html_wrap_inline1274tex2html_wrap_inline1372 を変化させるための数値計算を行なう場合には、 それぞれ式 (3.3) および式 (3.7) が用いられる わけであるが、このとき各パラメータを変化させるために必要なデータは、 全てその層またはその前後の関連するニューロンの中に含まれていることが分かる。

ここで、誤差情報の伝搬について考えてみる。まず、出力層の各ニューロンに対して 教師信号 tex2html_wrap_inline1342 が与えられると、式 (3.2) によって誤差情報 tex2html_wrap_inline1388 が作られる。この情報は学習の過程で加工され、 tex2html_wrap_inline1390 と いう情報が作られる。 このとき、式 (3.6) によって中間層の各ニューロンで作られる 誤差情報 tex2html_wrap_inline1392 を見ると、それは tex2html_wrap_inline1390 および 結合荷重 tex2html_wrap_inline1274 から作られていることが分かる。 つまり、出力層の各ニューロンから tex2html_wrap_inline1390 なる情報が逆向きに伝搬し、中間層の ニューロンにおいて結合荷重 tex2html_wrap_inline1274 を考慮して加算されていると考えられる わけである。これが、バックプロパゲーション(逆伝搬)といわれるゆえんである。

しかしながら、実際の生体の神経回路においては tex2html_wrap_inline1390 なる情報が軸索を 通って逆向きに伝わるとは考えられていない。そのため、バックプロパゲーションは 実際の脳の学習モデルにはなりえない。実際の脳の学習メカニズムは未だ明らかには なっていない。



Deguchi Toshinori
1998年04月01日 (水) 12時03分23秒 JST