next up previous contents
Next: 第4章 カオスとカオスアトラクタ Up: 第3章 学習法 Previous: 3.1 一般化デルタルール

3.2 バックプロパゲーション

いくつかの中間層を持つ多層ニューラルネットワークを考える。 同じ層の素子間に結合はなく、 どの素子も1つ前の層からのみ入力を受け、 次の層へのみ出力を送るものとする。 このようなネットワークの中間層に対して同様に学習則を導こうとしたとき、 式(3.8)の tex2html_wrap_inline1250 の値はすぐに求めることはできない。
この微分値を出力層より逆向きに順々に計算していく、言い換えれば出力の誤差を、 前の層へ、 前の層へと伝えていく、 というのがバックプロパゲーションのアイデアである。 すなわち、 ある層の素子 jtex2html_wrap_inline1250 の計算は、 次の層の素子 ktex2html_wrap_inline1264 を用いて

  equation169

と展開することができる。 式(3.1)より

equation181

これと式(3.7)を代入すれば式(3.14)は

equation188

となる。 これがバックプロパゲーションのアルゴリズムである。

バックプロパゲーションは、 いかなる重みの初期値からでも誤差が極小となる(最小ではない)ことが保証されるわけだが、 一般に誤差曲面は極小値の近くでは非常に緩やかな谷底をもつため、 学習は非常に遅くなる。 しかし、 式(3.4)の tex2html_wrap_inline1254 を大きくすると、 学習は振動してしまう。 振動させずに学習を早めるため幾つかの方法が提案されているが、 例えば、 誤差曲面の傾きを結合荷重空間の位置でなく速度の変化に用いる、 すなわち

equation196

という形の加速法がよく使われる。 ここで t は学習の回数を表わす。

また、 重みが最初、 すべて0であると、 中間層の素子に個性が現れず、 中間層を用いる意味がなくなってしまう。 この対称性を破るためには、 重みに小さなランダム値を与えておけばよい。

   figure205
図 3.1: バックプロパゲーション(誤差逆伝搬法)

3.1にバックプロパゲーション法のネットワーク図を示す。

バックプロパゲーションの特徴は、 入力信号と正しい出力教師信号のセットを次々と与えるだけで、 個々の問題の特徴を抽出する内部構造が、 中間層の隠れニューロン群のシナプス結合として自己組織される点である。 また、 誤差計算が前方向へ情報の流れとよく類似している点がある。 すなわち、 ある素子の学習に使われている情報は、 後の素子から得られる情報のみであり、 学習の局所性が保たれていることになる。 これは、 人工的な神経回路形計算機をハードウェア化する時に学習則に要求される性質で、 実際の生体の神経回路においては、 tex2html_wrap_inline1250 といった値が神経軸策を通って逆向きに伝わるはずはなく、バックプロパゲーションは実際の脳の学習則の生理学的モデルにはなりえないことになる。 実際の脳の多層神経回路においてはどのような学習則が用いられているのかはまだわかっていない[4]。



Deguchi Toshinori
1996年10月08日 (火) 16時08分54秒 JST