誤差逆伝播法

誤差逆伝播法(バックプロパゲーション)とは、1986年に米スタンフォード大学のRumelhart教授らが発表した多層階層型ニューラルネットワークの学習方法である[2]。

方法の要約は次の通りである。

1. ニューラルネットワークに学習のためのサンプルを与える。
2. ネットワークの出力とそのサンプルの最適解を比較する。各出力ニューロンについて誤差を計算する。
3. ここのニューロンの期待される出力値と倍率を、要求された出力と実際の出力の差を計算する。
4. 各ニューロンの重みを局所誤差が小さくなるよう調整する。
5. より大きな重みで接続された前段のニューロンに対して、局所誤差の責任があると判定する。
6. そのように判定された前段のニューロンのさらに前段のニューロン群について同様の処理を行う。

この方法によって、従来のパーセプトロンでは学習することのできなかった非線形分離問題を解決できるようになった。 この誤差伝播学習について説明するため、まずこの学習法のもとである勾配法と一般化デルタルールについて述べる。 そしてその後、誤差逆伝播法の導出について述べる。