Next: 学習方法1(後ろ向き演算)
Up: バックプロパゲーション
Previous: バックプロパゲーション
最急降下法とは、誤差が小さくなるような結合荷重を求める方法である。
ある点においての勾配を求め、勾配が0に近づくように結合荷重を求めていく。
この方法では、微分により勾配を求めるため微分可能な関数が必要になる。
今まではニューロンの出力値を求めるために図 2.3のような階段関数を利用していたが、
この関数は x=0 において微分不可能となるため、使えない。
その関数の代わりに、図 2.4のシグモイド関数を利用することで微分可能にした。
しかしこの最急降下法には欠点がある。初期位置によっては必ずしも最適解にたどり着かずに、ローカルミニマムに陥る可能性がある点だ。
これを防ぐには、自分で初期位置を変えてみて最適解を探す方法や、遺伝的アルゴリズムを用いるなどの改善案が報告されている。
[7]
Deguchi Lab.