next up previous contents
Next: 学習方法1(後ろ向き演算) Up: バックプロパゲーション Previous: バックプロパゲーション

最急降下法

  最急降下法とは、誤差が小さくなるような結合荷重を求める方法である。 ある点においての勾配を求め、勾配が0に近づくように結合荷重を求めていく。 この方法では、微分により勾配を求めるため微分可能な関数が必要になる。 今まではニューロンの出力値を求めるために図 2.3のような階段関数を利用していたが、 この関数は x=0 において微分不可能となるため、使えない。 その関数の代わりに、図 2.4のシグモイド関数を利用することで微分可能にした。

  equation162

しかしこの最急降下法には欠点がある。初期位置によっては必ずしも最適解にたどり着かずに、ローカルミニマムに陥る可能性がある点だ。

これを防ぐには、自分で初期位置を変えてみて最適解を探す方法や、遺伝的アルゴリズムを用いるなどの改善案が報告されている。 [7]


Deguchi Lab.