最急降下法

最急降下法とは、誤差が小さくなるような結合荷重を求める方法である。 ある点においての勾配を求め、勾配が0に近づくような結合荷重を求めていく。 この方法では、微分を用いて勾配を求めるため、微分可能な関数を用いる必要があり、バックプロパゲーションにおいて、Figure 2.4のようなシグモイド関数を用いるのはFigure 2.3のような階段関数では$x=0$の点において微分不可能となるためである。

しかし、この最急降下法には初期位置によっては最適解にたどり着かず、ローカルミニマムに陥る可能性があるという欠点がある。 これを防ぐために、複数の初期値から探索を行う方法や遺伝的アルゴリズムを用いるなどの改善案がある。