修正モーメント法

バックプロパゲーションに用いられている最急降下法には、極地付近の微分係数が小さいと収束が遅くなるという欠点がある。 これを改善する方法として提案されている修正モーメント法と呼ばれる手法を用いる。

修正モーメント法とは、学習回数が増えるにしたがってモーメントからの修正量を大きくして学習を促進させる方法のことである。その式を以下に示す。

$$\triangle W_{n} = -\eta \frac{\partial E}{\partial W_{n}}+\alpha \triangle W_{n}$$ (5.2)