最急降下法は、関数の極小、あるいは極大値を見つけ出すためのアルゴリズムである。この方法は、山下り法(山登り法)とも呼ばれる[5]。 例えば、登山中に深い霧の中で立ち往生したとき、自分の周囲の傾斜を見て、より低くなっているほうに進む。 すると少なくとも1つの窪み(極小点)に到達できる。原理を図 4.1に示す。
今、ある についての関数 の極小値を求めるとする。適当な初期値を設定し、局所探索を繰り返すことによって極小値を求める。 まず の初期値として を与える。このときの の傾きを調べ、 の値が減少する方向に を変化させる。
変化した結果 となったとする。さらにその時の の傾きを調べ、 が減少するよう を変化させる。
同様の操作を繰り返すと、極小点に到達する。このとき であるとすると、 の傾きは0であり、 をどちらに移動させても の値は増加する。
これによって繰り返し行う計算は終了する。関数 の傾きを とすると、 の更新は式 (4.2)のように表される。
式 (4.2)の は を更新する際の更新する度合いを定める定数である。