次は、先の2つの方法を採り入れて、20万回毎に学習定数を に
減少させて実験する。
このときの学習経過を図(6.9)に示す。
図 6.9: 20万回毎に学習定数を3/4にしたときの学習経過
この図から見てわかるように、10万回以降発散してしまった。 これは、学習定数が小さくなるのが遅かったからだと考えられる。 10万回を超えると発散しやすくなるので、 学習定数は最低でも10万回で減少させなければならないことがわかった。 しかし、それでは学習定数が小さくなり過ぎて、30万回を超えたあたりから、 誤差が減少する割合が小さくなり、それ以降は何回学習しても学習しただけの 効果が得られなかった。