実験3:雑音の影響

実験3では、雑音を入力パターンに組み込んだ時の影響を確認する。 雑音は入力されるパターンから入力毎に設定した数だけランダムで選び＋、−を反転させて作成した。

この実験は雑音の量における、最大完全学習数の違いを調べなければならない。 最大完全学習数とはネットワークが完全学習できる最大の入力パターン数である。 そのため、完全学習ができなくなるまで、入力パターン数を変化させていき、出来なくなったところが、そのネットワークの最大完全学習数として値をとる。 これを各雑音ごとに行いグラフを作成した。

まずパラメータを同じにして行った結果を図4.9に示す。 図4.9の横軸は雑音の個数、縦軸は最大完全学習数を示している。 グラフから時間加算項有り、無しで雑音が0の時、最大完全学習数が異なっている事が分かる。 これはパラメータを同じにしたため、時間加算項有りと無しで$\Delta w$ の値が同じになったからである。 4.5節で述べた通り時間加算項有り、無しには$\Delta w$ の値によって最大完全学習数が変わってくるのである。

次に時間加算項有りと無しがそれぞれ適したパラメータで行った結果を図4.10に示す。 こちらは時間加算項無しの$\Delta w$ が的した値となっている。 そのため時間加算項有りと無しで雑音０の最大完全学習数がほぼ同じになっている。

どちらのグラフにおいても時間加算項有りの場合は、最大完全学習数はあまり減少しない。 これは時間加算により入力が平滑化される為だと考えられる。 一方、時間加算項なしの場合は、雑音が少しでもあると、最大完全学習数は大きく減少している。 雑音が１つでも乗ると半分まで最大完全学習数が減少するため雑音が乗っている場合はほぼ機能していないといえる。 これは時間加算項がなくなった事で平滑化がなされなかった為だと考えられる。

図 4.9: 雑音の影響(パラメータ同)

図 4.10: 雑音の影響(パラメータ異)