Next: 結論 Up: 実験 Previous: 実験3:雑音の影響目次

実験4:時間加算係数と学習定数の値の模索

これまでの実験で時間加算項有り、無しそれぞれにメリット、デメリットが有る事が分かった。したがって、視野を広げるため、この実験ではよりパターン入力回数が少なくてすむ時間加算係数を模索していく。 4.6節より時間加算項有りと無しに、それぞれ適した結合加重 $\Delta w$ でなければ、最大完全学習数が少なくなってしまう事が分かったため、時間加算係数

、

と同じように $\Delta w$ も値を模索していく。この実験では

、

、 $\Delta w$ の値をまとめてパラメータと呼ぶ。実験方法として4.6節で発見した時間加算項なしでのパラメータの値を時間加算項有りのパラメータの値まで線形的に変化させ、その中からよりパターン入力回数が少なくてすむ値を模索する事にした。変化の間隔は0.1の割合で行い時間加算項有り無しのパラメータも含め11通りののパラメータを作成した。この11のパラメータで実験2、実験3を再度行った。代表として線形変化させた時の割合0.1, 0.8, 0.9のパラメータのグラフを図4.11、図4.12、図4.13に示す。実験２では、皆ほぼ同じような学習速度であるが、0.8の割合のグラフが最もパターン入力回数を短縮できると考えられた。実験３では、割合0.9, 0.8, 0.1 の順番で雑音の影響を受けにくい事が分かった。以上の結果から、0.8の割合のパラメータが最も条件を満たしていると言える。以降、割合0.8のパラメータを中間のパラメータと呼ぶ。次に、中間のパラメータと時間加算項有り、時間加算項無しの実験2、実験３の結果を比較をする。中間のパラメータと時間加算項有り、時間加算項無し比較のグラフを図4.14、図4.15に示す。パターン入力回数について、中間のパラメータは時間加算項有り、無しのどちらよりも早く学習成功パターン数の最大値に到達しているが、最大値はどちらよりも少なくなっていた。雑音に関しては、中間のパラメータは時間加算項有りよりは少し影響を受けていたが、時間加算項無しよりは影響を受けない事が分かった。

時間加算項無しと比べた時、中間のパラメータが早く最大値に到達したのは、 $\Delta w$ の値が大きい為だと考えられる。 $\Delta w$ というのは3.2節に書いたように結合加重の変化量でありこの値が大きいほど素早く結合加重の値を変更出来る。しかし、大きすぎると微調整が出来なくなってしまうと思われる。そうであるとすると、いくつかパターンを入力した時、古いパターンの記憶が失われる。そのため、中間のパラメータは最大値に早く到達したが、学習成功パターン数の最大値が少なかったと考えられる。だが時間加算項有りは $\Delta w$ の値が大きいのに最大値に到達するまでの時間が長い。また最大値も中間のパラメータより多い。これは時間加算係数の値が大きい為だと考えられる。時間加算係数は雑音を平滑化してくれる役割を持っている。しかし、前の入力が時間加算されていくので、内部状態の値が全体的に大きくなる。そうすると、 $\Delta w$ の値が大きくても、パターン入力回数は多くなってしまう。だが、内部状態の値が全体的に大きくなる事で、 $\Delta w$ の値が大きくても微調整を行う事が出来るため、学習成功パターン数の最大値は減少しない。したがって、最大値に到達するまで時間がかかり、最大値が中間のパラメータより多いのは、時間加算係数の値が大きかった為と言える。

中間のパラメータが時間加算項なしより雑音の影響を受けにくく、有りより雑音の影響を受けやすかったのは、時間加算係数の値が時間加算項無しより大きく、有りより小さかった為だと考えられる。

以上の事から、結合加重 $\Delta w$ の値は大きいとパターン入力回数を短縮できるが、大きすぎると最大完全学習数を減少させてしまう事が分かった。また、時間加算係数は小さいとパターン入力回数を短縮できる事が分かった。 $\Delta w$ が大きすぎると最大完全学習数が少なくなってしまうのは、微調整が出来なくなってしまうからだと思われる。したがって、途中まで $\Delta w$ を大きい値で学習を行い、後半は $\Delta w$ の値を小さくする事で、より学習を短縮できると考えられる。これは今後の課題である。

図 4.13: 割合0.9