next up previous contents
Next: 参考文献 Up: matsuno_ad2 Previous: 実験3の結果   目次


結論

本研究ではカオスニューラルネットワークにおいて逐次学習を行い、 より多くのパターンを学習させることを目的とし、実験を行った。

実験1では学習させるパターンの偏りを考慮にいれ、 複数の乱数の種によって生成されたランダムパターンを学習させた。 その結果 ネットワークの素子数と最大完全学習数の間には比例関係、 ネットワークの素子数と最適な$\Delta w$の値の間には反比例関係がある という基本的な結果は変わらなかった。 しかし、過去の研究で明らかになった学習への影響も明らかに出来た。 具体的にはネットワークの素子数が50, 100と比較的小さい場合に、 最適な$\Delta w$の値に変化が生じ、取りうる値の幅も変わってしまう。 ただし、ネットワークの素子数が200以上と大きくなるとその変化も収束することが明らかとなった。 過去の研究ではネットワークの素子数が50程度だったため、影響があるという結論に至ったのではないかと考えられる。 この実験結果よりこれ以後の実験においては出来る限り大きいネットワーク(200素子以上)で行った。

実験2では$\Delta w$の値に時間的変化を持たせた。 実験では学習セット回数対して反比例で変化するように$\Delta w$の値を設定した。 その結果学習の前半部では学習パターン数の増加が鈍化してしまった。 つまり、学習するのに$\Delta w$の値が一定の時以上にセット数を要してしまった。 一方で学習の後半部では学習パターン数の増加が予想されたが、実際の結果はこれを裏切る形となった。 学習パターン数は同じ、もしくは多少の減少が見られた程度で大きな成果は挙げられなかった。 前半部については、反比例の性質上学習の初めには$\Delta w$の値が大きすぎたため、 $\Delta w$の値がある程度の大きさになるまでは学習パターン数が伸びなかったと考えられる。 一方の後半部については、$\Delta w$の値が急激に変化しすぎたのが原因の1つではないかと考えられる。 本実験では学習セット回数に対して反比例の関係を持たせたため、ある小さな値になって学習が行われても、 それが十二分に繰り返され学習が落ち着く前に次の値へと変位してしまう。 そのため結果として学習パターン数が伸びなかったのではないかと考えられる。 この実験2については、反比例以外の関係もしくはステップ関数等を用いる事や、学習回数等の増加で1セットあたりの学習時間を長くする事で学習パターン数を増加できるとも考えられる。 ただ実験結果から、その有効性についてはそこまで高いものではないともいえる。 これについては今後も検討すべき課題の1つである。

実験3では不応性$\alpha $の学習に与える影響を調べた。 実験では$\Delta w$$\alpha $の組み合わせに着目し、 どのような組み合わせの場合にどれだけのパターンを学習できるのかを調べた。 その結果学習パターン数の飛躍的な増加という、先の実験2以上の大きな成果を得る事が出来た。 ネットワークの素子数が200という規模で、250パターンは確実に完全学習させる事が出来た。 過去の研究ではネットワークの素子数と最大完全学習数の比例関係において比例定数1を越える事が出来なかった事からも、 この学習パターン数の増加は飛躍的といえる。 ただし、この時の$\Delta w$$\alpha $の組み合わせの数、つまり適切な組み合わせの数は極めて少ないことが分かった。 また従来に比べて適切な組み合わせの$\Delta w$$\alpha $の値も小さい事が分かった。 4.3節で述べたように逐次学習では、 $\Delta w$$\alpha $は学習の判断に用いられる重要なパラメータである。 過去の研究結果で$\alpha $の値については実験・検討されてきた。 しかし、これまでの研究で明らかになった適切な$\Delta w$の値は従来のものに比べて極めて小さかった。 その事からも過去に精査された$\alpha $の値は再検討が必要だと考えられた。 この実験において$\alpha $の値が以前に比べて小さくなったのは、やはり適切な$\Delta w$値が影響しているといえる。 4.3節で述べたように逐次学習における不応性の項は、 外部入力と相互結合が同符号になってある程度の時間が経過した後に影響してくる。 相互結合の項よりも不応性の項の値が絶対値で大きくなった際に判断式が成立されるようになっている。 つまり、相互結合の項にかかる$\Delta w$の適切な値が従来に比べ小さくなっているのであれば、 同様に不応性の項にかかる$\alpha $の値も小さくなる必要があると考えられる。

今後の課題としては実験2で挙げた$\Delta w$に時間的変化をもたせる場合の関係式の検討、 そして実験3における$\Delta w$$\alpha $の関連性の検討が挙げられる。 前者については既に述べたが、後者においては具体的にその関連性を数式化する事等が挙げられる。 本研究では時間的制約もあり、ネットワークの素子数・入力パターン数を変化させるには限界があった。 今後はこれらの組み合わせがどのように決定されるのかを検討するとともに、 他のニューロンパラメータ、学習パラメータがどのように結果に影響を及ぼすのかを調べる事で、 最終的には$\Delta w$$\alpha $の最適な値を数式から導出できる可能性もある。



Deguchi Lab. 2010年3月5日