昨年の実験[8]より、バックプロパゲーション法を使うとニューラルネットワークに差分方程式のダイナミクスを学習させることはほぼ可能であることは分かった。 本研究の最大の目的である一つのネットワークに二つのカオスアトラクタを学習させる実験を行なう。
本研究では、同条件で比較するため 図5.4〜図5.6までは、 
、 
で学習を行なっている。
図5.7〜図5.9は、 
、 で行なっている。
それぞれ、n = 5000000、7000000、8000000 の計 6 通り行なった。
これらを、エノン写像、折り曲げ模様の写像に表す。
図の左側に学習直後の教師信号を初期値として与えたネットワークのダイナミクスを示す。 右側には、その初期値をエノン写像、折り曲げ模様の写像の式を代入した時の式のダイナミクスを示す。 これはつまり、教師信号の続きということになる。
左右の図を見比べると、n= 5000000 の図5.4、n= 7000000 の図5.5、n= 8000000 の図5.6の各図共に、外形はほとんど右側の図と一致する。 これは、式のダイナミクスをほぼ学習していることが分かる。
次に、 
を 0.5 にして考えてみると、 が 0.0 に比べて多少ではあるが良くなり、外形が右側の図と一致するようになった。
そこで、それらの実験の結果は、図5.10〜図5.15に示す。
次に、エノン写像と折り曲げ模様の写像の関係を考えてみることにしよう。 図において henon はエノン写像、orimage は折り曲げ模様の写像を示している。
まず始めに、n = 5000000 の時のERの違いで図5.4と図5.7を見た時は、 が 0.5 の方が正確だった。
グラフより、立ち上がりが図5.11の方が少々遅かったので
図5.10よりはよく学習されていることがどちらともあまり違いはないことが分かる。
二つのグラフを見ても分かる通り多少立ち上がりが早いがダイナミクスはほぼ均等に学習はされていることが分かる。
特に、折り曲げ模様の写像の方は良い。
エノン写像も傾きは大きいが、式のダイナミクスはある程度学習されている。
図5.12、図5.13の結果は、グラフを見ると、立ち上がりは早いが学習されていることが分かる。
エノン写像、折り曲げ模様の写像の式のダイナミクスもある程度学習されていた。
そして、図からも分かる通り が 0.0 よりも が 0.5 の時に学習された方が精度が良かった。
前の実験の n = 5000000 回よりもより一層正確に学習できたので、この時点でもっと n を増やせばどんどん正確に学習ができるだろうと考えれた。
図5.14、図5.15からは、やや立ち上がりは早いが、どちらのグラフも式のダイナミクスはある程度学習されていた。 しかし、先ほどの結果よりも正確に学習されてはいなかった。 そして二つのグラフともほぼ同じような形でエノン写像、折り曲げ模様の写像が上がっていることが分かる。 ただし、どちらのグラフとも最初の立ち上がりは、エノン写像より折り曲げ模様の方が遅いのでその分学習がよくされている。
他にも n = 9000000 回や n = 10000000 回も実験を行なったがどんどん不正確な学習を行なっていくので本論文では割愛した。
最も精度が良かったのは 、 において 7000000 回の時だった。
それ以上の学習回数ではむしろ精度が悪くなる理由として、どんな入力が来てもぴったりと教師信号に近付けようとはせず、すべての入力に対して誤差がある程度小さくなるような出力を出すようにネットワークの重み、しきい値が固定されてしまうのではないかと考えられる。 まとめると、これら 6 通りの実験から式のダイナミクスをほぼ学習することが確認できた。
今後の研究はもっと精度のいい学習ができるようになることを期待したい。
