next up previous contents
Next: 参考文献 Up: 無題 Previous: 結果

結論

本研究では、動的想起により想起されるパターン数がどのような場合において増加するのか、ということを実験により調べた。

ネットワークの素子数を増すということは、すなわち、素子(ニューロン)間の結合荷重の数が増すということであり、情報を保持する結合荷重の数の増加は、ネットワークに含まれる情報量を増大させる。このことについて、過去の研究によって、素子数を増加させたときにネットワークの学習し得るパターンの数(記憶容量)が増加する、という結果が得られている。同様に、ネットワークの素子数を増すことで動的想起によって想起されるパターンの数もまた増えるのではないか、という予想を立て、実験1により素子数と想起されるパターン数との関係を調べた。具体的には、100、200、300、400の4通りの素子数のネットワークにおいて、100個のパターンまでを学習させたときの想起されるパターンの数を求めた。その結果、素子数が100から300にかけては想起されるパターン数はおおよそ増加しているが、素子数が400のとき想起されるパターン数は減少することがわかった。

結合荷重の値は、パターンを学習する際に式(4.1)に従って変化する。そのため、結合荷重の値は連続値を取り得ず、式(4.1)中の定数 tex2html_wrap_inline1610 (結合荷重の変化量)に従って離散値を取る。学習を進めることで結合荷重はある最適な値へと向かうが、結合荷重は離散的な値をしか取り得ないために、そこにいくらかの誤差を生ずることがある。素子数が多いほどこの誤差の影響が相対的に大きくなるために、素子数が400のときの想起されるパターンが減少したのではないかと考えた。

結合荷重の変化量を小さくすることで、結合荷重の値はより「ある最適な値」へと近付き、誤差は減少するものと考えられる。誤差の減少が想起されるパターンの増加を導くのではないかと予想し、実験2では、素子数が100、200、300、400のそれぞれの場合において、結合荷重の変化量を0.0375、0.025、0.0125、0.00625と変化させたときの、想起されるパターンの数を調べた。この結果と実験1の結果によって、素子数がどの場合においても、結合荷重の変化量を小さくすることで想起されるパターン数の増加が認められた。しかし、結合荷重の変化量が小さ過ぎる場合には、想起されるパターンはむしろ減少することがわかった。また、最もよくパターンを想起したときの結合荷重の変化量は、素子数が少ないときほど大きいらしいことがわかった。

結合荷重の変化量が小さいほど「ある最適な値」へとより近付き得るということは先述の通りであるが、一方、結合荷重が小さいほど一度の学習(一度の式(4.1)の適用)で変化する結合荷重の量が小さく、「ある最適な値」へと接近するまでに多くの学習を必要とする(多くの式(4.1)の適用を必要とする)、つまり、学習に時間がかかるようになる。結合荷重の変化量を小さくし過ぎる場合に想起されるパターンが減少するのは、結合荷重が「ある最適な値」へと十分に(「ある最適な値」との誤差が結合荷重の変化量より小さくなる値まで)近付く前に学習が終了されてしまったためではないかと思われる。

実験1、および実験2の結果によって、想起されるパターンの数は、適切な結合荷重の変化量の選択がなされるならば、素子数の増加に伴って増加する、ということがいえる。

実験1の結果について、「素子数が100から300にかけては想起されるパターン数はおおよそ増加している」と書いた。これは、実験1において、素子数が100から300にかけては想起成功数の総和は単調に増加したが、最大想起数および最大完全想起数は100から200にかけて減少し、200から300にかけては増加し、素子数が100のときと300のときとでは、300の方が大きかった(図 5.6)ために、「おおよそ」と書いたのであった。今後の課題の1つとして、このような結果となった原因を明らかにすることがある。

また、結合荷重の変化量をより細かく変化させて、想起されるパターン数がどこで最大となるのかを調べることも、今後の課題として考えられる。



Deguchi Lab.