実験4

さらにパターンを変え、それぞれの場合に適切な$\Delta w$はどの程度の範囲で変化するか、あるいは偏りがないかを調べるため、素子数が100から350まで50間隔で6通りについて、3種類のパターンで5.4.2項と同様の実験を行った。

その結果はグラフとして図 5.5〜図 5.10に示す。$x$軸には最大想起成功時の$\Delta w$を、$y$軸には最大想起成功数をとった。いずれのグラフでも3種類のパターンに大差なく、各$\Delta w$における最大想起成功数は似た値となった。よって素子数における適切な$\Delta w$もほとんど変化しなかった。この結果は、最も変化の大きかった素子数100の場合でさらに5種類のパターンで実行しても揺らぐことはなかった。

素子数250以降の$\Delta w$が落ち着く値は0.037で、5.4.2項で得た値よりも5.4.3項で得られた値に近いものとなっている。

図 5.5: 素子数100の場合の最大想起成功数の推移

図 5.6: 素子数150の場合の最大想起成功数の推移

図 5.7: 素子数200の場合の最大想起成功数の推移

図 5.8: 素子数250の場合の最大想起成功数の推移

図 5.9: 素子数300の場合の最大想起成功数の推移

図 5.10: 素子数350の場合の最大想起成功数の推移

このことから、原則的に$\Delta w$は素子数が小さいほど小さく、素子数が増えるにしたがって徐々に増大し、素子数が250以降はほぼ一定となる。但し、学習させるパターンに何らかの条件が満たされることで適切な$\Delta w$は素子数が少ないときには大きくなると言える。

本研究で得られた結果を、他の研究と照らし合わせてみる。

松野が相互結合のカオスニューラルネットにおける逐次学習で各素子に対する最大完全学習数を調べた結果と、今回の実験で得られた最大想起成功数の関係を表 5.2にまとめる。

表 5.2: 各素子数における最大完全学習数と最大想起成功数

素子数	最大完全学習数	最大想起成功数
100	89	23
200	184	35
300	277	46

これを見ると、最大完全学習数は素子数に比例して増大している(松野の論文にも「素子数と最大完全学習数の数値には比例関係があるが傾きは1より若干小さい」とある)。一方で最大想起成功数は概ね一次関数の関係にあると言えるが、その傾きは0.67程度と最大完全学習数と比較するとかなり小さい値となっている。図 5.11に表 5.1をグラフ化した図を示しておく。

図 5.11: 適切な$\Delta w$における素子数と最大想起成功数の関係

また、図 5.3を見るとわかるが、動的想起による適切な$\Delta w$は素子数100のときなど小さいうちは多少適切な値から外れても想起成功数はそれほど変化しないが、素子数が多くなるほどにその幅が狭まっている。

これは学習の場合でも同じことが言え、図 5.12で松野が示すように、素子数が300以降では適切な値は一つに収束することが明らかにされている。

図 5.12: 各素子数のネットワークにおける適切な$\Delta w$の変化

この要因としては実験で用いたカオスニューラルネットワークのモデルが相互結合型であることが考えられる。素子数の増加は、一つのニューロンに入力される他のニューロンの数が増えるという事になる。逐次学習法では入力パターンに近付こうとする力と、それとは反対向きの力とのバランスで学習が行なわれている。そのため、$\Delta w$の値を小さくする事でバランスをとりやすくしていると考えられる。これは素子数が大きい時には適切な数値から少しずれただけでも想起成功数が大きく減った事からもいえる。逆に素子数が小さい場合は入力される他のニューロンの数が比較的少ないため$\Delta w$の値を多少変化させても想起成功数は大きくは変わらないといえるだろう。ただし、素子数が小さいということは、相対的に最大完全学習数が減少してしまうことにもなる。

5.4.2項、5.4.3項および5.4.4項で得られた結果から、図 5.13を作成した。$x$軸に学習した素子数を、$y$軸にそのときに最も想起に成功した$\Delta w$の値をとった。1パターンだけ推移が他のパターンのときと対称となっていることが分かる。この要因が特殊なパターンによるものであるとすれば、概ねどのパターンでも似た推移を示すといえる。ただしこのような特殊なパターンがどの程度の確率あるいは条件で発生するのかが分からい以上は厳密に明らかであるということはできない。また、これと先の図 5.12を比較すると、推移が逆になっていることが分かる。学習では素子数の増加に対して$\Delta w$は減少するのだが、想起では素子数の増加に伴って増大していっている。

松野の研究では想起を行わずに、素子数に対して最も学習できる、いわば最大学習成功数を得たときの$\Delta w$の値を調べていた。しかし本研究では学習数は50パターンとし、その中で素子数に対して最も想起できる$\Delta w$の値を調べた。具体的に素子数が200のときを取り上げてみる。 図 5.14は松野が調べた、素子数が200のときの$\Delta w$における振舞いである。また本研究で調べた素子数200における振舞いは図 5.2と図 5.7にある。 このときの学習に最適な$\Delta w$は0.005程度であり、一方で最も想起に適した$\Delta w$は0.030程度である。図 5.14を見ると$\Delta w$が0.03でも180パターン以上を学習することが可能であるが、図 5.2を見れば分かるとおり、31パターン以上を学習させると想起することができなくなってしまう。つまり、多くを想起させるには素子数に対する学習数を増やすのではなく、素子数そのものを増やす必要がある。しかし素子数を増やすことで、学習に適切な$\Delta w$は狭まり、その適切な値からずれるほどに学習成功数は急激に減ることになる。したがって、素子数を1000あるいはそれ以上の非常に大きい数にしたときには、最大学習成功数と最大想起成功数のバランスがとれる$\Delta w$が動的想起にとっての適切な値になる可能性があり、そういった値を新たに見つける必要性がでてくるのではないかと考えられる。

図 5.13: 動的想起における各素子数に対する適切な$\Delta w$の変化

図 5.14: 素子数200のネットワークにおける$\Delta w$と学習したパターン数