next up previous contents
Next: 結論 Up: 実験結果 Previous: 量子化幅による学習への影響

結合荷重の分布

本研究室の過去の研究で、逐次学習法のもう一つの特徴である結合荷重の非対称性が ネットワークの学習に影響を与えていないことが分かっている[10]。 また、先の実験によって、量子化により結合荷重の取り得る値の数を 従来の相関学習に近い条件にしても学習能力は従来の相関学習に比べ良いものとなっていた。 逐次学習法の学習能力は、これら2つの従来の相関学習とは異なる要素によって得られていると考えられていた。 しかし、今回の実験結果からその2つの要素が学習能力の基となっているとはいえない。

これらの結果から、逐次学習法によって得られる結合荷重の分布は、 従来の相関学習の結合荷重の分布とは異なるのではないかと考えた。

そこで、従来の相関学習を用いたホップフィールドネットと、 逐次学習で学習を行なったネットワークの結合荷重の分布を調べる。 また、先の実験で量子化幅が小さければ、逐次学習法によって学習を行なったネットワークに量子化を加えても影響が無いことが分かっているので、 取り得る値の数が同じになるように量子化を加え、 逐次学習法によって学習を行なったネットワークの結合荷重を 相関学習による結合荷重と比較する。 量子化幅は、逐次学習法で学習を行なったネットワークで 最も大きい結合荷重 tex2html_wrap_inline1473 を調べ、 tex2html_wrap_inline1475 から tex2html_wrap_inline1473 の間が相関学習での 結合荷重の取り得る値の数と同じになるように決めた。

始めにアルファベットの1パターンのみを学習させた結果を比較した。 逐次学習法によって、学習を行なったネットワークには量子化幅1で 量子化をかけている。 表 6.1 と表 6.2 はそれぞれのネットワークの各結合荷重の大きさの個数を表したものである。

 

 
結合荷重の大きさ個数
-1 1176
0 49
1 1176
表 6.1: 逐次学習法による結合荷重の大きさ(1パターン)

 

 
結合荷重の大きさ個数
-1 1176
0 49
1 1176
表 6.2: 相関学習による結合荷重の大きさ(1パターン)

表 6.1 と表 6.2 を見ると結合荷重の大きさの個数が逐次学習法と相関学習とではまったく同じとなっていることが分かる。

そこで、結合荷重の分布を図 6.4 、図 6.5 のように表した。 ijはそれぞれ結合荷重 tex2html_wrap_inline1281 の添字を表し、縦軸が結合荷重の大きさを表す。

   figure395
図 6.4: 逐次学習法による結合荷重(1パターン)

   figure402
図 6.5: 相関学習による結合荷重(1パターン)

図 6.4 、図 6.5 から逐次学習法のによって得られる結合荷重の分布は、 相関学習によって得られる結合荷重の分布と全く同じことが分かる。

次に、学習パターンを増やした時の結合荷重の分布を比べる。 学習パターンが2個の時の結合荷重は、表 6.3 、表 6.4 である。 この時の量子化幅は1.6である。

 

 
結合荷重の大きさ個数
-1.6 516
0 1249
1.6 636
表 6.3: 逐次学習法による結合荷重の大きさ(2パターン)

 

 
結合荷重の大きさ個数
-2 516
0 1249
2 636
表 6.4: 相関学習による結合荷重の大きさ(2パターン)

表 6.3 、表 6.4 を見ると、 2パターン学習時でも結合荷重の大きさに対する個数が逐次学習法と 相関学習で同じであった。 この時の分布を1パターン学習時のようなグラフで調べたところ、 結合荷重の分布が全く同じということが分かった。

3パターン学習させた時の結合荷重は、表 6.5 、表 6.6 である。 この時の量子化幅は1.9である。

 

 
結合荷重の大きさ個数
-3.8 42
-1.9 379
0 1409
1.9 490
3.8 90
表 6.5: 逐次学習法による結合荷重の大きさ(3パターン)

 

 
結合荷重の大きさ個数
-3 286
-1 824
0 49
1 914
3 328
表 6.6: 相関学習による結合荷重の大きさ(3パターン)

3パターン学習時から結合荷重の大きさに対する個数も違ってきており、 結合荷重の分布も大きく異なり、逐次学習法による結合荷重は 0を中心に分布していることが分かる。

次にネットワークに5パターン学習させた時の結合荷重の分布を調べた。 5パターンというのは相関学習で学習できたで最大のパターン数である。 5パターン学習させた時の結合荷重は、表 6.7 、表 6.8 である。 この時の量子化幅は2.05である。

 

 
結合荷重の大きさ個数
-6.15 5
-4.10 124
-2.05 514
0 1035
2.05 546
4.10 161
6.15 16
表 6.7: 逐次学習法による結合荷重の大きさ(5パターン)

 

 
結合荷重の大きさ個数
-5 72
-3 368
-1 708
0 49
1 690
3 420
5 94
表 6.8: 相関学習による結合荷重の大きさ(5パターン)

また、5パターンの学習時の逐次学習法によって学習を行なったネットワークの結合荷重と相関学習の結合荷重の分布は図 6.6 と図 6.7 である。

   figure475
図 6.6: 逐次学習法による結合荷重(5パターン)

   figure484
図 6.7: 相関学習による結合荷重(5パターン)

表 6.7 、表 6.8 を見ると結合荷重の大きさに対する個数が 逐次学習と相関学習では異なっていることが分かる。 また、逐次学習では0を中心に結合荷重が分布していることが分かる。 図 6.6 と図 6.7を見ると 逐次学習による結合荷重は相関学習によるものに比べ、0を中心に分布していることが分かる。

1パターンから5パターンまでは量子化を行なったすべてのネットワークが学習に成功していた。 この結果から逐次学習法による結合荷重の分布と相関学習での 結合荷重の分布は学習パターン数が1個と2個の時は同じであるが、 学習パターン数が多くなるほど逐次学習法による結合荷重と、 相関学習による結合荷重が異なってきていることが分かる。

また、相関学習の学習の限界を越えてしまっているが、 26パターン学習させた時の結合荷重の分布を調べた。

   figure497
図 6.8: 26パターン学習時の結合荷重(逐次学習法)

   figure506
図 6.9: 26パターン学習時の結合荷重(相関学習)

図 6.8 と図 6.9 は26パターン学習時の結合荷重の個数 である。相関学習ではどのパターンも学習できておらず、 逐次学習法によるネットワークは24パターン学習できていた。 図 6.8 と図 6.9 を見てもそれぞれの学習で結合荷重の分布が違うことが分かる。 また、逐次学習法による結合荷重は相関学習に比べて、分散が異なっている。

相関学習が逐次学習法のような結合荷重の分布が作れない理由として、 式(4.1)からも分かるとおり、 パターン回数しか結合荷重を変化させることができないことが原因ではないかといえる。 逐次学習法では学習条件が成立するたびに結合荷重が変化する。

これらのことから、 逐次学習法は学習条件が成立するたび結合荷重を変化させると言うことから、 結合荷重の変化回数が多くなり、その結果 従来の相関学習学習とは異なる結合荷重の分布を作り上げることで 学習能力を得ているのではないかといえる。


next up previous contents
Next: 結論 Up: 実験結果 Previous: 量子化幅による学習への影響

Toshinori DEGUCHI
2005年 2月17日 木曜日 19時40分14秒 JST