next up previous contents
Next: 量子化幅による学習への影響 Up: 実験結果 Previous: 実験結果

実験方法

始めに、逐次学習法によって学習を行なったネットワークに 結合荷重の量子化を加えるタイミングを変えることにより、 学習成功数にどのような影響を与えるかを調べた。 量子化を加えるタイミングとしては、

とした。 また、量子化幅は1、5、10とした。

量子化幅1で量子化を行なった結果、 学習成功数は図 6.1 となった。

   figure336
図 6.1: 量子化幅1の学習成功数

横軸が学習セット数を表し、縦軸が26パターン中いくつ学習できているかを表す。 また、グラフの「無処理」が結合荷重に量子化を加えていない時の学習成功数、 「パターン毎」が1パターン学習が終る毎に量子化を加えた時の学習成功数、 「セット毎」は1セット学習が終る毎に量子化の処理を加えた時の学習成功数を表す。

40セット終了後に処理を加えたネットワークの学習結果は、無処理と同じ経過をたどり 40セット終了時には26パターンすべて学習できていた。 量子化幅1ので量子化を加えたネットワークは、 どのタイミングでもすべてのパターンの学習に成功しており、量子化による影響があまり見られなかった。

量子化幅5で量子化を行なった結果、 学習成功数は図 6.2 のようになった。

   figure344
図 6.2: 量子化幅5の学習成功数

量子化幅を5とした場合は1セット学習が終るごとに量子化を加えたネットワークは、 学習成功数が減っていた。 また、1パターンの学習が終るごとに量子化を加えたネットワークはどのパターンも学習できていなかった。 しかし、40セット終了後に量子化を加えたネットワークはすべてのパターンの学習に成功していた。

量子化の幅を10とした時は40セット終了後に処理を加えたネットワークが 11パターンの学習に成功していただけであり、 それ以外のタイミングで処理を加えたネットワークは どのパターンも学習することができなかった。

そこで、量子化幅5で1パターンの学習が終るごとに量子化を加えたネットワークと 量子化幅10で1セット学習が終るごとに量子化を加えたネットワーク、 量子化幅5で1パターンの学習が終るごとに量子化を加えたネットワークの結合荷重を調べたところ、 すべての結合荷重が0となっていた。 これは、量子化幅がセットの学習ごと、 1パターンの学習ごとの結合荷重の変化量に比べ多き過ぎ、 量子化を行なうと結合荷重が0に戻ってしまうためだと考えられる。

以上の結果から、逐次学習法によって学習を行なったネットワークは 量子化を行なうことによって学習成功数が減ることが分かった。 しかしながら、従来の学習法においてネットワークの記憶容量は ニューロン数の15%程であるといわれていることから49個のニューロンを持つ ネットワークは7個程度しか学習できないと考えられる [8]。 今回用いたパターンを相関学習で学習させてみたところ5パターンまでしか学習できなかった。 このことから、 結合荷重が0になってしまうような極端な量子化を加えたネットワークを除けば、 量子化を加えても従来の相関学習に比べて 学習能力が高いといえる。

また、セット毎、パターン毎に量子化を加えることは、 ネットワークの学習に影響を与え過ぎるといえる。 そこで、今後はすべてのセットの学習が終ったネットワークに量子化を加えることにする。



Toshinori DEGUCHI
2005年 2月17日 木曜日 19時40分14秒 JST