next up previous contents
Next: 結合荷重中の情報の分布 Up: 結合荷重値の量子化 Previous: 結合荷重値の量子化

量子化後の記憶パターン数と学習セット数

  学習条件成立時の結合荷重値の変化 tex2html_wrap_inline1641 を小さくした 時、記憶できるパターン数が増加したという結果とは別に、結合荷重値のとる値の 数を、相関学習法と同じになるように量子化を行なっても、記憶させた パターンのほとんどは記憶しているという結果も出ている。[8] これらは結合荷重値のとる値の数と記憶できるパターン数の関係を考える上で、 矛盾した結果のように思える。 しかし、量子化してもパターンを記憶していることができたのは、学習セット数が 固定され、それが入力パターン数に対して十分多かったために、量子化に耐え得る だけ学習が深まっていたことが原因であり、学習セット数が少ないと 量子化後に記憶しているパターン数は減少すると考えた。 この時使用されていたパターンは、相関値約57.4%のアルファベットパターンで あった。 そこで、学習セット数と量子化前後に記憶しているパターン数を調べ、相関値の異なる 入力パターンで結果を比較した。

学習は500セット行ない、1セット学習が終了するごとにパターンを記憶しているか 確かめた。 このとき、全てのパターンを記憶していたセット以降も学習を続けた。 全てのパターンを記憶していたセット以降は、各セット数学習終了の時点での 結合行列を量子化した値を持つ結合行列を、新たに作成し、それが何パターン 記憶しているか調べた。 この実験は、量子化までの学習セット数と、記憶しているパターン数の関係を 調べるものであり、量子化処理は学習中のニューラルネットの結合荷重には 影響を与えない。 入力パターンは相関値が50%, 55%, 60%, 65%, 70%となるように5種類作成し、 入力パターン数は相関値50%で記憶できる数として75パターンとした。

   figure546
図 5.6: 相関値50%の学習セット数と量子化後の記憶パターン数

   figure553
図 5.7: 相関値55%の学習セット数と量子化後の記憶パターン数

   figure560
図 5.8: 相関値60%の学習セット数と量子化後の記憶パターン数

   figure567
図 5.9: 相関値65%の学習セット数と量子化後の記憶パターン数

   figure574
図 5.10: 相関値70%の学習セット数と量子化後の記憶パターン数

結果は図 5.6〜 5.10のようになった。 縦軸が記憶していたパターン数、横軸が量子化を行なう前に学習したセット数である。 図 5.6,  5.7,  5.8より 、相関値50%, 55%, 60%のとき、いったん全てのパターンを記憶することが できると、学習を続けていっても記憶しているパターン数はほとんど変わらない。 一方、図 5.9,  5.10のように相関値が高い 場合、入力パターン数が5.5.2項で調べた最大学習成功数より 少ないにも関わらず、記憶パターン数は何度も変化し、記憶が不安定である ことがわかる。 このように記憶しているパターン数が変化するのは、あるパターンの学習により 結合荷重が変化することで、他のパターンの記憶に干渉して記憶が崩壊し、 次のセットで干渉を受けたパターンが結合荷重値を変化させるため、 また別のパターンに干渉が起きる、といったことを繰り返しているためであると 考えられる。 このような記憶パターン数の変動は、図 5.6のように相関値が 低い場合にも見られることから、学習セットを増やすことで、必ずしも記憶が 単調に安定化していくわけではないと思われる。

相関値50%では、量子化処理を行なってもほとんどのパターンを記憶しているが、 それ以外では相関値が高いものほど、量子化後に記憶できているパターン数が 少なく、相関値70%では、量子化後には一つのパターンも記憶していない。 また、量子化後に記憶していたパターン数が少ないと、学習を続けていっても 量子化後の結果が良くなることがない。 逆に、図 5.7では、はじめて全ての パターンを記憶していたセットに比べ、セット数が進んだ時の 方が量子化後の記憶パターン数が少ないことがわかる。 このことと、学習セットの増加が必ずしも記憶を深めるとは限らないと思われること から、セット数が多いために、量子化に耐え得るだけ学習が深まったのではないと いえる。



Deguchi Lab.