next up previous contents
Next: 記憶させるパターン数と量子化後の記憶パターン数 Up: 結合荷重値の量子化 Previous: 量子化後の記憶パターン数と学習セット数

結合荷重中の情報の分布

 

   figure593
図 5.11: 相関値50%の量子化後の結合荷重分布

   figure600
図 5.12: 相関値70%の量子化後の結合荷重分布

図 5.11,  5.12は、5.6.1 項の実験において、500セット学習終了後に結合荷重値を量子化した時の、相関値50%, 70%の 結合荷重分布である。 これらを比較すると、相関値50%の場合に比べ、相関値70%の分布は0付近に結合荷重値 が多く存在していることが分かる。 絶対値の小さい結合荷重がニューロンの内部状態に及ぼす影響は小さいが、 逆に考えると、その小さな影響によって、パターンが正しく記憶されているとも いえる。 すると、相関が高いパターン同士のわずかな違いの情報は、結合荷重分布のより 絶対値の小さい部分に記憶され、一方、パターン間に共通する特徴は、結合荷重値の より絶対値の大きい部分に記憶されていると考えることができる。 このような情報の偏在は、相関値が高いほど顕著に現れると思われる。 これより、記憶しているパターン数が大きく減少するのは、記憶したパターンを 正しく出力する時に重要となる、各パターン間のわずかな違いの情報を持つ、絶対 値の小さな結合荷重値が、量子化によって均一化されてしまうためであると 考えられる。 また、相関値50%のときに量子化しても記憶しているパターン数がほとんど変わって いないのは、結合荷重分布のどの大きさの値にもほぼ均等にパターンの情報が 含まれているためであると考えられる。

   figure610
図 5.13: 量子化後に想起されたパターンと入力パターンとの一致率

図 5.13は、5.6.1項の実験で500セット 学習終了後に結合荷重値を量子化し、各入力パターンを入力した時の、出力パターンの 入力との一致率である。 相関値50%の時は、量子化しても記憶しているパターン数はほとんど落ちないため、 ほぼ全てのパターンにおいて一致率は100%である。 その他の相関値の場合、量子化後に出力されたパターンの入力との一致率は、 各相関値においてほとんど同一であるか、数段階の値しかとらない。 これは、パターン作成時に、パターン間の相関がどのパターン間でも偏らないように したためである。 また、相関値が高いほど、量子化後の記憶パターン数が少ないのに、一致率は高い。 つまり、量子化処理によって失われる情報が少ない。 量子化処理によって失われる情報は、細かな刻みの結合荷重値でないと 記憶しておけない情報といえる。 絶対値の大きな結合荷重値として記憶されていると考えられる、各パターン間に共通 する特徴は、相関値が高いほど多い。 そのため、量子化後に出力されたパターンは、そのような、各パターンで共通する 特徴を持ったものであると思われる。 これらのことから、各パターン特有の特徴を記憶している絶対値の小さな結合荷重値 には、多くの結合荷重値の段階が必要であるのに対し、絶対値の大きな結合荷重値 では、結合荷重値の段階が少なくても記憶を保っていられると考えられる。

以上のことから、結合荷重値の値の数が多いことが逐次学習法で記憶できるパターン数 が多いことの直接の原因ではないと考えられる。 パターンを正しく記憶するのに重要な、絶対値の小さな結合荷重値の部分は多くの 結合荷重値の段階を必要とするが、複数のパターン間で共通するような特徴は、 値の大きな部分に大きな刻みの段階で記憶しておくことができる。 過去の結果で、結合荷重値の変化 tex2html_wrap_inline1641 を小さくすることで、記憶できる パターン数が増加したのは、多くの結合荷重の段階の必要な、絶対値の小さな部分の 値をより細かくとることができたためであると考えられる。 そして、量子化を行なってもほとんどのパターンを記憶していることができたのは、 相関値が低いため情報の偏在があまり起きておらず、パターン数も少なかったため であると考えられる。 また、ある値域に記憶されている情報量に応じて、刻みの細かさを決めるような 量子化法を用いれば、相関値が高い場合でも少ない結合荷重値の数でパターンを 記憶していられると考えられる。 もちろん、このとき減らせる結合荷重値の数には限度がある。 相関値50%のとき、相関学習法と同じ数で量子化前と同程度のパターン数を記憶 していられたことから、相関学習法の結合荷重値の数を目安にすればよいと思われる。



Deguchi Lab.