実験の結果である図 6.1 から図 6.11 より、ランダムパターンと文字パターンではノイズに対する影響がどの程度違うかを調べ、さらに、ランダムパターンで学習パターン数を増やしたときの想起能力を調べ、ランダム層モデルにおける想起能力の限界について考察する。
図 6.1 から 図 6.5 は、学習パターンをランダムパターンとし、学習パターン数をかえていったときの、ノイズに対する平均合致率を表したものである。 学習パターンが元のパターンを想起することを合致というが、平均合致率とは 100 通りの初期値によって合致した確率の平均である。
図 6.6 から 図 6.10 は、学習パターンをランダムパターンとし、学習パターン数をかえていったときの、100% 合致度数を表したものである。 100% 合致とは、学習パターンが元のパターンを 100% 正確に想起することをいう。
図 6.11 は、ランダムパターンと文字パターンのノイズに対する平均合致率を表したものである。ただし、学習パターン数を15、サイクル周期を5、サイクル数を3とした。
図 6.1 と 図 6.6 は、学習パターン数を15とした場合を示した。 周期が5の場合は、ノイズが 28% 程度まではほぼ 100% 想起しているが、周期が3の場合は、ノイズが 24% 程度のあたりから、想起能力が落ちていくことが分かる。それ以降は所々で交差しているため、どちらの方が想起能力が高いとは言いにくいが、全体をみれば周期が5の場合の方が想起能力が高いといえる。
図 6.2 と 図 6.7 は、学習パターン数を16とした場合である。 周期が4の場合及び8の場合ともに、ノイズが 28% のあたりから想起能力が落ちていくことが分かる。平均合致率は周期が4の場合の方が若干良いようであるが、それほどの差はなかった。しかし、100% 合致度数は、周期が8の場合の方が悪く、学習パターンが元のパターンを正確に想起する能力は、周期が4の場合の方が優れているといえる。
図 6.3 と 図 6.8 は、学習パターン数を18とした場合である。 周期が6の場合ではノイズが 28% のあたりから想起能力が落ちていくのに対し、周期が3の場合ではノイズが 25% のあたりから想起能力が落ち始めている。またその後も周期が3の場合の想起能力が周期が6の場合を上回ることはほとんどなく、明らかに周期を6とした場合の方が想起能力は良いといえる。
図 6.4 と 図 6.9 は、サイクル周期を3として、サイクル数を変えた場合である。 平均合致率及び 100% 合致度数供に、二本のグラフが交差することはほとんどなく、サイクル数を5とした場合のほうが、想起能力が良いことは明らかである。
図 6.5 と 図 6.10 は、サイクル数を3として、サイクル周期を変えた場合である。 サイクル周期が5の場合と6の場合では、ほとんど差をみることはできない。想起能力が落ち始めるのは供にノイズが 28% のあたりで、ノイズが 35% のあたりまでは、わずかにサイクル周期が5の場合の方が良く、そこから後は、わずかにサイクル周期が6の場合の方のほうが良いようである。しかし、この差はほんのわずかであり、この二つの場合については、どちらが想起能力が良いとはいえない。
以上より次のようなことがいえる。 学習パターン数が同じであるならば、サイクル周期が大きいほうが想起能力は良い。これは、サイクル周期を大きくするということが、目的のパターンを想起する過程で、より多く想起を繰り返すことを意味するからである。つまり、誤りを訂正する回数が増えて、全体の想起能力が高まっているのである。 また、式(5.9)より、導き出される1層あたりの最大記憶パターン数は16.79、つまり16から17であるから、学習パターン数が18では、想起能力は大きく落ちるものと考えられた。しかし、サイクル周期を6とした場合には、学習パターン数15のときと変わらない結果が得られ、サイクル数を6とした場合にも想起能力は悪くなったが、それほどひどく悪くなったわけではなかった。これは、式(5.9)が、正確な読み出しを可能とするための条件を示したものであり、この値を越えると記憶できなくなるということを表しているわけではないためと考えられる。よって、学習パターン数がもう少し増えれば、記憶容量が飽和して想起能力が落ちると考えられる。
また、図 6.1 から図 6.10 までの結果を見ると、 16% から 28% の間は平均合致率 100%、 100% 合致度数ともに ほぼ 100 となっているにも関わらず、 15% の時だけ平均合致率が 97% 付近、 100% 合致度数が 93 付近に収まった。 これは学習パターンを、乱数を用いて作成したランダムパターンとしたためである。 ノイズの割合を 15% と設定したのであるが、乱数によってノイズを加えた初期値は、必ずしも正確に 15% とはならないのである。 偶然にも今回の実験では、 15% の時だけそのノイズが極端に大きくなってしまったと言える。 これについては、初期値を変えて実験を行なえば、 15% の 100% 合致度数は 100 となることが確認されている[2]。 しかし、想起したパターンに若干の誤りがあっても、 16% 以降では平均合致率 100%、 100% 合致度数 100 となっているように、誤りの部分が後の処理で拡大していかなければ良いのである。 神経回路網における情報処理は雑音による外乱には強く、こうした誤りは吸収してしまい拡大しない [6]。
図 6.11 は、学習パターンにランダムパターンと文字パターンを用いた場合である。ただし、学習パターンは15、周期パターンは5、サイクル周期は3である。 文字パターンは、1や5というような数字及び、AやHというようなアルファベットを適当に15個作ったものである。 文字パターンでは、ノイズが 15% のときから、平均合致率は 74% 程度であり、ノイズが 40% を越えたあたりから想起能力が落ちていくことが分かる。 これより、ノイズが 40% 付近まではランダムパターンのほうが誤り訂正能力は良い。それ以降は文字パターンのほうが誤り訂正能力は良いが、このような 0 と 1 だけの2現通信路では 50% のノイズで情報量が最小、最悪の状態になる。 ノイズ 40% というのはまず起こり得ないほどひどい状態であるから、ノイズが 40% 以降については特に考慮する必要はない。 さらに、文字パターンの場合は、100% 合致度数がすべて 0 であり、学習パターンが元のパターンを 100% 正確に想起することがまったくない。
以上より、ランダムパターンと文字パターンの想起能力は、明らかにランダムパターンのほうが良い。文字パターンの場合には、想起能力は無いと言ってもいいほどであるから、文字パターンを学習させる場合は直交学習のような何らかの作業が必要であることが分かった。
今回の実験では、学習パターン数とニューロン数の比があまり小さくならない限り、入力の際にノイズが 25%程度 ならば、誤りを訂正する能力があることが分かった。 これはパターンに対して、 1 と 0 がほぼ同確率に近い状態で現れるように符合化できたランダムパターンの場合の保証された能力と言える。
図 6.1: 平均合致率（ランダムパターンで学習パターン数１５）
図 6.2: 平均合致率（ランダムパターンで学習パターン数１６）
図 6.3: 平均合致率（ランダムパターンで学習パターン数１８）
図 6.4: 平均合致率（ランダムパターンでサイクル周期３）
図 6.6: １００%合致度数（ランダムパターンで学習パターン数１５）
図 6.7: １００%合致度数（ランダムパターンで学習パターン数１６）
図 6.8: １００%合致度数（ランダムパターンで学習パターン数１８）
図 6.9: １００%合致度数（ランダムパターンでサイクル周期３）
図 6.10: １００%合致度数（ランダムパターンでサイクル数３）
図 6.11: 平均合致率（ランダムパターンと文字パターン(学習パターン数１５)）
