実験の結果である図 7.2 から図 7.13 より、図 7.1 のように学習するパターンのサイクル内に同一パターンが無い場合と有る場合について、ノイズに対してどの程度の影響が有るかを調べ、さらに、同一パターンが有る場合は、同一パターンがいくつ有る時が最も想起能力が高くなるかを考察する。 なお、図中の``pat''は、``pattern''の略である。
図 7.2 から図 7.7 は、ランダム層モデルにおける、ノイズに対する平均合致率を表したものである。 学習パターンが元のパターンを想起することを合致というが、平均合致率とは 100 通りの初期値によって合致した確率の平均である。
図 7.8 から図 7.13 は、ランダム層モデルにおける、ノイズに対する 100% 合致度数を表したものである。 100% 合致とは、学習パターンが元のパターンを 100% 正確に想起することをいう。
図 7.2 と図 7.8 は、学習するパターンのサイクル内に、同一パターンが無い場合と一つある場合を示した。 ノイズが 28% 程度まではどちらもほぼ 100% 想起しているが、これ以上になると想起能力が落ちていくことが分かる。 二本のグラフは所々で互いに交差しているので、どちらの方が想起能力が高いかということは分からない。 図 7.3 と 図 7.9 は、同一パターンが一つの場合と二つの場合である。 同一パターンが一つの時はノイズが 28% 辺りから想起能力が落ち始めるのに対し、同一パターンが二つの時は 25% 辺りから落ち始めている。 また、その後も 40% 辺りまでは、同一パターンが一つの方が平均合致率も 100% 合致度数も高くなっている。 このことより、ノイズが 40% 付近までは、同一パターンが二つよりも一つの方が誤りを訂正する能力は高いと考えられる。 図 7.4 と図 7.10 は、同一パターンが共に二つの場合の比較である。 これは図 7.1 において、同一パターンが二つの場合というのが、 a と b 、 a と c 、 b と c 、.....のようにいくつかの組合せがあるわけであるが、その組合せにより想起能力はどうなるかを調べたものである。 ここでは a と b 、 a と c の組合せを選んだ。 ノイズが 35% を越えて 42% 辺りまでは a と c の組合せの方が多少ではあるが平均合致率が高いような気がする。 しかし、全体的に見ればそれほどの差は無いと思われるので、組合せにより想起能力が変わることは有り得ないのではないだろうか。 図 7.5 と図 7.11 は、同一パターンが二つの場合と三つの場合である。 どちらもノイズが 25% 辺りから平均合致率が落ち始めている。 30% 付近までは同一パターンが二つの方が想起能力は高いが、それを越えるとほぼグラフは重なり、想起能力の差は無くなる。 図 7.3 に比べ、同一パターンの数による差は無い。 図 7.6 と図 7.12 は、同一パターンが三つの場合と四つの場合である。 どちらもノイズが 25% 辺りから平均合致率が落ち始め、 30% から 40% 付近までは明らかに同一パターンが三つの方が想起能力は高い。 この範囲では同一パターンが三つの方が誤り訂正能力は高いと考えられる。 図 7.7 と図 7.13 は、同一パターンが無い場合と四つの場合である。 先の結果と重なるが、同一パターンの有無について考えてみる。 同一パターンが無い場合は、ノイズが 28% 辺りから平均合致率が落ち始めるのに対し、同一パターンが四つの場合は 25% 辺りから落ち始める。 その後、 40% 付近までは同一パターンが無い方が想起能力は高く、 40% 以降は同一パターンが四つの方が高い。 これより、ノイズが 40% 付近までは同一パターンが無い方が誤り訂正能力は良く、それ以降は同一パターンが四つの方が誤り訂正能力は良いと言える。 しかし、このような 0 と 1 だけの２現通信路では 50% の誤り率で情報量が最小、最悪の状態になる。 誤り率 40% というのはまず起こり得ないほどひどい状態であるため、特に考慮する必要は無いと考えられる。 従って、同一パターンが四つ有る時に比べ、同一パターンが無い方が想起能力は高いと言える。
図 7.2 から図 7.13 までの結果を見ると、 16% から 25% の間は平均合致率 100%、 100% 合致度数 100 となっているにも関わらず、 15% の時だけ平均合致率が 97% 付近、 100% 合致度数が 93 付近に全て収まった。 これは学習パターンを、乱数を用いて作成したランダムパターンとしたためである。 ノイズの割合を 15% と設定したのであるが、乱数によってノイズを加えた初期値は、必ずしも正確に 15% とはならないのである。 偶然にも今回の実験では、 15% の時だけそのノイズが極端に大きくなってしまったと言える。 確認のため、初期値を変えて実験を行なったところ、 15% の 100% 合致度数は 100 となった。 しかし、想起したパターンに若干の誤りがあっても、 16% 以降では平均合致率 100%、 100% 合致度数 100 となっているように、誤りの部分が後の処理で拡大していかなければ良いのである。 神経回路網における情報処理は雑音による外乱には強く、こうした誤りは吸収してしまい拡大しない [5]。
また、学習パターンの初期値が分からないため、ノイズが 15% の時のような結果を得たが、それ以降においてうまく処理できたことから、初期値が分からなくても影響が無いと言える。
次に、学習パターンのサイクル内における同一パターンの有無やその数について検討する。 自己相関記憶では、次のようになる。 １層の誤り訂正能力は学習させるパターン数とニューロン数の比によって決まり、その比が大きければ正しく想起しやすくなる[2]。 式(5.10)から導き出される１層あたりの最大記憶パターン数は 16 から 17であり、同一パターンが無い時の出力層が学習するパターン数は 15 と、容量一杯近くまで記憶させているため、誤り訂正能力はあまり高くない。 それに対し、同一パターンが一つの時はパターンの数は 14 、二つの時は 13 、三つの時は 12 、四つの時は 11 となる。 これより、学習するパターン内の同一パターンが多ければ多いほど、誤り訂正能力は高くなると考えられる。
今回の実験では、入力の際にノイズが 25%程度 ならば、誤りを訂正する能力があることが分かった。 これはパターンに対して、 1 と 0 がほぼ同確率に近い状態で現れるように符合化できた場合の保証された能力と言える。 ノイズを 40% のせた時、 100% 正しく想起する数は 20 程度になるが、二元通信路において、誤差 0% で学習パターン自身になり、誤差 100% で反転したパターンになることから、 40% ではほとんど別のパターンになると考えられる。 同一パターンの有無については、無い時と一つ有る時は合致率の差は無く、無い時と四つ有る時では無い時の方が合致率は高くなった。 同一パターンの数については、四つよりも三つ、三つよりも二つ、二つよりも一つの方が合致率は高くなった。 理論とは正反対の結果が得られたわけであるが、以上より次のように言える。
ランダム層モデルのような、相互相関記憶では学習させるパターン内に同一パターンが有る場合と無い場合では、無い場合の方がパターンを想起する能力は高くなる。 また、同一パターンが有る場合では、その数が多くなるに従い、想起能力は低くなる。 学習させるパターンの周期が大きくなった場合、同一パターンの有無により想起能力は異なる。
図 7.2: 平均合致率（同一パターンが無い時と同一パターンが一つの時）
図 7.3: 平均合致率（同一パターンが一つの時と同一パターンが二つの時）
図 7.4: 平均合致率（同一パターンが共に二つの時の比較）
図 7.5: 平均合致率（同一パターンが二つの時と同一パターンが三つの時）
図 7.6: 平均合致率（同一パターンが三つの時と同一パターンが四つの時）
図 7.7: 平均合致率（同一パターンが無い時と同一パターンが四つの時
図 7.8: １００％合致度数（同一パターンが無い時と同一パターンが一つの時）
図 7.9: １００％合致度数（同一パターンが一つの時と同一パターンが二つの時）
図 7.10: １００％合致度数（同一パターンが共に二つの時の比較）
図 7.11: １００％合致度数（同一パターンが二つの時と同一パターンが三つの時）
図 7.12: １００％合致度数（同一パターンが三つの時と同一パターンが四つの時）
図 7.13: １００％合致度数（同一パターンが無い時と同一パターンが四つの時）