実験目的1

本研究室ではカオスニューラルネットワークを用いて逐次学習を行う研究を行ってきた。 研究を進めていくにつれ、この逐次学習に適したパラメータが少しずつ明らかになってきた。 現在最適と思われるパラメータを使うと、「1」と「$-1$」の比率が1:1という特別なパターンにおいて、 その比率の性質を学習し、パターンがいくつ増えても完全に想起できることが分かった。 図 5.1に、素子数が100で、1と$-1$をそれぞれ50個 ずつ配置しランダムに生成したパターンを学習した時の学習パターン数と 学習成功パターン数の関係を示す。

図 5.1: 比率1:1(総数100)の場合の学習成功パターン数

本研究では、ネットワークが学習に成功したパターン数を「学習成功パターン数」と呼ぶ。 入力パターン数と学習成功パターン数が同じだった場合それを完全学習と呼び、そのときのパターン数を完全学習数と呼ぶ。 また、パターン数を1つずつ増やしていき途中で完全学習ができなくなったとき、その一つ前の完全学習ができたパターン数を最大完全学習数とする。

図 5.1を見ると分かるように、学習パターン数が少ないうちは完全学習ができており、 学習パターン数を増やしていくと途中で学習成功パターン数が減少する。 しかしそのまま学習パターンを増やし続けていくと、また完全学習できるようになる。 過去の研究も含め三回乱数の種を変えて行った結果、学習成功パターン数の減少の仕方にはばらつきがあったが、 三回とも同じように、学習パターンを増やすことで完全学習が可能になった。 理由は学習後の結合荷重が全て、ほぼ負の一定値になっていたからだった。 途中で学習成功パターン数が減少したのは、まだ全ての結合荷重が負の一定値への収束に至っていなかったためで、 学習パターン数の増加によって、ある量以上の学習を繰り返すことで、結合荷重が 「$1$」と「$-1$」の比率に適した結合荷重に収束してしまうと考えられる。 比率が1:1の場合、1一つ目の要素が「1」の場合、残りの要素は「1」が49個、「$-1$」が50個であるので、結合荷重が負の一定値で重み付き加算を行うと、ニューロンの出力は必ず正の値になる。 次の要素が「$-1$」の場合にも、同じように計算されニューロンの出力は必ず負の値になる。 これは比率が1:1のときに起こる特別な現象である。 従って、1:1の比率で学習させると、パターン一つ一つを想起するのではなく、 1:1という比率の性質そのものの学習が完了されることが分かった。 すると、どのパターンが入力されても1:1の性質を利用することで、正確なパターンを出力できていると考えられる。

そこで本実験では、 図 5.1の時と同じパラメータを使い 「$1$」と「$-1$」の比率が1:1の時、素子数を半分、または2倍にすると学習成功パターン数にどのような違いが出るか調べることにした。