人間の脳には140億を超える神経細胞（ニューロン）が存在していることが知られており、 これらニューロンがシナプス結合することにより大規模で複雑なネットワークを構成している。 ニューロンは単体が行なう活動は単純であるといわれている。 しかし、人間は学習した内容を素早く思い出すことができる。 さらに、視覚・聴覚・嗅覚・味覚・触覚といった五感を用いて外部から伝わるものを 瞬時に信号へと変換を行ない、脳内でこれらの情報を処理することができる。 これらの情報は体験として脳内に記憶されていき、素早く想起することが可能である。 これらの働きは脳内のニューロンのネットワークによるものであり、これらニューロンのネットワークを ニューラルネットワークという。 つまりニューラルネットワークは、優れた並列処理機構であるといえるだろう。 脳の想起や学習を始めとするこれらの働きは現在の電子計算機であるノイマン型コンピュータより遥かに優れている。[1]
このような脳の働きを、工学的にモデル化したニューロンで疑似的に再現しようというのがニューラルネットワークである。 効率的にモデル化されたニューラルネットの利用の幅は工学的に見ても とても幅広いものであるといえる。例えば、文字・音声・画像を認識し、柔軟な判断をすることができるようになる。 このような働きを行なうことが可能になるという事実は、大きな魅力である。
ニューラルネットの研究は、1940年から1960年にかけての脳に学ぶコンピュータ研究の第１次隆盛期ともいわれる時代に大きく動いた。 1943年にアメリカの外科医であるマッカロ(W.S.McCulloch)とアメリカの数学者であるピッツ(W.Pitts)の研究がその動きの始まりになった。
彼らは、ニューロンは興奮状態になると、出力側の軸索に対して１に量子化された電気パルス列の信号を出力し、 非興奮状態にある時は0に量子化された信号を出力すると考えた。 また、ニューロンには樹状突起がありそこに他のニューロンからの軸索が結合している。 この樹状突起から先ほどの信号を受けとる。
この結合部はシナプス結合と呼ばれる。 受けとった出力の総和がニューロンごとに決められたしきい値を越えると興奮し、 そのしきい値以下なら興奮しないと考え、ニューロンのモデル化を行なった。 彼らはシナプス結合の強さはすべて等しいと考えていたが、 後の研究者達はシナプス結合の強さはそれぞれ異なり、 その強さによった刺激が伝搬されると修正した。[2]
1949年にカナダの神経心理学者であるヘッブ(D.O.Hebb)は、ニューロンが興奮状態となり、 刺激を出力すると、その刺激を伝えたシナプス結合の強さは大きくなると考え、より刺激を伝えやすくなるという仮説を立てた。 この仮説によりニューロンが可塑性を持ち、認識や記憶のもとになっていると主張した。
1982年、神経回路網のダイナミクスの研究を行なっていた アメリカの物理学者であるホップフィールド(J.J.Hopfield)によって ホップフィールドのニューラルネットワークモデルが提案された。 彼は、ニューロンの発火のアルゴリズムと結合係数の組合わせが決められた神経回路網に、 適当に与えられた興奮パターンが安定には存在しえず変化していくとき、 それにつれて必ず減少していくエネルギー関数が定義できることを示した。 さらに、その関数の極小値に達するときパターンは安定になるという 神経回路網のダイナミクスを示した。 この極小値に対応するパターンを記憶パターンとすれば、 ネットワークは適当な刺激パターンから記憶パターンを想起する 連想記憶装置となる。
一方、生体としてのニューロンの研究も行なわれた。 ヤリイカの巨大軸索の実験などによってニューロンにはカオス的な反応が認められた。[3] それを受けて1990年、合原らがカオスニューロンモデルを発表した。 生体にはごく自然に存在するとされるカオスの要素を導入することで、ネットワークがより実際の脳の動作に近くなると期待された。
また、そのカオスニューロンで構成されているカオスニューラルネットワークの学習法として、逐次学習法が提案された。 逐次学習法とはヘッブの理論に基づき、まず互いのニューロンが同じ状態にあるときシナプス結合を強め、互いに異なる状態にあるときはシナプス結合を弱めるという動作を行なう。 そして個々のニューロンが自分自身の内部状態から入力されたパターンを既知であるか未知であるかの判断を行ない、追加学習を行なう学習法である。
逐次学習法において、入力のパターンの違いによって学習の結果は変化するはずである。本研究では、特に入力パターンの２値の比率が学習に何らかの影響を与えると考え、比率を細かく変化させてその学習結果の違いを調べる。また、素子数の増加による各比率の学習結果への影響も調べる。