ニューロンを機能面から研究するという試みは、1943年マカロックと ピッツ(McCulloch, Pitts)がニューロンを情報処理素子としてとらえ、モデルを 提案したことに始まる。 実際のニューロンは、興奮すると出力側に多くの電気パルス列を送り出すが、 興奮していないときはほとんど出さない。 彼らは、この電気パルスは1と0に量子化された信号を別のニューロンに送るものと 考え、興奮状態に送り出される信号を1、非興奮状態に送り出される信号を0とした。 そして、受けとった刺激の総和がしきい値を越えたとき興奮し、越えなければ 興奮しない。 彼らのモデルでは、伝わる刺激の大きさは1か0しかなかったが、後にシナプス結合の 大きさにより刺激の大きさが変わるように修正された。
1949年にヘッブ(Hebb)は、ニューロンが興奮すると、入力部のシナプス結合のうち、 刺激を伝えたものは結合強度が増加し、さらに刺激が伝えやすくなるという説を 唱えた。 そして、これがネットワークに過塑性をもたらし、認識や記憶のもとになっている と主張した。 これは、ヘッブの学習則と呼ばれ、多くのニューラルネットワークモデルにおいて、 学習の原理として採用されている。
物理学の分野では、1970年代後半からカオスと呼ばれる、決定論的非周期振動の 重要性が認識されるようになり、盛んに研究がされるようになった。 合原らはヤリイカの巨大軸索にカオス現象が生じることを示し、カオスニューロン モデルを提案した。
本研究では、カオスニューラルネットの学習法として、逐次学習法を用いる。 逐次学習法とは、本研究室で提案された学習法であり、個々のニューロンが自身の 内部状態から、入力パターンが既知であるか未知であるかを判断し、学習するかを 決める。 入力パターンが未知の場合、ヘッブの学習則に基づき結合荷重値を変化させる。 この結合荷重値変化方法は、結合しているニューロンが同時に発火した時、結合を 強め、どちらかのみ発火した時は結合を弱めるものである。
逐次学習法では、従来多く用いられてきた学習法である相関学習法に比べ、 ニューロン数あたりに記憶できるパターン数がはるかに多い。 本研究では、この原因を未知パターンの学習時に、既に学習済みのパターンの学習に よってできた結合荷重値を利用していること、結合荷重値のとる値が多いために、 パターン間の干渉をうまく避けられることと予想した。
そこで、各パターンを入力中の結合荷重値の変化分が、入力パターンを記憶しているか どうかを調べる。 各パターンを入力中の結合荷重値の変化分が入力パターンを正しく記憶していない のに、その重ね合わせである結合荷重値が全てのパターンを記憶していれば、 パターンを想起する際に、既に学習済みのパターンの学習によってできた 結合荷重値を利用していることになる。
また、過去の研究結果で、結合荷重値の値の数を量子化処理によって減らしても、 記憶しているパターン数は変化しないという結果が出ていたが、この理由を 学習セット数が量子化に耐え得るだけ多かったためと考え、学習セット数と 量子化後に記憶しているパターン数の関係を調べる。 量子化後に記憶しているパターン数が減少すれば、結合荷重値の値のとる数が多い ことが、多くのパターンを記憶できる原因であるといえる。