序論

人間の脳には140億を超える神経細胞（ニューロン）が存在していることが知られている。 このニューロンがシナプス結合により複雑なネットワークを形成している。 これは、ニューラルネットワークと呼ばれる。 単体ではごく簡単な活動しか行わないニューロンだが、このネットワークを形成することにより記憶、想起といった作用を可能にしている。 生物が受けた外部からの刺激は瞬時に信号に変換され、脳内で情報として処理される。 処理を済ませた情報は、生物の体験として脳内に記憶されることにより、素早く想起することが可能となる。 このことからニューラルネットワークは高度な並列情報処理能力を有しているといえる。[1]

このような人間の脳の情報処理機構を模倣し、擬似的に再現することにより、工学的に応用できると考えられる。 ニューラルネットワークを工学的にモデル化することにより、幅広く利用することができる。 例えば、文字認識、音声認識などの柔軟な判断を必要とする処理を実現することができる。

1940年から1960年にかけて脳に学ぶコンピュータ研究が行われ、ニューラルネットワークに関する研究が進められた。 1943年にアメリカの外科医であるウォーレン・マカロック(Warren.Sturgis.McCulloch, 1899-1969)とアメリカの数学者であるウォルター・ピッツ(Walter.J.Pitts, 1923-1969)により、 ニューロンを情報処理素子としてとらえたマカロック・ピッツのモデルが提案された。 ニューロンは、興奮すると出力側に多くの電気パルス列を送り出し、 興奮していないときはほとんど出さない。 彼らは、ニューロンが興奮状態では1に量子化された信号が別のニューロンへと送り出され、非興奮状態では0に量子化された信号が送り出されるとした。 さらに、その信号をニューロンが受け取り、信号の総和が各ニューロンによって決められた閾値を超えたとき興奮し、閾値以下の場合は興奮しないとした。 彼らのモデルでは、シナプス結合の強さは全て等しいと考えた。 しかしその後の研究によりシナプス結合の強さはそれぞれ異なり、それにより伝わる刺激の大きさも変わると修正された。[2]

1949年にカナダの神経心理学者であるドナルド・ヘッブ(Donald.Olding.Hebb, 1904-1985)は、ニューロンが興奮状態となり、刺激を出力した場合、 その刺激を伝えたシナプス結合の強さは大きくなり、より刺激を伝えやすくなるという仮説を立てた。 この仮説によりネットワークが可塑性を持ち、認識や記憶のもとになっていると主張した。 これは、ヘッブの学習則と呼ばれ、多くのニューラルネットワークモデルにおいて、学習の原理として採用されている。

1982年、神経回路網のダイナミクスの研究を行なっていたアメリカの物理学者であるジョン・ホップフィールド(John.Joseph.Hopfield, 1933-)によって神経回路モデルが提案された。 彼は、ニューロンの発火アルゴリズムと結合係数の組が定められた神経回路網に与えられる興奮パターンが変化して行く場合において、 その変化に伴い減少して行くエネルギー関数が定義できるとした。 さらに、その関数の極小値に達するときパターンは安定になるという神経回路網のダイナミクスを示した。 この極小値に対応するパターンを記憶パターンとすれば、ネットワークは適当な刺激パターンから記憶パターンを想起することができる。

そして、生体としてのニューロンの研究も行われた。 1970年代後半になると、物理学の分野でカオスと呼ばれる決定論的非周期振動の重要性が認識され、 盛んに研究が行われるようになった。 1990年に合原らはヤリイカの巨大軸索にカオス現象が生じることを示し、カオスニューロンモデルを提案した。[3] 生体にはごく自然に存在するとされるカオスの要素を導入することで、ネットワークがより実際の脳の動作に近くなると期待された。

カオスニューロンによって構成されているネットワークをカオスニューラルネットワークという。 このカオスニューラルネットワークの学習法として、逐次学習法が提案された。 逐次学習法とは、ヘッブの理論に基づき、まず互いのニューロンが同じ状態にあるときシナプス結合を強め、 互いに異なる状態にあるときはシナプス結合を弱めるという動作を行なう。 そして個々のニューロンが自分自身の内部状態から入力されたパターンを既知であるか未知であるかの判断を行ない、追加学習を行なう学習法である。

これまでに、逐次学習をする際に使用する式の中の パラメータが学習結果にどのような影響を及ぼすかという研究がされてきた。 しかし、時間減衰定数についての研究はされてこなかった。 なお、時間減衰定数とは、カオスニューラルネットワークのパラメータである。 そこで近藤は入力パターンにノイズが発生していない場合には時間減衰定数を考えなくても学習結果に影響は無いのではないかと考え、研究を行った。 その結果、逐次学習を行う際、入力パターンにノイズが無く、かつカオスニューラルネットワークのパラメータの$\alpha$と $\mathit {\Delta } w$に適切な値を用いることで、時間減衰定数を$0$としても時間減衰定数を考える場合と同じ効率で学習が行えるということがわかった。[4]

近藤により$\alpha$と $\mathit {\Delta } w$が学習効率に影響を与えることが判明してはいるが、$\alpha$と $\mathit {\Delta } w$の適切な値については判明していない。 適切な値が判明することでカオスニューラルネットワークを最大効率で用いることができるようになると考えられる。