next up previous contents
Next: ニューロンとニューラルネットワーク Up: makino Previous: 目次   目次

序論

人間の脳が持つ学習能力・記憶能力は現在の計算機でも 実現することのできない優れた処理能力を持っている。 ニューラルネットワークは人間の脳を疑似的に再現したもので、 これを用いた音声や文字認識などの研究が広く行なわれている。

ニューラルネットワークは1943年に発表された McCullochとPittsの神経回路網理論が起源である。 彼らはニューロンの機能や動作についてモデル化を行なった。 1949年にはHebbがニューロンの情報入力部分にあるシナプス結合において、 その結合強度がニューロンの興奮によって強まるという変化則を示し、 その結合強度の強弱こそが脳内における情報の分散的な記憶の本質であると 提案した。

その二つの提案を受けて1958年、Rosenblattは これらの原理に基づいてパターンを学習識別するパーセプトロンを提案した。 パーセプトロンは一時期能力の限界を厳しく評価されたために研究が停滞したが、 1986年にはRumelhartによって誤差逆伝播法(バックプロパゲーション) という多層パーセプトロンにおける学習アルゴリズムが発表され、 その後は再び盛んな研究が行なわれるようになった。[1] その利用方法の一つに時系列の認識・想起がある。 時系列の想起を行なう一つの手法として、 多層パーセプトロンである階層型のニューラルネットワークに対して データを入力すると次の時点でのデータを出力し、 それを次の入力にすることでさらに次の情報を出力させる、 これを繰り返すことで全時間の情報を想起するという手法がある。

このようなモデルを確立する一方で、生体ニューロンに対する研究も行われた。 そこにはカオスと呼ばれる決定論的非周期振動の振る舞いが観察され、 1990年には合原らがカオスニューロンモデルを発表した。 これにより、モデルの振る舞いはより実際の脳に近づくと期待された。

本研究では、カオスニューロンがもつ時間的加算の性質をうまく利用して、 バックプロパゲーションによる時系列データの学習を進めることにした。 しかしながら、カオスニューロンやバックプロパゲーションを利用するには パラメータを決定しなければならない。 このパラメータを決める手法として、遺伝的アルゴリズムが有効であるため[2]、 これを用いることにした。 さらに、これによる学習成功率の向上を中心として実験を進めることにした。 これにはニューラルネットワークの中間層にあるノード数が大きく関わると考え、 これを単純増加や遺伝的アルゴリズムを用いることで、 学習への影響を調べることにした。

時系列データとしては、正弦波と方形波を用いる。 方形波は、フーリエ級数展開した時の高調波をいくつ足し合わせるかで入力波形を変え、 様々な入力波形について学習成功率の実験を行う。 また、入力する波形や中間ノードの数によってどのような性質があるのかを考察・検討していく。



Deguchi Lab. 2012年3月9日