next up previous contents
Next: 4.3 学習2−同じパターンの連続入力に対応 Up: 第4章 周期パターンの検出 Previous: 4.1 実験概要

4.2 学習1

前章で述べたバックプロパゲーションを応用したカオスニューロンの学習法を用いる場合、 学習のさせ方としては、ある入力パターンを入れたときにそれに対する教師信号を 与えるだけである。教師信号は入力パターンから自動的に決まるので、入力パターンを 与える順番のみがネットワークの持つ機能を決定することになる。

まず初めに学習1として図 4.4 に示すパターン列を与えてニューラル ネットを学習させた。同図では、左から順にパターンを入力していることを示す。 また上から順に、入力したパターン、出力層のニューロン1に対する教師信号、 ニューロン1の実際の出力、同じく出力層のニューロン2に対する教師信号、 ニューロン2の実際の出力を示している。また、教師信号では黒く塗りつぶした 四角は1であることを示し、白抜きの四角は0であることを示す。実際の ニューロン出力においては 0.5以上となった場合を1と認定して黒く塗り、0.5未満の場合を 0と認定して白抜きにしてある。入力パターンを示す文字の上に tex2html_wrap_inline1500 がある 場合は、そのパターンの反転パターンを入力したことを示す。

   figure388
図 4.4: 学習1で用いたパターン列

このパターン列は X-T-W または S-C-F を順に入力し、それ以外のパターンが少し 入力されたらどちらのニューロンも発火しないという観点で作られたものである。 図 4.4 には 32個の入力を 1回として、これを 1000回行なった後の ニューロンの反応を示している。これより、ほぼ完全に教師信号に追従していることが 分かる。1回分での平均誤差は 0.0227 となった。

   figure397
図 4.5: 学習1のランダム入力に対する反応

しかし、これによってネットワークが周期パターンを覚えたかというと、そうではない ことが図 4.5 によって分かる。これは、入力としてランダムな順番に パターンを与えたものである。かろうじて教師信号の発火している付近でニューロン の発火が多くなる傾向が見られるものの、これでは周期パターンを学習しているとは いえない。

実際のネットワークが学習している傾向を見ると、単に X,T,W が多く現れる部分では ニューロン1が多く発火しており、S,C,F が多く現れる部分ではニューロン2が多く 発火していることが分かる。X,T,W または S,C,F の順番には関係なく、同じ文字が 続いても逆順になっていても検出している。

上段の左から 15番目に T が入力されたとき、発火しなければならないところが発火 していない。それは、W,X,T と入力される前に S,C が多く入力されていたからで あると考えられる。また、下段の左から 6番目に W が入力されたときに発火しているが、 それは周期パターン1の系列の入力が続いてから 5番目である。仮に、周期パターンの 順番には関係なく系列によって出力が決まるように学習しているとすれば、3番目に 発火するはずであるので、このように発火が遅れているのは、同じ理由でそれより 前に S,C,F が多く入力されていたからであると考えられる。 つまり、少なくとも五つ以上前の影響は受けていると考えられる。



Deguchi Toshinori
1998年04月01日 (水) 12時03分23秒 JST