3.3 カオスニューロンの学習

前節までは普通のニューロンを対象に述べてきたが、これをカオスニューロンにも 適用してみる。

ここでのカオスニューロンのパラメータは 、 、 であるが、 、 については直接それらによる誤差関数の微分を求めてパラメータを 変化させると、０〜１の範囲を越えてしまうおそれがある。そこで、 それぞれ 、 で表される パラメータ 、 を設け、それで微分してみる。 関数 はシグモイド関数である。

すると、出力層のニューロン i の に対する誤差関数の微分は 式 (3.9) のようになる。

 

これより を式 (3.10) を使って変化させ、その後に 式 (3.11) によって を求めるわけである。 ここで、定数 b はパラメータの移動する速さを示す。

 

 

についても同様に、それに対する誤差関数の微分を式 (3.12) で求める。 を式 (3.13) で変化させた後、式 (3.14) に よって を求める。

 

 

 

最後は についてであるが、これはそのまま に対して誤差関数の 微分を求める。それを式 (3.15) に示す。

 

これを用いて、式 (3.16) によって を変化させる。

 

このとき、 は負にはなりえないので、もし が０より小さくなれば、 それを強制的に０とする。

これらの学習式を見ると については、単位時間前の が大きいときに、 現在の誤差情報 が正方向に大きくなると の値を減らそうとし、 負方向に大きくなると逆に値を増やそうとすることが分かる。 は 式 (3.3) より、ニューロンの出力が相対的に教師信号より大きく なったときに正となる。つまり が大きいときに、続いて も 大きくなっているのに教師信号は小さい場合などに、 を減らすことによって 過去の情報の影響を少なくしようとするわけである。逆にこのとき教師信号がさらに大きい ならば、 を増やすことによって過去の情報の影響を大きくしようとするわけである。 これらのことから、 は現在の出力を次にも維持しようとする働きの大きさを 示すものであろうと考えられる。それは についても同様に考えられる。

逆に については、単位時間前の が大きいときに が 大きくなると（すなわち相対的に教師信号が小さくなると） の値を増やそうと する。 が大きくなれば不応性が大きくなるので、次の単位時間後の 出力 は抑えられるようになる。そして、更に次の単位時間後の 出力 は再び大きくなるわけである。 つまり、 が大きくなることによって出力の変動が激しくなるので、 は出力を変動させようとする働きの大きさを示すものであろうと考えられる。

性質の異なるこれら 、 、 のバランスによって、様々な反応を 示すわけである。