前節までは普通のニューロンを対象に述べてきたが、これをカオスニューロンにも適用してみる。
ここでのカオスニューロンのパラメータは 、
、
であるが、
、
については直接それらによる誤差関数の微分を求めてパラメータを変化させると、0〜1の範囲を越えてしまうおそれがある。
そこで、それぞれ
、
で表されるパラメータ
、
を設け、それで微分してみる。
関数
はシグモイド関数である。
すると、出力層のニューロン i の に対する誤差関数の微分は式(3.19) のようになる。
これより を式(3.20) を使って変化させ、その後に式(3.21) によって
を求めるわけである。
ここで、定数 B はパラメータの移動する速さを示す。
についても同様に、それに対する誤差関数の微分を式(3.22)で求める。
を式(3.23) で変化させた後、式(3.24) によって
を求める。
最後は についてであるが、これはそのまま
に対して誤差関数の微分を求める。
それを式(3.25) に示す。
これを用いて、式(3.26) によって を変化させる。
このとき、 は負にはなりえないので、もし
が0より小さくなれば、それを強制的に0とする。
これらの学習式を見ると については、単位時間前の
が大きいときに、現在の誤差情報
が正方向に大きくなると
の値を減らそうとし、負方向に大きくなると逆に値を増やそうとすることが分かる。
は式(3.18) より、ニューロンの出力が相対的に教師信号より大きくなったときに正となる。
つまり
が大きいときに、続いて
も大きくなっているのに教師信号は小さい場合などに、
を減らすことによって過去の情報の影響を少なくしようとするわけである。
逆にこのとき教師信号がさらに大きいならば、
を増やすことによって過去の情報の影響を大きくしようとするわけである。
これらのことから、
は現在の出力を次にも維持しようとする働きの大きさを示すものであろうと考えられる。
それは
についても同様に考えられる。
逆に については、単位時間前の
が大きいときに
が大きくなると(すなわち相対的に教師信号が小さくなると)
の値を増やそうとする。
が大きくなれば不応性が大きくなるので、次の単位時間後の出力
は抑えられるようになる。
そして、更に次の単位時間後の出力
は再び大きくなるわけである。
つまり、
が大きくなることによって出力の変動が激しくなるので、
は出力を変動させようとする働きの大きさを示すものであろうと考えられる。
性質の異なるこれら 、
、
のバランスによって、様々な反応を示すわけである。