next up previous contents
Next: 第4章 気温予測 Up: 第3章 ニューロンの学習 Previous: バックプロパゲーション [#nakano##1#]

3.4 カオスニューロンの学習

前節までは普通のニューロンを対象に述べてきたが、これをカオスニューロンにも適用してみる。

ここでのカオスニューロンのパラメータは tex2html_wrap_inline1261tex2html_wrap_inline1263tex2html_wrap_inline1193 であるが、 tex2html_wrap_inline1261tex2html_wrap_inline1263 については直接それらによる誤差関数の微分を求めてパラメータを変化させると、0〜1の範囲を越えてしまうおそれがある。 そこで、それぞれ tex2html_wrap_inline1339tex2html_wrap_inline1341 で表されるパラメータ tex2html_wrap_inline1343tex2html_wrap_inline1345 を設け、それで微分してみる。 関数 tex2html_wrap_inline1347 はシグモイド関数である。

すると、出力層のニューロン itex2html_wrap_inline1343 に対する誤差関数の微分は式(3.19) のようになる。

  equation296

これより tex2html_wrap_inline1343 を式(3.20) を使って変化させ、その後に式(3.21) によって tex2html_wrap_inline1261 を求めるわけである。 ここで、定数 B はパラメータの移動する速さを示す。

  equation313

  equation318

tex2html_wrap_inline1345 についても同様に、それに対する誤差関数の微分を式(3.22)で求める。 tex2html_wrap_inline1345 を式(3.23) で変化させた後、式(3.24) によって tex2html_wrap_inline1263 を求める。

  equation324

  equation339

  equation344

最後は tex2html_wrap_inline1193 についてであるが、これはそのまま tex2html_wrap_inline1193 に対して誤差関数の微分を求める。 それを式(3.25) に示す。

  equation348

これを用いて、式(3.26) によって tex2html_wrap_inline1193 を変化させる。

  equation360

このとき、 tex2html_wrap_inline1193 は負にはなりえないので、もし tex2html_wrap_inline1193 が0より小さくなれば、それを強制的に0とする。

これらの学習式を見ると tex2html_wrap_inline1261 については、単位時間前の tex2html_wrap_inline1237 が大きいときに、現在の誤差情報 tex2html_wrap_inline1379 が正方向に大きくなると tex2html_wrap_inline1261 の値を減らそうとし、負方向に大きくなると逆に値を増やそうとすることが分かる。 tex2html_wrap_inline1379 は式(3.18) より、ニューロンの出力が相対的に教師信号より大きくなったときに正となる。 つまり tex2html_wrap_inline1237 が大きいときに、続いて tex2html_wrap_inline1235 も大きくなっているのに教師信号は小さい場合などに、 tex2html_wrap_inline1261 を減らすことによって過去の情報の影響を少なくしようとするわけである。 逆にこのとき教師信号がさらに大きいならば、 tex2html_wrap_inline1261 を増やすことによって過去の情報の影響を大きくしようとするわけである。 これらのことから、 tex2html_wrap_inline1261 は現在の出力を次にも維持しようとする働きの大きさを示すものであろうと考えられる。 それは tex2html_wrap_inline1263 についても同様に考えられる。

逆に tex2html_wrap_inline1193 については、単位時間前の tex2html_wrap_inline1247 が大きいときに tex2html_wrap_inline1379 が大きくなると(すなわち相対的に教師信号が小さくなると) tex2html_wrap_inline1193 の値を増やそうとする。 tex2html_wrap_inline1193 が大きくなれば不応性が大きくなるので、次の単位時間後の出力 tex2html_wrap_inline1259 は抑えられるようになる。 そして、更に次の単位時間後の出力 tex2html_wrap_inline1409 は再び大きくなるわけである。 つまり、 tex2html_wrap_inline1193 が大きくなることによって出力の変動が激しくなるので、 tex2html_wrap_inline1193 は出力を変動させようとする働きの大きさを示すものであろうと考えられる。

性質の異なるこれら tex2html_wrap_inline1261tex2html_wrap_inline1263tex2html_wrap_inline1193 のバランスによって、様々な反応を示すわけである。



Deguchi Toshinori
Thu Mar 4 14:22:36 JST 1999