逐次学習法

逐次学習法とは、浅川によって提案されたカオスニューラルネットワークに対する学習方法であり、 個々のニューロンが自身の内部状態により結合荷重を変化させるかどうかの判定をし、 追加学習を行なう学習法である。[8]

逐次学習は式(3.5) で示したカオスニューロン内部状態を表す三つの項、 外部入力の項 $\xi_i$、相互結合の項 $\eta_i$、不応性の項 $\zeta_i$ において、ある条件が満たされた時学習を行なう。 その条件式は式(4.1)で表される。

$$(\textmc{外部入力の項} \xi_i ) \textmc{×} ( \textmc{... ...�結合の項} \eta_i + \textmc{不応性の項} \zeta_i ) < 0$$ (4.1)

この条件式は、相互結合の項と不応性の項の和と外部入力の項との積が負の時に、 積が正になるまで結合荷重を変化することで学習することを表している。 積が正であるか負であるかをで判定できるようにするために、逐次学習法で用いるは出力関数は式(4.2)のものを使用する。

$$f(u)=\frac{2}{1+\exp({\frac{-u}{\epsilon}})}-1$$ (4.2)

結合荷重の変化は相互結合の項のみに影響を与える。 相互結合の項が外部入力の項の符合と同じになることにより、 相互結合の項によってネットワークのエネルギーが極小値に向かっていこうとする力と、 外部入力によって入力されたパターンに近付こうとする力が同じ方向に働く。 それにより同じパターンが入力された時すばやく想起できるようになる。 また、式 (4.1) が成立し、ある程度時間が過ぎると 外部入力の項と反対の符号を持つ不応性の項の値が大きくなっていく。 それにより、不応性の項の絶対値が、外部入力の項の絶対値を越えると、 再び条件式が成り立ち、外部入力の項の絶対値が不応性の項の絶対値を越えるように再び学習が始まる。 これを繰り返すことにより学習をより強めていく。

式 (4.1) が成り立つとヘッブの原理に沿って結合荷重を変化させる。 $i$ 番目のニューロンの $j$ 番目のニューロンからの 出力に掛かる結合荷重 $w_{ij}$ の変化は式(4.3) で表される。

$$w_{ij}^{new}= \left\{ \begin{array}{@{\,}ll} w_{ij}^{old} ... ... w &\mbox{[$ \xi_i(t) * x_j(t-1) \le 0$]} \end{array} \right.$$ (4.3)

$\xi_{i}(t)\times{x_{j}}(t-1)>0$ であるとき、$i$番目のニューロンに出力させたい 値と$j$番目のニューロンの出力が同じ向きであるため、結合荷重値を $\mathit {\Delta } w$分加算して、$j$番目のニューロンが$i$番目のニューロンの出力を、 自分の出力と一致させようとする働きを強める(協調作用)。 $\xi_{i}(t)\times{x_{j}}(t-1)\leq0$ であるとき、$i$番目のニューロンに 出力させたい値と$j$番目のニューロンの出力が逆の向きであるため、結合荷重値を $\mathit {\Delta } w$分減算して、$j$番目のニューロンが$i$番目のニューロンの出力を、 自分と異なる方向にしようとする働きを強める(競合作用)。