逐次学習

逐次学習法とは、浅川らが提案したカオスニューラルネットにおける学習法の一つで、 個々のニューロンが自身の内部状態から結合荷重を変化させるか否かの判定をし、追加学習を行う学習法である。[8] カオスニューロンの内部状態を表す外部入力の項、相互結合の項、不応性の項において、式(4.1)の条件式が成り立つとき、結合荷重を変化させる。

$$\xi_i \times (\eta_i + \zeta_i) <0$$ (4.1)

式(4.1)は相互結合の項と不応性の項の和と、 外部入力の項との積が正になるまで、結合荷重を変化させることで学習することを表している。

結合荷重は相互結合しているニューロンからの情報の重みであり、式(3.2)の相互結合の項にのみ影響を与える。 相互結合の項が外部入力の項と同じ符合になるように結合荷重を変化させることにより、 相互結合の項によりネットワークのエネルギーが極小値に向かおうとする作用と、 外部入力によって入力されたパターンに近付こうとする作用が同じように働き、 次に同じパターンが入力された時に素早く想起できるようになる。

式(4.1)が成立したときの結合荷重の変化はヘッブの学習則に従う。 $i$ 番目のニューロンの、$j$ 番目のニューロンからの出力に掛かる結合荷重 $w_{ij}$ の変化は式(4.2)で表される。

$$w_{ij}^{new}= \left\{ \begin{array}{@{\,}ll} w_{ij}^{old} ... ...[$ \xi_i(t) \times x_j(t-1) \le 0$]} \par \end{array} \right.$$ (4.2)

ここで $w_{ij}^{old}$ は変化前の結合荷重、$w_{ij}^{new}$ は変化後の結合荷重、 $\Delta w$ は結合荷重の変化量である。 $i$ 番目のニューロンの外部入力の項と $j$ 番目のニューロンの出力の積が正ならば、 結合荷重を $\Delta w$ だけ増加させ、負ならば減少させる。 変化前の結合荷重が正である場合、結合荷重を $\Delta w$ だけ増加させることで結合が強まり、減少させることで結合は弱まる。 これはニューロンの協調作用と競合作用にあたる。 変化前の結合荷重が負であれば、結合荷重を $\Delta w$ だけ増加させることで結合が弱まり、 減少させることで結合は強まる。このように結合荷重を少しずつ調整していくことで、入力パターンを学習していく。