逐次学習

逐次学習法とは浅川らが提案した連想記憶を実現する学習法で、 個々のニューロンが自分自身の内部状態により結合荷重を変化させるかどうかの判定を行ない、追加学習を行なう学習法である。 この学習法は、既知のものが入力されれば想起し、未知のものが入力されれば学習を行なうというものである[4]。

逐次学習は式(3.4) 、式(3.5)、式(3.6)で示したカオスニューロンの内部状態を表す三つの項で表すことができる。 外部入力の項$\xi_i$、相互結合の項$\eta_i$、不応性の項$\zeta_i$において、 その条件式は式 (4.1) で表される。

$$\xi_i \times (\eta_i + \zeta_i) <0$$ (4.1)

この条件式により、相互結合の項と不応性の項の和と外部入力の項との積が負の時に、積が正になるまで結合荷重を変化することで学習することを表している。

結合荷重は相互結合しているニューロンからの情報の重みであり、式(3.3)の相互結合の項のみに影響を与える。 相互結合の項が外部入力の項と同じ符合になるように結合荷重を変化させることにより、 相互結合の項によりネットワークのエネルギーが極小値に向かおうとする作用と、 外部入力によって入力されたパターンに近付こうとする作用が同じように働き、 次に同じパターンが入力された時に素早く想起できるようになる。 また、式 (4.1)が成立し、結合荷重が変化しなくなっても、 しばらく時間が経つと相互結合の項と反対の符合を持つ不応性の項が大きくなってくる。 それにより、不応性の項が相互結合の項より大きくなると、 学習の条件式が成立ち、相互結合の項が不応性の項の大きさを越えるように 再び学習が始まる。 これを繰り返すことによってネットワークは学習を進めていく。

式 (4.1) が成り立つとヘッブの原理に従って結合荷重を変化させる。 $i$ 番目のニューロンの $j$ 番目のニューロンからの 出力に掛かる結合荷重 $w_{ij}$ の変化は式(4.2) で表される。

$$w_{ij}^{new}= \left\{ \begin{array}{@{\,}ll} w_{ij}^{old} ... ...[$ \xi_i(t) \times x_j(t-1) \le 0$]} \par \end{array} \right.$$ (4.2)

$i$ 番目のニューロンの外部入力の項と$j$ 番目のニューロンの出力の積が、 正であれば結合荷重値を $+\Delta w$ する。 また負であれば $-\Delta w$ する。 結合荷重が正の場合、 $+\Delta w$ することで結合を強め、$i$ 番目のニューロンの出力を自分の出力と一致させるように重みを変更することで、協調作用を強める。 逆に結合荷重が負の場合であれば、 $+\Delta w$ することで結合を弱め、$i$ 番目のニューロンの出力を、自分と異なる方向にしようとするように重みを変更することで、競合作用を強める。 これを繰り返していくことで、ネットワークの結合荷重を少しずつ変化させ、入力パターンを少しずつ学習していく。