逐次学習法

ホップフィールドネットにおける相関学習では、学習と想起が完全に分離している。 しかし、実際の学習では学習と想起は一体となっていると考えるのが普通である。 浅川らが提案した逐次学習法とは、個々のニューロンが自分自身の内部状態により結合荷重を変化させるかどうかの判定を行ない、追加学習を行なう学習法である [10,11]。 この学習法は、既知のものが入力されれば想起し、未知のものが入力されれば 学習を行なうというものである。

逐次学習は式(3.5) で示したカオスニューロンの内部状態を表す三つの項、すなわち外部入力の項$\xi_i$、相互結合の項$\eta_i$、不応性の項$\zeta_i$において、ある条件が満たされる時学習を行なう。 その条件式は式 (4.1) で表される。

$$\xi_i \times (\eta_i + \zeta_i) <0$$ (4.1)

この条件式により、相互結合の項と不応性の項の和と外部入力の項との積が負の時に、積が正になるまで結合荷重を変化することで学習することを表している。

ニューラルネットワークにおける学習とは、 一度入力されたパターンが次に入力された時に素早く想起できるように 結合荷重を変化させることである。 結合荷重は相互結合しているニューロンからの情報の重みであり、 式(3.4)の相互結合の項のみに影響を与える。 相互結合の項が外部入力の項と同じ符合になるように結合荷重を変化させることにより、 相互結合の項によりネットワークのエネルギーが極小値に向かおうとする作用と、 外部入力によって入力されたパターンに近付こうとする作用が同じように働き、 次に同じパターンが入力された時素早く想起できるようになる。 また、式 (4.1)が成立し、結合荷重が変化しなくなっても、 しばらく時間が経つと相互結合の項と反対の符合を持つ不応性の項が大きくなってくる。 それにより、不応性の項が相互結合の項より大きくなると、 学習の条件式が成立ち、相互結合の項が不応性の項の大きさを越えるように 再び学習が始まる。 これを繰り返すことによりネットワークは学習を進めていく。

式 (4.1) が成り立つとヘッブの原理に従って結合荷重を変化させる。 $i$ 番目のニューロンの $j$ 番目のニューロンからの 出力に掛かる結合荷重 $w_{ij}$ の変化は式(4.2) で表される。

$$w_{ij}^{new}= \left\{ \begin{array}{@{ }ll} w_{ij}^{old} ... ...mbox{[$ \xi_i(t) \times x_j(t-1) \le 0$]} \end{array} \right.$$ (4.2)

$i$ 番目のニューロンの外部入力の項と$j$ 番目のニューロンの出力の積が、正ならば結合荷重値を $+\Delta w$ する。また負なら $-\Delta w$ する。 結合荷重が正であれば $+\Delta w$ することで結合を強め、 $-\Delta w$ で結合を弱める。 逆に結合荷重が負であれば $+\Delta w$ することで結合を弱め、 $-\Delta w$ で結合を強める。 これを繰り返し、ネットワークの結合荷重を少しずつ変化させることで、入力パターンを少しずつ学習していく。

この学習法では個々のニューロンが独自に学習を行なうので 相関学習に見られた結合荷重の 対称性は見られなくなる。

また、学習条件が成立した時の結合荷重の変化量が ホップフィールドネットにおける結合荷重の変化量に比べ少ないという特徴がある。 この特徴により、結合荷重は相関学習での結合荷重に比べその 取り得る値の数が多くなる。