逐次学習法

逐次学習法とは、浅川によって提案されたカオスニューラルネットワークに対する学習方法であり、 個々のニューロンが自身の内部状態により結合荷重を変化させるかどうかの判定をし、追加学習を行なう。 また、逐次学習法は、前節で述べた連想記憶を実現する学習法である。 このネットワークでは、逐次的にパターンを入力していったときに、ニューロンは入力されたパターンが未知か既知であるかを判断し、学習を行うかを判断する。[8]

逐次学習は式(3.5)で示したカオスニューロン内部状態を表す三つの項である 外部入力の項 $\xi_i$、相互結合の項 $\eta_i$、不応性の項 $\zeta_i$ において、ある条件が満たされた時に学習を行なう学習である。 その条件式は式(4.1)で表される。

$$(\textmc{外部入力の項} \xi_i ) \textmc{×} ( \textmc{相互結合の項} \eta_i + \textmc{不応性の項} \zeta_i ) < 0$$ (10)

この条件式は、相互結合の項と不応性の項の和と外部入力の項との積が負の時に、 積が正になるまで結合荷重を変化することで学習することを表している。 ネットワークに既知パターンを入力したとき、相互結合の符号は外部入力の項と同じになる。このとき、相互結合によるネットワーク全体が極小点に向かおうとする力と、外部入力による入力パターンを出力しようとする力が同じ向きに働き、次に同じパターンが入力された時に素早くパターンが想起されるようになる。

未知パターンを入力したとき、相互結合の項の符号は全てのニューロンで外部入力と一致するわけではなく、学習条件(4.1)が成立する。結合荷重値の変化は、相互結合の項のみに影響を及ぼすので、相互結合の力の向きを正しくする。 また、ある程度時間が過ぎると外部入力の項と反対の符合を持つ不応性の項の値が大きくなっていく。それにより、不応性の項の絶対値が、外部入力の項の絶対値を越えると、再び条件式が成り立ち、外部入力の項の絶対値が不応性の項の絶対値を越えるように再び学習が始まる。これを繰り返すことにより学習をより強めていく。 学習条件に不応性の項が含まれるのは、相互結合の項の大きさが不応性項より小さい時も学習させ、記憶を深めるためである。 学習条件が成立したときの結合加重の変化はヘッブの学習則の原理に沿って以下のように表せる。

$$w_{ij}^{new}= \left\{ \begin{array}{@{\,}ll} w_{ij}^{old} ... ...mbox{[$ \xi_i(t)\times x_j(t-1) \le 0$]} \end{array} \right.$$ (11)

式(4.2)は$i$ 番目のニューロンの $j$ 番目のニューロンからの出力に掛かる結合荷重 $w_{ij}$ の変化である。 $\xi_{i}(t)\times{x_{j}}(t-1)>0$ であるとき、$i$番目のニューロンに出力させたい 値と$j$番目のニューロンの出力が同じ向きであるため、結合荷重値を $\mathit{\Delta} w$加算して、$j$番目のニューロンが$i$番目のニューロンの出力を、 自分の出力と一致させようとする働きを強める(協調作用)。 $\xi_{i}(t)\times{x_{j}}(t-1)\leq0$ であるとき、$i$番目のニューロンに 出力させたい値と$j$番目のニューロンの出力が逆の向きであるため、結合荷重値を $\mathit{\Delta} w$減算して、$j$番目のニューロンが$i$番目のニューロンの出力を、 自分と異なる方向にしようとする働きを強める(競合作用)。