逐次学習法

逐次学習法とは、カオスニューラルネットワークにおける学習方法の一つで、個々のニューロン が自分自身の内部状態により結合荷重を変化させるかどうかの判定を行い、追加学習を行う学習 方法である。この学習方法は、既知のものが入力されれば想起し、未知のものが入力されれば学 習を行うというものである。逐次学習は式(3.4)で示したカオスニューロンの内部状態を表す 3つの項、即ち、外部入力項$\xi_i$、相互結合項$\eta_i$、不応性項$\zeta_i$において、ある条件 が満たされた時のみ学習を行う。その条件式は式(4.1)で表される。

$$\xi_i ( \eta_i + \zeta_i ) < 0$$ (7)

この条件式は、相互結合項と不応性項の和と、外部入力項との積が負の時に、積が正になるまで 結合荷重を変化させることで学習することを表している。積が正であるか負であるかの判定をで きるようにするために、逐次学習方で用いる出力関数は、式(4.2)のものを使用する。

$$f(u)= \frac{2}{1+\exp(\frac{-u}{\epsilon})}-1$$ (8)

学習による結合荷重の変化は、相互結合の項にのみ影響を与える。未知のパターンを入力した時 、相互結合項の符号は全てのニューロンで外部入力と一致するわけではなく、学習条件式 (4.1)が成立する場合がある。結合荷重の値の変化は、相互結合項にのみ影響を及ぼすので 、相互結合の力の向きを正しくする。また、ある程度時間が経過すると、外部入力項と反対 の符号を持つ不応性項の値が大きくなっていく。それにより、不応性項の絶対値が外部入力項の 絶対値を超えると、再び条件式が成り立ち、外部入力項の絶対値が不応性項の絶対値を超えるよ うに再び学習が始まる。これを繰り返すことにより学習を強めていく。学習条件に不応性項が含 まれるのは、相互結合項の大きさが不応性項より小さい時も学習させ、記憶を深めるためである。

式(4.1)が成り立つということは、そのニューロンにとって入力が未知のものであるという ことである。逐次学習では、入力が未知のものであれば学習により結合荷重を変化させる。$i$番 目のニューロンの$j$番目のニューロンからの出力に掛かる結合荷重$w_{ij}$の変化は、式(4.3) で表される。

$$w_{ij}= \left\{ \begin{array}{ll} w_{ij} + \Delta w & (0 < \... ...\Delta w & (0 \geq \xi_i (t) * x_j (t-1)) \end{array} \right.$$ (9)

$\xi_i (t) * x_j (t - 1) > 0$である時、$i$番目のニューロンに出力させたい値と$j$番目のニューロンの出 力が同じ向きであるため、結合荷重を$\Delta w$分加算して、$j$番目のニューロンが$i$番目のニュー ロンの出力を、自分の出力と一致させようとする働きを強める。これを強調作用と呼ぶ。 $\xi_i (t) * x_j (t - 1) \le 0$である時、$i$番目のニューロンに出力させたい値と$j$番目のニューロンが逆向き であるため、結合荷重を$\Delta w$分減算して、$j$番目のニューロンが$i$番目のニューロンの出力を、自分 と異なる方向にしようと働きを強める。これを競合作用と呼ぶ。

なお、フィードバックはないため、$w_{ii}=0$である。[2]