逐次学習法

逐次学習法とは、浅川らによって提案されたカオスニューラルネットワークに対する学習方法であり、自己相関型連想記憶を実現させる[7]。 逐次学習法では、個々のニューロンが自身の内部状態により結合荷重を変化させるかどうかの判定をし、必要であればヘッブの学習則に基づいて追加学習を行なう。 ヘッブの学習則とは、ニューロンAの発火がニューロンBを発火させると2つのニューロンの結合加重を増やす、という法則である。 一般的にニューラルネットワークにおける連想記憶を実現する為の学習には、相関学習法が用いられている。 二つの学習法を比較すると、相関学習法では学習する時全てのニューロンが一様に学習をしている事になり、学習できる速度が速いが学習できるパターン数が少ない。 逐次学習法では一つ一つのニューロンが自分の内部状態から学習するか否かを判断し、学習できるパターン数が多いが学習速度が遅い。 この学習できるパターン数が多いのは、過去様々な研究がされてきたが正確な理由は判明していない。 考えられるとすると個々のニューロンが無駄な動きをしないため、各パターンにうまく対応出来るからであると思われる。

逐次学習法では、式(2.6)で示したカオスニューロン内部状態を表す三つの項、 すなわち外部入力の項 $\xi_i$ 、相互結合の項 $\eta_i$ 、不応性の項 $\zeta_i$ において、 式(3.1) が満たされた時学習を行なう。

$$(\textmc{外部入力の項} \xi_i ) \textmc{×} ( \textmc{相互結合の項} \eta_i + \textmc{不応性の項} \zeta_i ) < 0$$ (3.1)

この条件式は、相互結合の項と不応性の項の和と外部入力の項との積が負の時に、積が正になるまで学習することを表している。 つまり、不応性の影響を除けば、外部入力の項と相互結合の項の符号が同じになることで、入力パターンを想起しやすくしている、ということになる。 そして、それを繰り返す事で学習をより進める。 不応性の項は相互結合の項と、異符号なので、不応性の値に応じて相互結合の項は絶対値が大きくなる。 相互結合の項の絶対値が大きくなる事で、パターンを忘れにくくするという効果がある。

結合加重を変化させるにあたり、$i$ 番目のニューロンの $j$ 番目のニューロンからの 出力に掛かる結合荷重 $w_{ij}$ の変化は式(3.2) で表される。

$$w_{ij}^{new}= \left\{ \begin{array}{@{ }ll} w_{ij}^{old} + \Delt... ...old} - \Delta w &\mbox{[$ \xi_i(t) \times x_j(t-1) \le 0$]} \end{array} \right.$$ (3.2)

ここで変化前の結合加重は $w_{ij}^{old}$ であり、変化後の結合加重は $w_{ij}^{new}$ である。$\Delta w$ は結合加重の変化量である。

$\xi_{i}(t)\times{x_{j}}(t-1)>0$ であるとき、$i$ 番目のニューロンの外部入力と$j$ 番目のニューロンの出力が同じ向きである。 そこで、変化前の結合加重 $w_{ij}^{old}$ に、結合荷重の変化量 $\mathit{\Delta} w$ を加算する。 すると、$i$ 番目のニューロンの外部入力と同符号である$j$ 番目のニューロンの出力の値を増やす事が出来る。 $\xi_{i}(t)\times{x_{j}}(t-1)\leq0$ であるとき、$i$ 番目のニューロンの外部入力と$j$ 番目のニューロンの出力が逆の向きである。 そこで、変化前の結合加重 $w_{ij}^{old}$ を結合荷重の変化量の $\mathit{\Delta} w$ を減算する。 すると、$i$ 番目のニューロンの外部入力と異符号である$j$ 番目のニューロンの出力の値を増やす事が出来る。 この動作を繰り返す事で、相互結合の項が外部入力の項と同符号になり学習条件式にあてはまらなくなる。