逐次学習法

2.1節にシナプス可塑性（シナプス結合荷重が変化し得る性質）が 「脳の記憶や学習という機能の実現の一端を負っていると考えられている」と書いた。 シナプス可塑性による「脳の記憶や学習という機能の実現」方法として、 心理学者のヘッブは1949年に自著``Organization of behavior''の中で 「ニューロンAからニューロンBへのシナプス荷重は、 ニューロンAとニューロンBが同時に発火するときに、増大する」 [7]という結合荷重の変化則（ヘッブの学習仮説）を提案した。

逐次学習法はへッブの学習仮説を応用した学習法であり、 浅川が参考文献 [3]で提案したものである。 逐次学習法では、ネットワーク中のあるニューロン$i$の外部入力項$\xi_i(t)$と、 $i$に対して結合しているニューロン$j$の出力$x_j(t-1)$が 同符号であれば結合荷重を増加させ、異符号であれば減少させる。 結合荷重の増加は結合荷重の符号が正（興奮性）であれば結合の強化を、 負（抑制性）であれば弱化を意味し、結合荷重の減少は結合荷重の符号が 正（興奮性）のとき結合の弱化を、負（抑制性）のとき強化を意味する。

一度に$\Delta w$だけ結合荷重を増加・減少させるとし、 変化前のニューロン$j$からニューロン$i$への結合荷重を ${w_{ij}}^{old}$、 変化後の結合荷重を ${w_{ij}}^{new}$と表すと、 逐次学習法の結合荷重の変化則は以下の式により表現される。 （なお、この$\Delta w$を「結合荷重の変化量」と呼ぶ。）

$${w_{ij}}^{new}= \left\{ \begin{array}{@{ }ll} {w_{ij}}^{... ... w &\mbox{[$ \xi_i(t)*x_j(t-1) \le 0$]} \end{array} \right.$$ (3.1)

ただしこの変化則は常に適用されるわけではなく 以下の条件式が成立するときのみ適用され、結合荷重を変化させる。

$$\xi_i(t) \times (\eta_i(t) + \zeta_i(t)) < 0$$ (3.2)

ネットワークに対する外部入力の列（パターン）が既知であるとき、 全てのニューロンにおいて外部入力項$\xi_i(t)$と相互結合項$\eta_i(t)$とは同符号となり 条件式(3.2)は成立しない。 一方、パターンが未知であるとき、 いくつかのニューロンにおいて外部入力項$\xi_i(t)$と相互結合項$\eta_i(t)$が異符号となり そのニューロンの結合荷重は式(3.1)に従い変化する。

また、条件式(3.2)において 相互結合項$\eta_i(t)$と不応性項$\zeta_i(t)$との和を用いているのは、 相互結合項$\eta_i(t)$の絶対値が不応性項$\zeta_i(t)$の絶対値よりも小さい場合にも 学習を行なうことでパターンの記憶をより強めるためである。

ところで3.1節に書いたように、 自己相関連想記憶のための学習法としては、逐次学習法のほかに相関学習法がある。 逐次学習法は上述の通り、パターンが入力されるたびにそれが既知か未知かを各素子が判定し 結合荷重の値を変えてゆくものであり、 相関学習法は、あらかじめ決められたパターン群から結合荷重値を算出する方法である。 逐次学習法は相関学習法と比較すると、計算に時間がかかる（計算量が大きい）一方で、 より多くのパターンを記憶できる。 （ちなみに、逐次学習法が相関学習法に比べて 多くパターンを記憶できるということの一因が、 逐次学習法では過去のパターンの学習による結合荷重値を 未知パターンの学習に利用していることにあるということが 参考文献 [5]によって明らかにされている。）