逐次学習法

逐次学習法とは、心理学者のヘッブの自著の中で提案した「ニューロンAからニューロンBへのシナプス荷重は、ニューロンAとニューロンBが同時に発火するときに増大する」というヘッブの学習仮説を応用した学習法である。これは浅川によって提案されたニューラルネットワークに対する学習法であり、前に示した一般的な連想記憶とは異なり、記銘過程と想起過程とを分離しない。逐次学習法では、ネットワークに逐次的にパターンを入力していき、ニューロンは入力されたパターンが未知か既知かを判断し、学習を行うかを決める。

この学習法では、個々のニューロンの内部状態が式(4.1)で表される学習条件を満たしている場合のみ、そのニューロンの結合荷重を変化させ学習を行う。

$$\xi_i(t) \times (\eta_i(t) + \zeta_i(t)) < 0$$ (11)

入力されたパターンが未知であるか既知であるかは、この学習条件で判断される。ネットワークに既知パターンを入力しようとしたとき、相互結合項の符号は外部入力の項と同じになる。このとき、相互結合項によるネットワーク全体が極小点に向かおうとする力と、外部入力項による入力パターンを出力しようとする力が同じ向きに働き、素早くパターンが想起される。一方、未知パターンが入力されたときは、相互結合項の符号は全てのニューロンで外部入力と一致するわけではなく、学習条件が成立する。結合荷重値の変化は、相互結合項のみに影響を及ぼし、相互結合の力の向きを正しくする。学習条件に不応性の項が含まれるのは、相互結合項の大きさが不応性項より小さいときも学習させ、記憶を深めるためである。

学習条件が成立したときには、一度に$\Delta w$だけ結合荷重を増加・減少させるとし、変化前のニューロン$j$からニューロン$i$への結合荷重を$w_{ij}^{old}$、変化後の結合荷重を$w_{ij}^{new}$と表すと、逐次学習法の結合荷重値の変化は次のようになる。なお、この$\Delta w$を「結合荷重の変化量」と呼ぶ。

$${w_{ij}}^{new} = \left\{ \begin{array}{@{\,}ll} {w_{ij}}^... ... w &\mbox{[$ \xi_i(t)*x_j(t-1) \leq 0$]} \end{array} \right.$$ (12)