next up previous contents
Next: 実験背景 Up: 学習 Previous: ニューラルネットにおける学習

逐次学習法

  カオスニューラルネットで連想記憶をさせるための学習法の一つに、浅川らが提唱した逐次学習法がある。 これは個々のニューロンが自身の内部状態を元に結合荷重を変化させるか否かの判定を為し、追加学習を行う学習法で、ヘッブの学習則に基づいたこれは、従来の相関学習よりも効率が良いとされている。

式(3.5)で示したカオスニューロン内部状態を表す三つの項、即ち外部入力の項 tex2html_wrap_inline1364 、相互結合の項 tex2html_wrap_inline1366 、不応性の項 tex2html_wrap_inline1368 において、式(4.1)の条件が満たされた時に学習が為される。

  equation228

この条件式から、左辺の値が負の時に学習即ち結合荷重の変化が起こり、それは左辺が正になるまで続く事が判る。

結合荷重の変化は相互結合の項にのみ影響を与える。 相互結合の項が外部入力の項の符号と同じになることによって、ネットワークのエネルギーが極小値に向かおうとする力(相互結合の項に依存)と、入力されたパターンに近づこうとする力(外部入力の項に依存)が同じ方向に働き、次回同パターンの入力を受けた時に素早い想起が可能になる、つまり学習が成功したということである。

また、式(4.1)が成立した後ある程度の時間が経過すると、相互結合の項と反対の符号を有する不応性の項の値が大きくなって行く。 不応性の項の絶対値が相互結合の項の絶対値を超えると再び条件式が成り立つので、相互結合の項の絶対値が不応性の項の絶対値を超えるように再び学習が始まる。 これが繰り返され、学習はより強まることとなる。

式(4.1)が成り立つと、ヘッブの原理に沿って結合荷重が変化する。i番目のニューロンのj番目のニューロンからの出力に掛かる結合荷重 tex2html_wrap_inline1346 の変化は式(4.2)で表される。

  equation235

i番目のニューロンの外部入力項とj番目のニューロンの出力の積が正ならば結合荷重値を tex2html_wrap_inline1396 する。 また負なら tex2html_wrap_inline1398 する。 結合荷重が正であれば tex2html_wrap_inline1396 することで結合を強め、 tex2html_wrap_inline1398 することで結合を弱める。 逆に結合荷重が負であれば、 tex2html_wrap_inline1396 することで結合を弱め、 tex2html_wrap_inline1398 することで結合を強める。 これを繰り返し、ネットワークの結合荷重を少しずつ、ゆっくりと変化させることで、入力パターンを少しずつ学習して行く。



Toshinori DEGUCHI
2005年 4月 1日 金曜日 17時24分52秒 JST