カオスニューラルネットに未知パターンを学習させることのできる逐次学習法は、 従来の相関学習に比べ効率良く学習できることが過去の研究より分かっている。 しかし、学習を繰り返すと結合荷重が際限なく増加、あるいは減少する。 本研究では、結合荷重を規格化し、結合荷重の増加もしくは減少を制御する ことを試みた。
結合荷重を規格化する方法として、全結合荷重の絶対値の中で最大のものが、
標準最大値と呼ばれる を越えた時、
全結合荷重の絶対値の最大値が
と等しくなるように、
全ての結合荷重を等倍するという方法を行なった。
はじめに、26個の大文字アルファベットを表した7×7のパターンを学習させたところ、 40セット終了の時点で標準最大値を18以上でなければ すべてのパターンを学習することができなかった。 また、標準最大値が小さければ小さいほど、学習成功数は減少した。 これより規格化することによって学習できる量が減少することが分かった。 さらに標準最大値を小さくとったものの、誤って想起したパターンを観察すると、 いくつかのパターンの中で良く似たパターンを想起していた。 これは、学習できるパターン数が減少しため、 同じようなパターンを何度も想起していると考えられる。
次に、小文字のアルファベットパターン26個を加え、 52個のパターンを40セット学習させたところ、 標準最大値を30以上でとったところで全てのパターンの学習に成功した。 多くのパターンを学習させようとすると、 標準最大値を大きくとる必要があることがわかる。
また、不応性係数 と標準最大値と関係を調べるため、
26個のアルファベットパターンを用いて、ネットワークに40セットの学習をさせた。
その結果、
を小さくすると、26個全てを覚えさせるための、
標準最大値は小さくてすむという結果が出た。
ただし、学習させるパターン数が少なければ、
はほとんど影響しない、
という結果であった。
逆に、多くのパターンを学習させる場合は、
の影響を大きく受け、
を小さくすれば標準最大値も
小さくできるということでもある。
これらの結果の原因を考えると、 ニューラルネットにおいて記憶は結合荷重に分散して格納されているため、 その値を規格化によって制限するということは、 記憶容量の制限をすることに直結したからだと考えられる。 不応性係数との関連性は、逐次学習法が、 相互結合項が、外部入力項と同じ符合で不応性項より大きな値になるまで 結合荷重を変化させるという方法をとっているためと考えられる。
以上の結果を元に、逐次学習法における結合荷重の規格化を
本研究の方法で行なうには、
学習させるパターン数に応じて適切な標準最大値
を定める必要があることがわかった。
また、必要に応じて不応性係数
を調整する必要があるといえる。
謝辞