next up previous contents
Next: 参考文献 Up: 無題 Previous: 不応性係数 と標準最大値

結論

カオスニューラルネットに未知パターンを学習させることのできる逐次学習法は、 従来の相関学習に比べ効率良く学習できることが過去の研究より分かっている。 しかし、学習を繰り返すと結合荷重が際限なく増加、あるいは減少する。 本研究では、結合荷重を規格化し、結合荷重の増加もしくは減少を制御する ことを試みた。

結合荷重を規格化する方法として、全結合荷重の絶対値の中で最大のものが、 標準最大値と呼ばれる tex2html_wrap_inline1316 を越えた時、 全結合荷重の絶対値の最大値が tex2html_wrap_inline1316 と等しくなるように、 全ての結合荷重を等倍するという方法を行なった。

はじめに、26個の大文字アルファベットを表した7×7のパターンを学習させたところ、 40セット終了の時点で標準最大値を18以上でなければ すべてのパターンを学習することができなかった。 また、標準最大値が小さければ小さいほど、学習成功数は減少した。 これより規格化することによって学習できる量が減少することが分かった。 さらに標準最大値を小さくとったものの、誤って想起したパターンを観察すると、 いくつかのパターンの中で良く似たパターンを想起していた。 これは、学習できるパターン数が減少しため、 同じようなパターンを何度も想起していると考えられる。

次に、小文字のアルファベットパターン26個を加え、 52個のパターンを40セット学習させたところ、 標準最大値を30以上でとったところで全てのパターンの学習に成功した。 多くのパターンを学習させようとすると、 標準最大値を大きくとる必要があることがわかる。

また、不応性係数 tex2html_wrap_inline1088 と標準最大値と関係を調べるため、 26個のアルファベットパターンを用いて、ネットワークに40セットの学習をさせた。 その結果、 tex2html_wrap_inline1088 を小さくすると、26個全てを覚えさせるための、 標準最大値は小さくてすむという結果が出た。 ただし、学習させるパターン数が少なければ、 tex2html_wrap_inline1088 はほとんど影響しない、 という結果であった。 逆に、多くのパターンを学習させる場合は、 tex2html_wrap_inline1088 の影響を大きく受け、 tex2html_wrap_inline1088 を小さくすれば標準最大値も 小さくできるということでもある。

これらの結果の原因を考えると、 ニューラルネットにおいて記憶は結合荷重に分散して格納されているため、 その値を規格化によって制限するということは、 記憶容量の制限をすることに直結したからだと考えられる。 不応性係数との関連性は、逐次学習法が、 相互結合項が、外部入力項と同じ符合で不応性項より大きな値になるまで 結合荷重を変化させるという方法をとっているためと考えられる。

以上の結果を元に、逐次学習法における結合荷重の規格化を 本研究の方法で行なうには、 学習させるパターン数に応じて適切な標準最大値 tex2html_wrap_inline1316 を定める必要があることがわかった。 また、必要に応じて不応性係数 tex2html_wrap_inline1088 を調整する必要があるといえる。

謝辞

最後に本研究を進めるに当たり、一年間を通して多大な御指導を賜わりました 出口利憲先生に深く感謝するとともに、同研究室において助言をいただいた 専攻科の酒井哲平氏、今村豊治氏、 また同研究室においてともに学んだ石原直幸氏、加藤寛氏、田口裕章氏、豊吉隆一郎氏 に厚く御礼を申し上げます。



Toshinori DEGUCHI
2004年 3月17日 水曜日 10時27分17秒 JST