next up previous contents
Next: 結論 Up: 実験結果 Previous: ネットワークに学習させるパターンを増やす

セット数を減らす

ネットワークの結合を非対称から対称に置き換えた時、 非対称時に比べ学習効率が良いという現象が見られた。 このことについてより詳しく調べようと思い、学習セットを5セットまで減らし、 学習の様子を調べた。 ニューロンのパラメータ、学習回数は、40セット時と同じとする。 5セット終了時の学習個数は表 6.3 である。 またセットごとの学習個数は図 6.7 ある。

 

 
結合荷重に加えた処理 学習成功数
無処理時 20
5セット後平均 24
5セット後絶対値の大きい方 21
5セット後絶対値の小さい方 16
1セットごと平均 20
1セットごと絶対値の大きい方 21
1セットごと絶対値の小さい方 15
1文字ごと平均 23
1文字ごと絶対値の大きい方 4
1文字ごと絶対値の小さい方 3
表 6.3: 5セット目での学習個数

   figure393
図 6.7: セット数を減らした時の学習成功数

非対称のネットワークに比べ学習が良かったネットワークは、 5セット終った後二つの結合荷重を平均し付け替えたネットワーク、 5セット終った後絶対値の大きいものに付け替えたネットワーク、 1セットごとに平均したネットワーク、 1セットごとに絶対値の大きいものに付け替えたネットワーク、 一文字ごとに平均したネットワーク、の5つである。

ネットワークが学習できなかったパターンと学習できていなかったニューロンの数は、 非対称のネットワークはFが1個、Hが8個、Mが8個、Nが1個、Oが1個、Pが1個、 5セット終った後二つの結合荷重を平均し付け替えたネットワークはFが1個、Mが1個 5セット終った後絶対値の大きいものに付け替えたネットワークFが1個、Hが1個、Mが8個、Nが1個、Wが5個、 1セットごとに平均したネットワークEが5個、Fが1個、Hが1個、Mが3個、Nが1個、Oが1個、 1セットごとに絶対値の大きいものに付け替えたネットワーク Eが4個、Fが1個、Hが1個、Mが5個、Nが1個 一文字ごとに平均したネットワーク Fが1個、Mが3個、Oが1個 となった。 これを見ると、結合荷重を対称にしたネットワークが学習できなかったパターンは、 非対称のネットワークが学習できなかったパターンに含まれているものが多いことがわかる。 非対称のネットワークが学習できなかったパターンは図 6.8 となる。

   figure402
図 6.8: 非対称ネットワークの学習失敗パターン

左からFHMNOPのパターンを想起させようとした時の結果である。 HMのパターンを想起させようとするとUのパターンを想起してしまっている。 しかし、Hのパターンは対称化したネットワークにおいては、学習してしまうか、 学習していなくても1つのニューロンの学習の失敗だけであった。 学習できなかったHのパターンはみな図 6.9 のパターンに収束した。

   figure411
図 6.9: Hの学習失敗パターン

このことにより、対称化することによって、Hパターンの学習が良くなったといえる。

また、40セット時には学習個数が悪かった 一文字ごとに絶対値の大きい方をとるネットワークは 1パターンしか学習できなかったが、セット数が少ない時は最大5文字まで学習している。 そこでセット数を1セットにして学習を行なってみた。 1セット目でこのネットワークが学習しているパターンはABCDHの 5パターンとネットワークに学習させるパターンとしては 始めの方に学習させたパターンである。 この時一番学習がよい1セットに結合荷重を平均したネットワークは、AHQSUXYZの7パターンで学習させるのが後の方のパターンが多かった。 他のネットワークも学習しているパターンは後に学習させた方のパターンが多かった。 絶対値の大きい方に結合荷重を付け替えるということは、 結合荷重をより大きく変化させようとする。 これにより、始めの方に学習させたパターンの学習は強められたが、 後の方に学習させたパターンの学習は弱められたと考えられる。

対称な結合を持つネットワークには、2.5 節で述べた特徴がある。 対称にすることによって学習能力が高まった理由は、この作用によるものではないかと考えられる。



Toshinori DEGUCHI
2003年 4月23日 水曜日 17時51分42秒 JST