next up previous contents
Next: 5.5.2 ノイズ耐性 Up: 5.5 実験結果および考察 Previous: 5.5 実験結果および考察

5.5.1 学習可能パターン数

学習が可能なパターン数を調べるため、大文字のAから順に子文字のa、大文字のBと大文字、子文字を交互に入力し、ノイズがない状態なら tex2html_wrap_inline1139 の確率で想起できるパターン数を調べた。局所的学習法の学習回数は各パターンにつき1000回である。

今後本研究で学習できたと表現されている場合は全て、ノイズがない状態なら tex2html_wrap_inline1139 想起できるものとする。

両学習法における学習できたパターン数には非常に大きな違いが出た。ホップフィールドネットの学習法ではわずか3個しか学習できなかったが、それに対し、局所的学習法では52個全てのパターンを学習することができた。学習個数にして17倍もの差である。

ホップフィールドネットの学習法では理論的には tex2html_wrap_inline1151 個(Nはニューロンの個数)より小さい個数、つまりここでは7個までなら学習できる。しかし、結果がそれをはるかに下回ったのは、今回の実験で使用したパターンがアルファベットのような各々のパターンの独自性が十分に保たれていないパターンであったためと考えられる。例えば、記憶できなくなった最初のパターンであるbは、Aa各々と約 tex2html_wrap_inline1163 の点が同一の出力となる。また、この学習法では結合荷重の変位は tex2html_wrap_inline1165 と大雑把であるため、各パターンを明確に区別することができなかったと考えられる。

局所的学習法ではホップフィールドの学習法と違い、結合荷重の変位は tex2html_wrap_inline1167 と、1/20の小ささであるため、入力パターンをより細かく学習できたと考えられる。また、入力パターンが3個の時の学習を完了するのに必要な最低学習回数は、1パターンにつき200回であったが、52個の時の最低学習回数は、1パターンにつき1000回であったことより、学習回数を任意で設定できるため、学習回数を増やすことでもまたパターンを学習できたとわかる。

次に局所的学習法において結合荷重の変位を変えることにより学習できるパターン数にどのような変化が生じるか調べた。

結合荷重の変位を±1、±0.25、±0.10、±0.05と4種類に設定し、学習回数を各パターン1000回一定で10個のパターンを学習させたところ、変位が±1では2個、±0.25では8個、0.10と0.05では10個全てのパターンが学習できた。

このことから結合荷重の変位の細かさを変えることにより学習できるパターン数の上限が上昇することがわかり、上記の考察が確認できた。

さらにその傾向を調べるため学習回数を各パターン200回一定とし、結合荷重の変位を±0.10、±0.05、±0.01の3種類に設定し52個全てのパターンを学習させいくつ学習できるか調べた。

すると学習できたパターン数は結合荷重の変位が±0.10では15個、±0.05では18個と変位が細かくなるほど上昇しているのに対し、一番細かい±0.01では逆に学習できたパターン数は13個に減少した。

これは結合荷重の変位を細かくとることにより結合荷重の違いが多く生じ、よりパターンを明確に学習するが、逆に小さ過ぎると違いが多いがわかりにくくなりネットが入力パターンを想起しにくくなると考えられる。この違いを明確にするには学習回数を増やすことが方法として考えられるので、学習回数により結合荷重の変位には適当な値が存在するといえる。

5.3は52個のパターンを学習させた時、 学習回数に対して学習できたパターン数がどうなるか調べたものである。 横軸の学習回数は各パターンを各々50回学習させたものを1セットとし、 最大20セット、つまり1パターンにつき最大1000回学習させたことを意味する。

   figure327
図 5.3: 学習回数に対する学習可能個数

学習できたパターンの数は学習回数に比例しているが、40個を越えたところから徐々に学習速度が鈍り、50個を越えたところでは学習がほとんど進まず52個に到達している。

このことから学習回数がどれだけ増えてもそれ以上新しいパターンを学習できない限界があることが容易に推察できる。

以上のことを踏まえれば、学習できるパターン数の限界は結合荷重の変位の細かさ、学習回数、学習させるパターンの各独自性、そして当然ニューロンが増えればパターンが細かく学習できるのでニューラルネットのニューロン総数の4つのパラメータによって決定されるものと考えられる。

学習できるパターン数を増やそうと思った時に、この4つのパラメータの内、ネット構築者が任意に変更できるのは結合荷重の変位の細かさと学習回数だけである。

それは以下のような理由からである。

今回の実験では入力パターンを任意に作成したが、入力されるパターンはどんなものであっても学習できなければならないので当然決めることができない。

ニューラルネットのニューロン総数は入力パターンの形状によって決定されるため変更できない。また仮にニューロン総数を増やす方法をとった場合、ニューロンをN倍に増やすと結合荷重の総数は tex2html_wrap_inline1259 倍で増加するため取り扱うデータが膨大な量(今回使用したニューロン総数49個のネットの結合荷重は2401個にもおよぶ)になりあまり現実的ではない。

結合荷重の変位を細かくする場合はデータ量に変化が全くないので効果的ではあるが、ある程度以上細かくしようと思うと上述したように学習回数を増やさなければ逆にマイナスとなる。

学習回数を増やす場合は処理時間が多少長くなるがデータ量は全く増えないのでネット構築者がとり得る方法としては一番効果的である。

相関行列による一意的なホップフィールドネットの学習法に比べ、局所的な学習法は学習回数を任意に設定できるという点、結合荷重の変位を任意に設定できるという点から非常に優れた学習法であるといえる。



Deguchi Toshinori
1999年03月23日 (火) 16時14分02秒 JST