学習と適切な結合加重の変化量

学習させるパターンをカオスニューラルネットワークに入力する時に、まず一つのパターンを連続して入力し、次のパターンも連続して入力する。これを全ての入力パターンが終わるまで行なった時、1セットの学習が終了したとする。 本研究において各パターンを入力する回数を学習回数とし、セット数を学習セット回数とする。 また、ネットワークが学習を成功できたかどうかを確認するため同じ結合荷重の配分をもつホップフィールドモデルを用いる。 ここにパターンを入力し、出力パターンと同じであれば学習に成功したということになる。 ここで、入力パターン数とネットワークが学習したパターン数が同じである場合の学習を完全学習と呼び、 その時の学習したパターン数を完全学習数とする。[9]

本研究では、完全学習のもとで、引き込み領域をしらべることにする。また、本研究を進める上で、ネットワークに完全学習をさせる必要がある。 ネットワークに入力するパターンを1つずつ増やしていき、パターンが増えることでどのように引き込み領域が変化するのかを調べるにあたり、素子数における最大完全学習数を把握する必要がある。また、多くのパターンを学習するにあたり、適切な結合加重が大きな役割を果たしていると考えられている。 そこで、最大完全学習数と適切な結合加重の変化量についての研究である松野の研究[9]を引用し、結果をまとめることにする。

全ての素子数で共通に学習回数50回、学習セット回数100セットとして、50, 100, 200, 300, 400素子のネットワークを用いて、適切な結合加重の変化量を調べた結果を示す。この適切な結合加重の変化量とは完全学習できたときの値である。 図5.2は、素子数50のネットワークにおいて入力パターン数を増加させた時のネットワークが学習した最大パターン数の変化である。このグラフの横軸は入力パターン、縦軸は学習した最大パターン数をとっている。

図 5.2: 素子数50のネットワークにおける入力パターン数と学習した最大パターン数

図5.2の入力パターン数が45パターンを越える辺りまで傾きが1であることが分かる。 これは入力パターン数と学習したパターン数が等しいということであり、完全学習しているといえる。またこの点が最大完全学習数である。

そこで、次に完全学習をしなくなる学習パターン数の周辺のパターン数における $\mathit{\Delta} w$と学習したパターン数の関係を図5.3に示す。

図: 素子数50のネットワークにおける $\mathit{\Delta} w$と学習したパターン数

表5.2は、素子数ごとの適切な結合加重の変化量と最大完全学習数のグラフをまとめたものである。この結果より少ない素子数では結合加重の変化量に差があり、素子数が多くなると適切な結合加重の変化量は1つの値に収束することがわかる。 本研究ではこれらの素子数における適切な結合加重の変化量と最大完全学習数を用いて調べることとする。

表 5.2: 各素子数における最大完全学習数と適切な結合加重の変化量

素子数[個]	最大完全学習数[パターン]	適切な結合加重の変化量
50	47	0.015〜0.034
100	89	0.009〜0.012
200	184	0.005〜0.006
300	277	0.003
400	368	0.002