実験結果・考察

実験の結果で遅れ時間-平均誤差特性を図 5.3(a)〜(d)で、 遅れ時間-最大誤差特性を図 5.4(a)〜(d)で示す。 (a)〜(d)まで正弦波、三角波、方形波、鋸波の順に記した。

図 5.4: 遅れ時間-平均誤差特性

(a)正弦波

(b)三角波

(c)方形波

(d)鋸波

図 5.5: 遅れ時間-最大誤差特性

(a)正弦波

(b)三角波

(c)方形波

(d)鋸波

図より、遅れ時間によって出力される値が安定しない事が分かる。 また、内部記憶のあるニューラルネットの遅れ時間-平均誤差特性は、フィードバックのあるニューラルネットワークのように曲線にはならなかった。 学習回数による平均誤差の変化については、正弦波、三角波ははっきりとは分からないが、 10万回学習しているものが一番誤差の大きさが小さい場合が比較的多いことが分かる。 図 5.4(c),(d)の方形波と鋸波について、学習回数が$10^5$回の時が一番、平均誤差が低いと言う事が視覚的にはっきりと分かる。 そのため、方形波、鋸波は学習回数が大きくなると誤差が小さくなる傾向が顕著に出ていると言える。 次に平均誤差と最大誤差の比較を行なう。 例として図 5.5(a)の方形波の出力をみると、 学習回数が最も多い$10^5$回で遅れ時間1のときの平均誤差は$0.04$くらいである。 しかし、図 5.4(a)では同様の条件下の最大誤差は$0.15$である。 最大が0.15のとき平均が0.04になるためには、0近傍に誤差値が多く分布しなければならない。 これより、学習が成功している場合（平均誤差が$0.01$未満）の場合が多いかもしれないという可能性が生じる。 これを検証すべく、方形波の途中出力の一部を表 5.1として表示する。 学習回数が$10^5$回における遅れ時間が1、8、15のときを抜粋して記載する。 本実験は結合荷重の初期状態を変えて複数回の実験を行なっているため、1回目の実験結果を1回目の段に示してある。表では1回目 $\sim$10回目の結果まで表示している。 表から分かる事として、求めた平均誤差の値にすべてが近い数値ではないと言う事である。 平均をとると平均誤差が0.01以上、即ち学習は失敗したという結果であった。しかし、表を見ると0.01未満の数値が存在しているため、全てが失敗でなく、学習を成功した場合があることが分かる。 しかし、遅れ時間1でいう３回目や遅れ時間5でいう2回目、4回目での数値が 大きく平均値に影響を与えているため、平均を取ると学習失敗という結果になった。 また、ある値に収束しているのではなく、誤差の値が発散している場合もみられる。 しかし、今回の実験では平均誤差が10以上の場合は除外するため平均値には影響を与えなかった。 以上より同じデータをネットワークに与えたのに、学習結果が成功する場合、ある値に収束する場合、発散する場合の３パターンが出現した。 過去の研究のデータ [7]によると、内部記憶のあるニューラルネットワークの特性は、使用するデータ数と波形に依存するという結果であった。しかし、この結果から結合荷重の初期値によっても出力のパターンが変化するということが分かる。

また、遅れ時間を増やしていくと次の２つの特性が見えてきた。

1つ目は、発散をする回数である。 表 5.1より遅れ時間が1の時は0回、 遅れ時間が8の時は2回、遅れ時間が15の時は3回である。 ここから、遅れ時間が増加をすると発散をする可能性が高くなるという事が言える。 この表の結果は三角波の一部であるが、すべての遅れ時間においてこの傾向は確認する事ができた。 さらに、三角波ではなく正弦波、方形波、鋸波の他の波形でも同様の性質が確認できた。 しかしながら、今回の実験では、結合荷重が乱数で割り振っているため、 偶然の産物によりこの実験の結果が生じた可能性があるため、 この発散回数についてはさらに 5.3節で実験を行い、再度検証を行う。

２つ目は学習成功時における誤差の大きさである。 表 5.1において学習の成功時における平均誤差を調べてみると、 遅れ時間1では0.002766、遅れ時間8では、0.002148、遅れ時間15では0.001055と 遅れ時間が大きい方が、平均誤差が小さくなっている事が分かった。 同一の学習回数において これも他の遅れ時間や波形において遅れ時間増加による成功時の平均誤差減少傾向がみられた。 なぜ、このようなに収束速度に変化が生じたのかを考察を行なう。 遅れ時間を大きくする事によって、一度の学習に使用するデータ数と、伝播回数が増加する。 本実験で使用した学習法では伝播誤差をそのままの大きさで伝播している。 これにより、学習する上でその分誤差の情報が大きいため、 大きく結合荷重の更新を行なう事が出来る。 よって最適な状態への収束の速度が上昇したのではないかと考えられる。

表 5.1: プログラムの途中出力

n回目	平均誤差	最大誤差
1	0.009264	0.003289
2	0.001348	0.003012
3	0.204502	0.458294
4	0.039036	0.336075
5	0.066462	0.490944
6	0.001754	0.003892
7	0.064039	0.379186
8	0.001545	0.003452
9	0.001406	0.003142
10	0.001284	0.002868

(a)遅れ時間　1

n回目	平均誤差	最大誤差
1	0.000205	0.000414
2	0.105886	0.668060
3	0.094625	0.639446
4	0.104709	0.669165
5	nan	nan
6	0.000165	0.000347
7	nan	nan
8	0.072217	0.422175
9	0.006074	0.009144
10	0.025635	0.060033

(b)遅れ時間　8

n回目	平均誤差	最大誤差
1	nan	nan
2	0.001007	0.002245
3	0.001141	0.002545
4	nan	nan
5	0.000497	0.001114
6	nan	nan
7	0.059005	0.423465
8	0.001507	0.003392
9	0.001125	0.002509
10	0.099151	0.219573

(c)遅れ時間　15

波形別の特性をみるために図 5.6(a)〜(b)で それぞれの波形について平均誤差と最大誤差を示す。 まず、波形に着目をすると正弦波と三角波は非常に近い波の形状をしている。 これは5.1で実験でもあったように、 この2つの波形はニューラルネットワークにおいて近い性質を示している事が分かる。 鋸波は平均誤差は上記の波形に近い出力が得られているが、 最大誤差が比較をする大きいということは、分散が大きいと考えられる。 ということは正弦波、三角波よりは広い範囲で誤差が分布しているという事である。 方形波は、今回使用した中で一番学習をしにくい波形である事が分かる。 最後に全実験5.1と比較をする。 まず、遅れ時間による誤差の変化について触れる。 遅れ時間を大きくする事は一度で使用する教師信号を増やすという事である。 実験5.1では一度に使用する教師信号（フィードバック数）を多くすると必ず誤差が小さくなった。 しかし遅れ時間を増加させると必ず誤差が0に収束する方向に変化する訳ではないという事が判明した。 また、方形波について着目をすると、 実験5.1では教師信号が周期の半分程度ないと学習を成功する事はない事に対し 内部記憶がある場合では、遅れ時間が1であるときも学習が成功したパターンが存在した。 これは、遅れ時間が1でも半周期分のデータを学習している事を示していると分かる。 なぜこのような結果になるかを考察すると エルマンネットや内部記憶のあるニューラルネットワークの理論で述べたように 内部記憶層によって、過去学習をした情報が保存されているからである。 そのため、学習に使用されるデータ数が少なくても時系列の学習が出来ると考えられる。

図 5.6: 10万回学習における各波形の誤差

(a)平均誤差

(b)最大誤差