実験結果・考察

学習の成功回数、収束回数、発散回数を 正弦波、方形波についてのグラフ化したものを図 5.7(a),(b)でそれぞれ示す。

図 5.7: 遅れ時間による諸回数の変化1

(a)正弦波

(b)方形波

グラフにおいて、まず成功数について着目をすると、 一番多く成功した時は遅れ時間が１の時、そして逆に失敗が多い遅れ時間は15であった。 遅れ時間が2から13においては多少ばらつきがあるが減少する傾向を示した。 また、両方の波形では14から15にかけての成功率の減少幅が大きい。 それぞれの遅れ時間に対して結合荷重の初期状態は全て同じ状態で与えているのに、 与えるデータが15の時に急に失敗しやすくなるのは非常に不思議である。 次に学習が失敗した時の収束回数と発散回数について評価を行う。 収束回数は遅れ時間を増やすと少なくなり、発散回数は逆に多くなっている。 遅れ時間が2から13にかけてはこの二つの回数の和は、ほぼ一定の値になった。 と言う事は、 2では収束したネットワークが13の時には発散しているのかもしれないという予想が生まれる。

これ解明すべく途中の出力結果を確かめて見たところ、成功する場合は遅れ時間を増加させた時でも成功する可能性が高かった。次に、失敗する場合について出力を確認すると、やはり予想通り失敗する場合は、遅れ時間が増加しても失敗をしており、収束したものが発散しているケースが多く見られた。これより、結合荷重の初期値によって学習の成功と失敗が大きく関係するということが分かる。

また、正弦波、方形波のどちらについても上記に説明した傾向が見られた。この二種類はニューラルネットの学習において特性が異なることは実験5.1や実験5.2で説明をしたが、本実験では殆ど同じ振る舞いをしていることが分かる。ここから考察するに遅れ学習における成功率、失敗収束率、発散率は波形に対して依存しないと言える。そのため、三角波や鋸波でも同様の結果になると考えられる。

　最後に実験の本題であった発散回数がなぜ遅れ時間を増加されると増加傾向であるかを考察する。キーとなるのは、誤差伝播の大きさではないかと考えられる。遅れ時間とは誤差伝播する回数のことを示しており、遅れ時間が大きくなると伝播誤差も大きくなる。そのため誤差が重なり合い結合荷重の変化が大きくなり、その結果発散してしまうのではないかと考えられる。