next up previous
Next: 4. まとめ Up: 内部記憶を持つニューラルネットワークによる時系列の学習 Previous: 2. 学習方法

3. 実験結果及び考察

本研究では学習させる時系列として「チューリップ」という曲を用いた. 初めに図2のそのままの形状のネットワークに学習を行なわせると 出力の誤差は間違った量子化をしない範囲には収まらない. これは結合荷重に与える教師信号の影響が少ないためであると思われる. そこで内部記憶層にも教師信号を与え出力を安定させた上で, 内部記憶層をフィードバックさせてさらに学習を進めてみた. この場合出力値が安定しているために学習は成功した. しかし教師信号を少なくできるという利点に反するために 有効な学習法とはいえない. 次に学習の補助をするために過去の音符を与える素子を設けた上で, 教師信号を与えて学習させることにした. この時の各素子の個数は入力層に2個, 過去7音に関する長さ,高さを入力する補助入力層に14個, 中間層に50個,内部記憶層に40個とする. このネットワークで学習した結果, 誤差は量子化で誤差を生じない程度まで十分小さくなったので, 学習できたといえる. このことより教師信号を増やすことで, 内部記憶層を持つネットワークの学習を成功させることができることがわかる. 次に学習が成功した場合の内部記憶素子がどのような値を持っているかを調べた. ここで使用した手法としては, 個々の値ではなく時間的性質を調べるために相関関数を用いた. 但し,結果のグラフはその形状を見比べるために 最大値が1.0, 最小値が0.0となるように値を変換したものであるため, 相関関数の結果そのものではない.

初めに各素子の時間的変動について自己相関を求めた結果, 40個の素子のうち7番目の素子のものが図3のようになった. また,音の高さに関する教師信号についても自己相関関数を求め比較してみた. この結果より内部記憶素子と教師信号の相関の形状が似ているということがいえる. 完全に一致しない理由としては, 別の教師信号の値も影響を及ぼしているからであると思われる. 以上の結果から内部記憶素子の時間的変動は 教師信号の値に影響して作り出されているといえる.

時間的変動が近いものになっているということを確かめるために, 教師信号と内部記憶素子の出力値の時間的変動に対して相互相関関数を求め, 最も酷似している状態を求めてみる. 相互相関関数の値が最も大きい点が一番形状が似ている時間であるため, その時間だけ内部記憶層の結果をずらしてみた. 結果は図4のようになり, 内部記憶層の時間的変動が教師信号に近いということがわかる. 従って内部記憶層は時間的にずれが生じるが, 教師信号に沿った値を取り込んでいるといえる.

   figure58
図 3: 内部記憶素子の出力値の自己相関

   figure65
図 4: 時間的にずらした結果



Deguchi Toshinori
Thu May 16 12:34:03 JST 2002