補助入力層を付加したネットワークによる学習

教師信号による情報を増やすために図 6.5 のように， 入力層の他に過去数音の情報を入力する補助入力層を用意し 学習を行なわせてみた. この補助入力層はその次の音を出力させるように教師信号を与え， 内部記憶層の結合荷重への影響を大きくする.

  
図 6.5: 補助入力層を付加したネットワーク

過去10音分の情報を与えた場合の学習回数-誤差の絶対値の特性は 図 6.6 のようになり， その大きさは補助入力層を用いない場合に比べて十分小さく， 量子化誤差が行なわれない程度にまで誤差が小さくなっている. この過去10音分の情報とは図 6.7 で示すだけの長さとなる. 学習成功に最低でも7音必要とする結果から， 前のフレーズ全てを必要とするわけではないが 多くの情報がないと判別ができないといえる.

補助入力層を用いることによって教師信号を増やし 内部記憶に与える影響を大きくすることで学習させることは可能であるが， 内部記憶層の持つ教師信号が少なくても学習できるという利点を 失うため有効ではないと考える.

  
図 6.6: 図6.5のネットワークでの学習回数 - 誤差特性

  
図 6.7: 過去10音の情報