補助入力層のように教師信号を直接与えるのではなく 文脈層と内部記憶層を併用したネットワークで学習を行なわせてみた. この時の素子数は中間層と文脈層が30個，内部記憶層が20個である. その結果誤差の特性は図 6.8 のようになり 誤差は十分小さくならず学習が成功したとはいえない. この理由としては文脈層と内部記憶層を併用しても 一つ前の情報しか利用できず， フレーズの判断が困難になっているからであると考えられる. また，内部記憶層での結果より誤差が大きくなっているのは 入力の数が多く文脈層の出力も安定しないために， 結果としてネットワーク全体の出力値が安定しないからであると思われる.
図 6.8: 文脈層を付加したネットワークでの学習回数 - 誤差特性
そこで文脈層に補助入力層を加えたネットワークで学習させた結果， 学習が成功し補助入力層での過去の情報が2音と， 補助入力層のみで学習が成功した場合の7音と比べて少なくできた. つまり文脈層を併用することによって多くの過去の情報を得ることができ， 学習の成功には過去の情報を与えることが必要であるといえる.