時系列を学習させるネットワークとして， 一般的に図1のようなElmanのネットワークが知られている[1]. これは前の時間における中間層の値を次の時間の入力として直接フィードバックする 文脈層を持ったネットワークである.
一方，従来の階層型のニューラルネットワークに対して， 音符を入力すると次の時間の音符を出力するように学習させ， その出力をフィードバックして入力として用いることで さらに次の音符を出力させ， この繰り返しによって 一曲全てを出力させるという手法がある. その際にElmanのネットワークのように過去の値を そのまま利用する形では， 同じフレーズを繰り返す曲のような時系列の 学習は困難であるとされている. これは，同じフレーズが入力されると， ネットワークはそれぞれが違う時間におけるフレーズ であることを区別できないからである.
そこで本研究では， 図2のように文脈層にも結合加重による変化を与えた， 内部記憶層を用いたネットワークを提案する[2]. これによって同じ教師信号の値でも内部記憶の値によって違うものと認識させ， 複雑な時系列も学習できるようにした. この内部記憶層を用いることで教師信号を少なくでき， 教師信号によって結合加重が変化するために入力に沿った情報を持つようになり， 周期的な時系列を学習しやすいという利点が予測される.
