内部記憶を持つニューラルネットワークの構造のもととなったのは 図3.1 に示すElmanのネットワーク[4]である。 このネットワークには文脈層とよばれる中間層の出力値をそのまま保持し， 次の学習における中間層へと入力する働きをする層がある。 この時，中間層と一対一の関係で保持するために文脈層の素子数は中間層と同じになる。 このように過去の情報を利用することと入力を多くすることによって時系列を学習させやすくすることができる。
図 3.1: Elmanのネットワーク
