Elmanのネットワークのように過去の情報を直接利用した場合，
同じ周期を数回繰り返した後に別の周期の情報が現れるような
時系列を学習させることが困難であるとされている.
これは過去の情報だけでは同じ周期から別の周期に移るのか
再び同じ周期を繰り返すのかという判別ができないからである.
そこで文脈層にも結合荷重を持たせることとし，
これを内部記憶層と呼称する.
結合荷重を持たせることによって
教師信号の変化によって結合荷重が変化し，
その出力値が変化するために
時系列を学習させやすい.
また素子数が必ずしも中間層と同じである必要がない.
例えば中間層の素子数を m ，内部記憶層の素子数を n とすると，
中間層への入力の際の計算回数は
内部記憶層の場合は 
回，
文脈層の場合は 
回となる.
次に中間層から出力層への計算は
文脈層は直接一対一の関係でフィードバックしているので m 回
内部記憶層は結合荷重による計算を行なうので 回となる.
これらの関係から，
となる.この条件を満たすような場合に 内部記憶層を持ったネットワークの方が計算が速くなる.
以上の特性を持つ素子を図 3.2 のように組み合わせた 内部記憶を持つニューラルネットワークは リカレントネットワークの一種で， 普通の階層型との大きな違いは， 内部記憶層部分があるために 出力層の出力の一部が入力層の入力の一部に戻っている点である.
リカレントネットワークとは， 相互結合型のように結合の仕方が対称になっているネットワークとは異なり， 結合状態が非対称でフィードバックを持つネットワークのことである. ネットワークの非対称性やフィードバックを持つネットワークは， 現在の出力が現在の入力だけではなく， 過去の入力で決定されたネットワークの状態にも依存するようになる. したがって， 入力の時系列パターンを識別することや， 自律的に時空間的なパターンを発生するためには， 非対称性やフィードバックがなければならない.
