ここで、前節に述べた回想モデルを用いて、本論文の主旨である時系列パターンの処理について考える。
サイクル状に記憶を行なうということは、そのサイクル内において信号の時系列を記憶できるということである。
回想モデルは、現在の入力のみを参照して次の状態を想起している。
このモデルは、全ての学習パターンが異なっている場合は正しい想起ができる。
しかし、学習したパターンの時系列に同一のパターンが含まれている場合には、
現在の状態から想起できる次の状態が複数あるため、正しい想起ができなくなることがある。
しかし、このようなときは、以前の状態から現在はどのサイクルに属しているか分かれば、次の状態が分かる。
例えば、図4.3で 
の場合は、
現在の状態が、 
から想起されたものか、 
から想起されたものかが分かれば、
次の状態が 
なのか、 
なのか分かる。
このように、以前の状態を記憶保持する層を設け、現在の状態と以前の状態を入力として、
その入力から出力を出すニューラルネットワークを構築した結果が、図5.1のモデルである。
図5.1では、記憶層の入力は出力層の出力であり、各層はそれぞれある時刻での出力に対し、 次の時刻ではサイクル内の次の出力パターンを出力する。 記憶層の初期値を、出力層の初期値の１つ前の状態として与えれば、常に出力層の状態は記憶層の状態の次の状態を示すようになる。 このときの荷重の決め方は以下の通りである。
記憶層の次の状態は、出力層が出力したパターンであり、記憶層が出力したパターンの次のパターンである。
すなわち、出力層から記憶層への荷重は
であり、
出力層から出力層への荷重 w は
と表せる。
同様に、記憶層から記憶層への荷重は
、
記憶層から出力層への荷重は
である。
