本研究で使用する、 内部記憶を持つニューラルネットワークについて説明する。
図2.5のような内部記憶を持つニューラルネットワークは リカレントネットワークの一種である。 普通の階層型との大きな違いは， 出力層の出力の一部が 入力層の入力の一部に戻っている点である。
リカレントネットワークとは，非対象でフィードバックを持つ ネットワークのことである。 ネットワークの非対象性やフィードバックを持つネットワークは， 現在の出力が現在の入力だけではなく， 過去の入力で決定されたネットワークの興奮状態にも依存するようになる。 したがって，入力の時系列パターンを識別することや， 自律的に時空間的なパターンを発生するためには， 非対象性やフィードバックがなければならない。
