本研究で使用する、 内部記憶を持つニューラルネットワークについて説明する。
図4.2のような内部記憶を持つニューラルネットワークは リカレントネットワークの一種である。 普通の階層型との大きな違いは、 出力層の出力の一部が 入力層の入力の一部に戻っている点である。
リカレントネットワークとは、非対象でフィードバックを持つ ネットワークのことである。 リカレントネットワークでは、ある時点での細胞の状態変化は、ネットワーク内をめぐって後々まで後段の細胞の状態に影響を及ぼすので、 厳密な意味での最急降下学習則は、フィードフォワードネットのように単純には求められない。 ネットワークの非対象性やフィードバックを持つネットワークは、 現在の出力が現在の入力だけではなく、 過去の入力で決定されたネットワークの興奮状態にも依存するようになる。 したがって、 入力の時系列パターンを識別することや、 自律的に時空間的なパターンを発生するためには、 非対象性やフィードバックがなければならない。
