ニューラルネットワークとは、 ニューロンが互いに結合し 一つのネットワークとなったものである。 ニューロンは、いくつかの入力に重みを付け 加算し、1つの出力する素子として考えられている。 ニューロンの結合の仕方は大きく分けて、 ニューロンすべてが互いに結合しあった相互結合と、 ニューロンが各層に分かれており、その層ごとに結合している階層型とがある。 本研究では階層型のニューラルネットを取り扱う。
次に、内部記憶を持つニューラルネットワークについて説明する。 基本的には階層型ニューラルネットであるが、 出力層の出力の一部が入力層にフィードバックしているところが大きな違いである。 このループによりネットワークは内部情報を持つことなり、 通常の階層型ネットワークとは違う 情報の受渡し及び学習が期待できる。