コンピュータの記憶装置は基本的に番地付けされた記憶セルにプログラムやデータを格納する。 そして、取り出す際にはその番地を利用する。 一方脳においては神経細胞によって構築された神経回路網上に 分散、多重化して記憶する内容を蓄積されていると考えられている。 そして、取り出す際には記憶した一部分もしく関連する事柄から全体を思い出す。 そのため取り出す際に必要なてかがりには番地のように完全でなくとも、 曖昧さや不完全さが許容される事になる。 このように人間の脳は膨大な記憶情報を連想によって思い出す、検索するといわれている。 これを連想記憶と呼ぶ。
ニューラルネットワークにおける連想記憶とは、 複数個の入力パターンのうち１つを入力したときに、対応する出力パターンを出力するように 入出力パターンを記憶する事である。 この時入力したパターンを出力するような連想記憶を自己相関連想記憶と呼ぶ。 これは例えばノイズ等がのったパターン画像を入力した際、 記憶されている複数のパターン画像から入力されたパターンを出力することに相当する。 一方で入力したパターンに対して関連づけした出力をするような連想記憶を相互相関連想記憶と呼ぶ。 これは例えば「リンゴ」から「果物」を連想するように入出力の関係を記憶しておき、 与えられた入力（文字や画像）に対してふさわしい出力を出す事に相当する。
本研究で扱う逐次学習はこの自己相関連想記憶の学習方法である。