システムが、環境からの入力に応じて自身の構造を作り変えていくのが学習である。 例えば、記憶も学習の一種であり、なんらかのきっかけが与えられると 過去の入力を再現できるように構造を変化させる過程である。
生物の神経系では、神経細胞間のシナプス結合の強さを変化させることによって 学習を行なっていると考えられている。 そのため神経回路網理論においては、学習といえば結合荷重をなんらかの アルゴリズムで変化させることを指す。
また本研究では、結合荷重を変化させる時にはそのシナプスの前後しかも、 できるだけ近い過去から現在までの情報だけしか用いないよういな学習を 考えることにする。 なぜならば生物の神経系において各細胞が、回路網全体の様子をみたり 非常に長い時間の情報を記憶する機構を学習のために持っているとは 考えられないからである。