システムが、環境からの入力に応じて自身の構造を作り変えていく (自己組織化する)のが学習である[3]。 例えば、記憶も学習の一種であり、なんらかのきっかけが与えられると 過去の入力を再現できるように構造を変化させる過程である。 また、環境に適応するシステムは、その環境においてより良い動作の仕方を 学習しているということができる。
ヘッブ学習というのは、心理学者Hebbが、学習が生理学的にどのような形で 実現されるのか、それまでに明らかになっていた生理学的な知見をふまえ、 心理学的な現象を説明することを目的として、緻密な推測により導いた 仮説である。
Hebbの学習仮説は、「ニューロンAからニューロンBへのシナプス荷重は、 ニューロンAとニューロンBが同時に発火する時に増大する」というものである。
今回用いた逐次学習法ではこの仮説を応用し、 互いのニューロンが同じ状態にあるときには、 シナプス結合を強くし、違う状態にあるときにはシナプス結合を弱くする ようにしている。 ここでいう状態というのは、興奮状態と非興奮状態のことである。 興奮状態とはニューロンが発火した状態のことで、 非興奮状態とはニューロンが発火していない状態のことである。