人間の脳では、複数の文字の形を覚えている状態で、少し形が崩れた文字を見せた場合に、その文字が何であるかというのを、脳内で記憶している文字の中から、最も近い文字と認識することができる。これを連想するという。この連想をするには、元の情報を脳に学習させる必要がある。 学習をするときに、人間の脳は何らかの変化が生じているはずである。 そのとき、脳内の神経細胞で情報が蓄えられるのはシナプスであり、学習とはシナプス結合の変化であると考えられている。これをシナプスの過塑性と呼ぶ。 シナプス過塑性に基づく学習則として、ヘッブの学習則がある。 へッブの学習則とは、あるニューロンとその出力が入力されている他のニューロンの二つが同時に発火した時、出力側から入力側へのシナプス結合が強まるというものである。 これをもとにニューロンが内部状態だけで学習を進めるかを判断する逐次学習法を用いてパターンの学習を行なう。