生物の神経系においては、神経細胞間の重み(シナプス荷重)を変化させることによって学習を行っていると考えられている。 そのため、神経回路網理論においては、学習と言えばシナプス荷重を何らかのアルゴリズムで変化させることを指す。
ここでは、シナプス荷重を変化させるときにはそのシナプスの前後のしかもできるだけ近い過去から現在までの情報(空間的、時間的に局所的かつ因果律を満たす情報)だけしか用いないような学習を取り扱うことにする。 なぜなら生物の神経系において各細胞が、回路網全体の様子を見たり非常に長い時間の情報を記憶する機構を学習のために持っているとは考えられないからである。
例えば、ヘッブの仮説はこの条件を満たす学習法則の1つである。 このような学習では、現在までの入力信号を表の形ですべて覚えておいて、それらから最適なシナプス荷重を計算するといった方法は使えず、各時刻の入力を用いてシナプス荷重を逐次行進していくという形で学習をすることになる。 神経回路網の入力と出力に注目すれば、学習とは入力と出力の関係を変化させることであるが、逐次的な学習によって作られる回路網の構造(シナプス荷重)は環境の性質(入力信号の性質)に依存し、同じ入出力関係を持つ回路網を学習によって作ろうとしても環境によっては違う構造になる。 生物の神経系の特徴の1つに、環境に対する適応性が高いということがあるので、このように回路網の構造が外部からの入力信号の性質を反映することが重要である。
意味のある学習をするためには、それに応じた何らかの機構が必要である。 学習の指針として、ある入力にたいして回路網が出力すべき望ましい出力が外部から与えられる場合、これを教師信号と呼ぶ。 学習は、次のように教師信号の有無で2つに分類することができる。
(##159>