生物の神経系においては、 神経細胞間の重み(シナプス荷重)を変化させることによって学習を行っている と考えられている。そのため、神経回路網理論においては、 学習と言えばシナプス荷重を何らかのアルゴリズムで変化させることを指す。
ここでは、シナプス荷重を変化させるときにはそのシナプスの前後のしかも できるだけ近い過去から現在までの情報(空間的、時間的に局所的かつ 因果律を満たす情報)だけしか用いないような学習を取り扱うことにする。 なぜなら生物の神経系において各細胞が、回路網全体の様子を見たり非常に長い 時間の情報を記憶する機構を学習のために持っているとは考えられないからである。
例えば、ヘッブの仮説はこの条件を満たす学習法則の1つである。 このような学習では、現在までの入力信号を表の形ですべて覚えておいて、 それらから最適なシナプス荷重を計算するといった方法は使えず、 各時刻の入力を用いてシナプス荷重を逐次行進していくという形で 学習をすることになる。 神経回路網の入力と出力に注目すれば、 学習とは入力と出力の関係を変化させることであるが、 逐次的な学習によって作られる回路網の構造(シナプス荷重)は環境の性質 (入力信号の性質)に依存し、同じ入出力関係を持つ回路網を学習によって 作ろうとしても環境によっては違う構造になる。生物の神経系の特徴の1つに、 環境に対する適応性が高いということがあるので、 このように回路網の構造が外部からの入力信号の性質を反映することが重要である。
意味のある学習をするためには、それに応じた何らかの機構が必要である。 学習の指針として、ある入力にたいして回路網が出力すべき望ましい出力が 外部から与えられる場合、これを教師信号と呼ぶ。 学習は、次のように教師信号の有無で2つに分類することができる。
(1)は、学習のための特別な信号が外部から与えられない場合の学習で、 回路網は学習によって環境の性質を取り入れる。 入力信号の統計的性質、例えば入力パターンの出現頻度など信号源の構造を取り込んで 回路網の構造に反映させる。これは教師なし学習とよばれる。
(2)は、入力に対して回路網が出力すべき``望ましい''出力が 外部から与えられる場合の学習である。 このときの外部からの信号が教師信号であり、 回路網の出力を教師信号に近づけるような学習が教師あり学習と呼ばれるものである [5]。 教師あり学習の代表的なものに、後で述べるバックプロパゲーション学習がある。