生物の神経系においては,神経細胞間の重み(シナプス荷重)を 変化させることによって学習を行っていると考えられている。 そのため,神経回路網理論においては,学習と言えばシナプス荷重を 何らかのアルゴリズムで変化させることを指す。
ここでは,シナプス荷重を変化させるときにはそのシナプスの前後の, しかもできるだけ近い過去から現在までの情報 (空間的,時間的に局所的かつ因果律を満たす情報) だけしか用いないような学習を取り扱うことにする。 なぜなら生物の神経系において各細胞が, 回路網全体の様子を見たり非常に長い時間の情報を記憶する機構を 学習のために持っているとは考えられないからである。
例えば,ヘッブの仮説はこの条件を満たす学習法則の1つである。 ヘッブは 刺激を伝えたものは結合強度が増加し, さらに刺激が伝えやすくなるという仮説を主張した。 このような学習では,現在までの入力信号を表の形ですべて覚えておいて, それらから最適なシナプス荷重を計算するといった方法は使えず,各時刻の入力を用いてシナプス荷重を逐次更新していくという形で学習をすることになる。 神経回路網の入力と出力に注目すれば,学習とは入力と出力の関係を変化させること であるが,逐次的な学習によって作られる回路網の構造(シナプス荷重)は 環境の性質(入力信号の性質)に依存し,同じ入出力関係を持つ回路網を 学習によって作ろうとしても環境によっては違う構造になる。 生物の神経系の特徴の1つに,環境に対する適応性が高いということがあるので, このように回路網の構造が外部からの入力信号の性質を反映することが重要である。
意味のある学習をするためには,それに応じた何らかの機構が必要である。 学習の指針として,ある入力にたいして回路網が出力すべき望ましい出力が 外部から与えられる場合,これを教師信号と呼ぶ。 学習は,次のように教師信号の有無で2つに分類することができる。
(1)は,学習のための特別な信号が外部から与えられない場合の学習で, 回路網は学習によって環境の性質を取り入れる。 入力信号の統計的性質,例えば入力パターンの出現頻度など信号源の構造を 取り込んで回路網の構造に反映させる。これは教師なし学習とよばれる。
(2)の例として,代表的なものにパーセプトロンや, 後に述べるバックプロパゲーション学習法がある。 これらは,入力に対して回路網が出力すべき望ましい出力が 外部から与えられる場合の学習であり, 認識やパターン分類が回路網の主な働きであって, 望ましい出力(この場合は正しい認識結果)を 外部から与えることによって学習を進める。