生物の神経系において脳は過去の経験を記憶として蓄え、これを活用して処理を行なう。 さらに、自己の動作をより適切なものへと変化させていく。 このように自身の構造をより適切な状態に変化させる事を学習と呼ぶ。 脳は多数のニューロンからなるネットワークによって構成されているため、 脳の特性の変化とはニューロン間の相互結合の結合の強さを変換させる事で実現する。 結合の強さの変換というのは具体的には、結合を断ち切ったり、新しい結合を作成したりする事を指す。
このような脳の仕組みをプログラムとして実現させる。 ニューラルネットワークの学習というのは、 特定のアルゴリズムに基づきニューロン間の伝達係数である 結合荷重を変化させる事を指す。 学習を行なう上で学習の指針として、 ある入力に対して回路網が出力をするべき望ましい出力を外部から与えられるときがある。 この外部から与えられる信号を教師信号と呼ぶ。 学習は教師信号の有無によって 以下のように２種類に分類する事が可能である。