バックプロパゲーションは、1986年にラメルハート（Rumelhart）らが提案した階層型の構造をしたニューラルネットワークの教師つき学習法である。 中間層のないパーセプトロンでは、線形分離不可能な問題の学習は難しいとされていた。 しかし、単純パーセプトロンのように、中間層の結合強度がランダムでは、中間層に必要な素子数は非常に大きくなる。 このランダム変換回路は、素子数を増やす代わりに多層にすることによってその線形分離能力を上げることができる。 そこで、ある程度現実的な数の中間層素子に積極的に学習をさせ、それぞれの問題に必要な変換回路を中間層に形成することが必要となる。
まず、バックプロパゲーションの基本となるデルタルールについて述べる。