ニューラルネットワークとは、脳の基本素子であるニューロンなどが 数多く結合したものである。
ニューロン単体の機能はごく単純で、1つのニューロンの動作だけでは その能力は限られている。 しかし、これらのニューロンが集まって 互いに結合し合うことでパターン認識、パターン検出など 多様な機能を持ち反応を示すようになるわけである。
ニューロンは目的に応じて互いに結合するわけであるが、 これをネットワークとしてモデル化する場合、 その形態は次のように大きく2つに分けれる。
この2つのネットワークにおける大きな相違点は、 ニューラルネットワーク内部におけるフィードバック(帰還)の有無である。 つまり、ある1つのニューロンからの出力がいくつかのニューロンを伝わって、 再び元のニューロンへ入力として戻ってくるかどうかである。