ニューラルネットワークは、ニューロンがシナプスによって互いに結合し一つのネットワークとなったものあり、日本語で説明すれば神経細胞が結合した神経回路網ということになる。ニューラルネットワークはその結合の仕方から、大きく分けて二種類の型に分類することができる。一つは、図2.4相互結合型のネットワーク。もう一つは、図2.5階層型のネットワークである。
以下のこの二つの図において、矢印は結合の向きを表し、点線の囲みはそれが一つのまとまった層であることを表す。
相互結合型のネットワークでは、情報の流れは双方向的でニューロンは自分の出力を伝えた相手のニューロンからも情報を受けとることが許されている。このようなネットワークでは、自分の出力が別のニューロンを経て再び自分への入力として戻ってくること （フィードバック）があるのでネットワーク全体の挙動は複雑になる。
階層型のニューラルネットワークでは、ニューロン間の情報（信号）のながれは一方通行で、入力層のニューロンへの入力が決まれば、後は順番に隣接する層のニューロンへ情報が伝播していく。三層型のネットワークでは、ネットワークの入力が入力層の入力となり、入力層の出力が中間層への入力となり、中間層の出力が出力層への入力となり、出力層の出力がネットワークの出力となる。
