ニューラルネットワークはニューロンがシナプスによって互いに結合し、 一つのネットワークを構成したものであり、 日本語で説明すれば 神経細胞が結合した神経回路網ということになる。 ニューラルネットワークは、 その結合の仕方によって、 図2.4 の階層型のネットワーク、 図2.5 の相互結合型のネットワークの 大きく二つに分類される。
この二つの図において、矢印は結合の向きを表し、 点線で囲ったものはそれが一つのまとまった層であることを示している。
階層型のニューラルネットワークでは、 ニューロン間の情報のながれは一方通行で、 入力層のニューロンへの入力が決まれば、 後は順番に隣接する層のニューロンへ情報が伝搬していく。 三層型のネットワークでは、 ネットワークの入力が入力層の入力となり、 入力層の出力が中間層への入力となり、 中間層の出力が出力層への入力となり、 出力層の出力がネットワークの出力となる。
相互結合型のネットワークでは、 情報のながれは双方向で、 ニューロンは自分の出力を伝えた相手のニューロンからも 情報を受けとることが許されている。 このようなネットワークでは、 自分の出力が別のニューロンを経て、 再び自分への入力として戻ってくること (フィードバック) があるので、 ネットワーク全体の動作は複雑になる。
