ニューラルネットワークはニューロンがシナプスによって互いに結合し、 一つのネットワークとなったものであり、 日本語で説明すれば神経細胞が結合した神経回路網ということになる。 しかし、 単にニューラルネットワークといっても ニューロンがどのような形で結合しているかによってその性質が異なってくるので、 結合のしかたによって大きく二つに分けることにする。[2]
まず一つは、 ニューロン同士が互いに結合している形である相互結合型ネットワークと呼ばれるものである。 もう一つは、 ニューロンの結合が一方向で、 層をなしているような形である階層型ネットワークと呼ばれるものである。
図2.5に相互結合型ネットワーク、 図2.6に階層型ネットワークのモデル図を示す。
この二つの図において、 矢印は結合の向きを表し、 点線の囲みは、 それが一つのまとまった層であることを表す。 図を見ると、 階層型ネットワークは相互結合型ネットワークと比べて、 層の中のニューロンの結合がなく、 層単位の結合によって整然とネットワークを作っていることが分かる。
相互結合型ネットワークでは、 情報のながれは双方向的で、 ニューロンは自分の出力を伝えた相手のニューロンからも情報を受けとることが許されている。 このようなネットワークでは、 自分の出力が別のニューロンを経て、 再び自分への入力として戻ってくること（フィードバック）があるので、 ネットワーク全体の動作は複雑になる。
階層型のニューラルネットワークでは、 ニューロン間の情報（信号）のながれは一方通行で、 入力層のニューロンへの入力が決まれば、 後は順番に隣接するそうのニューロンへ情報が伝播していく。 三層型のネットワークでは、 ネットワークの入力が入力層の入力となり、 入力層の出力が中間層への入力となり、 中間層の出力が出力層への入力となり、 出力層の出力がネットワークの出力となる。
