ニューラルネットワークとは， ニューロンがシナプスによって互いに結合し， 一つのネットワークとなったものである。 ニューロンの結合の仕方は大きく分けて二つある。 まず一つは，図3.2のように， 任意の二つのニューロンに両方向の結合がある もので，相互結合型と呼ばれる。 もう一つは，図3.2のように， ニューロンが複数の階層をなすようにならび， 入力層から，出力層へ向かう方向の結合のみがある もので，階層型と呼ばれる。
相互結合型ネットワークでは， 情報の流れは双方向で， ニューロンは自分の出力した相手からも 情報を受けとれる。 また自らの出力が別のニューロンを通して， 再び自分の入力として戻って来ることがある。
階層型ネットワークでは， 層内の情報のやりとりはなく 情報の流れは一方向で， 前の階層の出力が次の階層の入力となる。 また情報の流れが一方向なので，フィードフォワードネットワーク とも呼ばれる。
図 2.6: 階層型ネットワーク(3層型)
図 2.5: 相互結合型ネットワーク