階層型ニューラルネットワークでは、 入力層と出力層の間に一つ以上の中間層または隠れ層と呼ばれる中間的層を持つ多層構造を持っている。 階層型ニューラルネットワークは、外部からの入力を入力層のニューロンが受け、出 力層のニューロンが外部に出力を出す。 中間層は入力層または上流の中間層のニューロンから入力を受け、 下流の中間層または出力層に出力を出す一種の信号変換器の役割を果たしている。 また、同じ階層のニューロンは結合しておらず、ニューロンの信号は一方通行である。 図 2.5に階層型ニューラルネットワークの概略図を示す。
相互結合型ニューラルネットワークは、ネットワーク内のニューロンをお互いに対等に結合している。この相互結合型ニューラルネットワークでは、 原則としてネットワークの構成要素である各ニューロンは、 他のすべてのニューロンと結合しており、 各ニューロンの出力が平衡な値に収束することで情報処理が完了する。 この場合、すべてのニューロンが入力を受け付け、出力を出す。 情報の流れが双方向であるため、フィードバックが許される。 図 2.6に相互結合型ニューラルネットワークの概略図を示す[3]