続いて、階層型ネットワークを概念的に示すと 図2.8 のような構成になる。
このネットワークでは、複数のニューロンがグループ化されて一つの層を形成していると考える。 そして、各層は直列に連なって階層を形成するわけである。 ここである層のニューロンは、隣りの層のニューロンのみから情報を受け、別隣りにある層のニューロンのみへと単方向に情報を送るように結合されている。 つまり、層をまたいだ結合や逆向きに伝わる結合はない。そのため、情報の流れはどこでも一方通行となっており、情報はフィードバックされない。
ネットワークへの入力を扱う初めの層を入力層といい、ネットワークからの出力を扱う終端の層を出力層という。 また、その間の内部にある層を中間層という。
一般に中間層の数が多いほどネットワークの能力は高い。