ニューラルネットワークは接続構造から階層型と相互結合型に大分される。
階層型ニューラルネットワークは図2.4(a)に示すような 一方向のみに信号が伝搬するネットワークである。 入力層と出力層の間に1つ以上の中間層(隠れ層)が存在する 多層構造となっていることが特徴である。 入力された信号は入力層、中間層、出力層と一方通行で信号が伝搬され、 各ニューロンで信号を変換して出力をする。
相互結合型ニューラルネットワークは図2.4(b)に示すように、 各ニューロンの入力と出力が相互に結合されているネットワークである。 階層型と違って信号が一方通行ではなく、出力した信号がフィードバックされるため、 それぞれのニューロンがダイナミクスを持つ。 また、それぞれのニューロンが対等な関係をもつということが特徴であり、 ニューロンの出力を収束させることによって最適解を出すはたらきがある。