ニューラルネットワークとは、ニューロンがシナプスによって互いに結合して一つのネットワークを構成したものである。 その構造によって相互結合型と階層型の2種類に分けられる。[1]
相互結合型ニューラルネットワークは、図 2.5に示すように全てのニューロンが互いに対等に結合している。 原則としてネットワークの構成要素である各ニューロンは、他の全てのニューロンと結合しており、 全てのニューロンが入力を受け、出力をする。そして各ニューロンの出力が平衡な値に収束することで情報処理が完了する。
階層型ニューラルネットワークは、図 2.6に示すように入力層と出力層の間に1つ以上の中間的層をもつ多層構造をしている。 外部からの入力を入力層のニューロンが受け、出力層のニューロンが外部に出力を出す。 中間層の役割は、入力層または上流の中間層のニューロンから入力を受け、 下流の中間層または出力層に出力を出すといったもので、一種の信号変換器と言える。 中間層がない場合もある。 情報の流れが双方向でフィードバックが許される相互結合型と違い、階層型は信号の流れは一方向である。