ニューラルネットワークとはシナプス結合によりニューロンが互いに結合し ネットワークを形成しているものである。 その種類は大きく分けて2つあり、 図 2.4 のようにすべてのニューロンが 互いに結合している相互結合型ネットワーク 、 図 2.5 のようにニューロンが階層に分かれて結合している階層型ネットワークに分けることができる、
相互結合型ネットワークの特徴としては、情報の流れは双方向的であり、 ニューロンは自分の出力を伝えた相手のニューロンからも情報を受け取ることが許されている。 そのため、あるニューロンからの出力が別のニューロンを経て自分に戻ってくる フィードバックが発生しネットワーク全体の動作は複雑化する。 相互結合型ネットワークの出力は、ネットワークが安定化した時のネットワークの状態である。 しかし、前述したフィードバックにより安定化するまで時間がかかってしまう。
階層型ネットワークの特徴としては、ニューロン間の情報の流れは一方的であり、 入力層へ情報が入れば順次隣の層へ情報が伝搬していき、最終的には出力層へ伝搬する。 図 2.5 のような3層の階層型ネットワークの場合、入力層へ入力がなされ、 入力層の出力が中間層の入力となる。 次に中間層の出力が出力層の入力となる。 そして、出力層の出力がネットワークの出力となる。
