ニューラルネットワークはニューロンがシナプス結合により互いに結合し合うことによってネットワークを構成しているものである。 その種類は、図 2.4 のように互いに結合している相互結合型ネットワークと呼ばれるものと、図 2.5 のようにニューロンが階層に分かれて結合している階層型ネットワークにわけることができる。
相互結合型ネットワークでは、互いに結合しているために一つのニューロンの状態が変化するとその変化による影響が他のニューロンに渡り、そこからまた自分に戻ってくるというフィードバックが起こる。そのため、ネットワークの動作は複雑になり、ネットワークが安定するまでに時間がかかる。
階層型ネットワークではニューロン間での信号の流れは入力層へ信号が入れば、順次隣の層へ信号が伝搬していき最終的には出力層へ伝搬する。図 2.5 のような三層の階層型ネットワークの場合、入力層へ入力がなされ、入力層の出力が中間層の入力となる。次に、中間層の出力が出力層への入力となる。そして、出力層の出力がネットワーク全体の出力となる。
