相互結合型ネットワークの特徴としては、情報の流れは双方向的であり、ニューロンは自分の出力を伝えた相手のニューロンからも情報を受け取ることが許されている。そのため、あるニューロンからの出力が別のニューロンを経て自分に戻ってくるフィードバックが発生しネットワーク全体の動作は複雑化する。相互結合型ネットワークの出力は、ネットワークが安定化した時のネットワークの状態である。しかし、前述したフィードバックにより安定化するまで時間がかかってしまう。
階層型ネットワークの特徴としては、ニューロン間の情報の流れは一方的であり、入力層へ情報が入れば順次隣の層へ情報が伝搬していき、最終的には出力層へ伝搬する。図 2.6 のような3層の階層型ネットワークの場合、入力層へ入力がなされ、入力層の出力が中間層の入力となる。次に中間層の出力が出力層の入力となる。そして、出力層の出力がネットワークの出力となる。