ニューラルネットワークのそのメカニズムによる分類を行なうと、 2つに分けることができる。 すなわち、ニューロンが階層的な結合をし、ネットワークを形成しているものと、 相互に結合した非階層的なネットワークを形成しているものとに分けることができる。
前者の階層型ニューラルネットワークとは、ニューロンが複数の層にそれぞれ並び、 下位の層から上位の層へと向かう方向のみの結合を持つものである。 階層型ニューラルネットワークのモデルを図 6.5 に示す。
後者の相互結合型ニューラルネットワークと呼ばれるものは、 全てのニューロンの間に双方向の結合を持つものである。 相互結合型ニューラルネットワークのモデルを図 6.5 に示す。
階層型ニューラルネットワークは相互結合型の条件が特殊なものであるといえるが、 これら両者の性質は数多くの性質において異なる。 階層型ニューラルネットワークでは、入力層から始まり、 最終的に出力層へと一度だけ信号が伝播するだけであるが、 相互結合型ニューラルネットワークでは、個々のニューロンに結合があるため 信号がネットワークの中を平衡状態となるまで巡る、 といった違いもその1つである。 また、自分の出力が他のニューロンを伝って何らかのフィードバックがあるため、 ネットワークはより複雑化する。[2]
また、階層型ニューラルネットワークの方が結合の数が少ないため、 処理が素早く行なえるという利点があり、 さらに本研究では、内部記憶と呼ばれる階層を採り入れて学習を行なうため、 階層型ニューラルネットワークを基本とした ニューラルネットワークを構成する。