ここでは、階層型ネットワークについて詳しく述べる。
階層型ネットワークは、図4.1に示されるような形をしている。 これは中間層を一つ持っている三層ニューラルネットワークのモデルであるが、中間層はなくても複数個あっても良い。
階層型ネットワークの能力は、中間層の数によって決まる。また中間層のニューロンの数によっても多少左右される。中間層が無い場合、一つの場合、二つある場合のそれぞれについての線形分離能力を図4.2に示す。
この図で一番右の列は、作ることのできる一般的な判定領域の一例である。中間層を持たなければ、判定領域はたった一本の直線でしか分離できない。
中間層が一つあれば、ある程度判定領域を制限できる。そしてその能力は中間層にあるニューロンの数が多いほど良くなっていく。しかし、どんなにニューロンの数を増やしても、噛みあった領域を分離することは不可能である。
中間層が二つある場合は、任意の複雑な判定領域を作ることが可能であり、中間層が一つのモデルには分離不能な噛み合った領域を分離することが可能となる。
