3.1.2 階層型ネットワーク

  階層型ネットワークは、図3.1に示されるような形をしている。 実際には隣合った層のニューロンはすべて結合しているが、図では省略してある。 これは入力層、出力層に中間層を一つ加えた三層ニューラルネットワークのモデルである。 中間層は無くてもある程度の処理はできるが、一層以上入っているものが現在の典型的なニューラルネットワークのモデルとなっている。

  
図 3.1: 三層ニューラルネットワーク

階層型ネットワークの能力は、中間層の数によって決まる。また中間層のニューロンの数によっても多少左右される。中間層が無い場合、一つの場合、二つある場合のそれぞれについての線形分離能力を図3.2に示す。

この図で一番右の列は、作ることのできる一般的な判定領域の一例である。中間層を持たなければ、判定領域はたった一本の直線でしか分離できない。

中間層が一つあれば、ある程度判定領域を制限できる。そしてその能力は中間層にあるニューロンの数が多いほど良くなっていく。しかし、どんなにニューロンの数を増やしても、噛みあった領域を分離することは不可能である。

中間層が二つある場合は、任意の複雑な判定領域を作ることが可能であり、中間層が一つのモデルには分離不能な噛み合った領域を分離することが可能となる。

  
図 3.2: 中間層の数と線形分離能力の関係図