next up previous contents
Next: 並列処理 Up: ニューラルネットワークの工夫 Previous: ニューラルネットワークの工夫

出力分割

ニューラルネットの予測気温となる出力素子数は普通1個であるがこれを複数に分割する方法である。 出力素子の値は通常0から1の範囲であるが、M個に分割する際にはこの値をM倍して、 その数値をそれぞれの出力素子に割り振る。 このように分割された教師信号をネットワークに与える方法である。 また、分割しない場合の値はM個の素子の値を足し、Mで除算すれば得られる。

例として5つに分割したときの値の変化を図5.3に示す。 17.8℃という値が教師信号の場合、この値を式(6.1)にしたがって 0から1の範囲に変換する。 そして、5倍すると2.8という値になる。これを各素子に割り振ることで教師信号を得る。

   figure251
図 5.3: 教師信号の分割の様子

バックプロパゲーションでは誤差が小さくなった場合、学習が非常に緩やかになる可能性があった。 しかし、遅れ学習法では内部記憶層からも誤差信号を伝搬するので、 バックプロパゲーションに比べて、学習が緩やかになりにくい。 これと同じ原理で、出力層の素子数を増やせば誤差信号も増大し学習が収束しにくくなるのではないかと考えたので、 この方法を採用した。



Deguchi Lab.