ここでは、 実際にカオスアトラクタを学習させるネットワークをもう一度簡単に説明しながら、 学習方法の説明をする。 学習には中間層を一つだけもつ階層型ネットワークを用いる。 学習は第4章で説明したバックプロパゲーションのアルゴリズムを用い、 出力層の出力と教師信号を比較して各層の重み・しきい値を付け替えるという方法で行なう。 中間層の出力関数は図2.4に示したシグモイド関数を用いる。 シグモイド関数の式は前述したがもう一度ここに示す。
任意の関数はシグモイド関数の重みつき和で近似できるので 中間層の出力はこのシグモイド関数を用い、 出力層の出力はその重みつき和をとるため、 出力関数は恒等関数を用いる必要がある。 恒等関数 g の式を以下に示す。
するとバックプロパゲーションで学習する時の出力関数の微分の項に違いが生じる。 シグモイド関数(5.2)の微分は、
となり、 この式はまた、
と、関数 f のみで表すことができる。 また、 恒等関数 g の微分は、
となる。
以上の変更をもとにあとは第4章で説明したバックプロパゲーションのアルゴリズムに従い学習を行なう。