本研究室では１つのネットワークに２つのアトラクタを学習させるために リカレントネットワークの一種である内部記憶を持たせた ニューラルネットを提案している。 一般にリカレントネットワークでは、ある時点でのある細胞の状態変化は、 ネットワーク内をめぐりめぐって多くのユニットの状態に影響を 及ぼすので、厳密な意味での最急降下学習法は、フィードフォワードネットの ように単純には求められない。しかし、離散時間モデルのリカレント ネットワークを空間的に展開し、フィードフォワードネットワークと みなしてバックプロパゲーションを適応させることにより、学習を行なえる 方法がある[10]。内部記憶を持つニューラルネットワークの学習には、 この学習の考えを流用している。
内部記憶を持たせたニューラルネットのモデル図を 図4.2に示す。 ある時間での出力層の出力は次の離散時間の入力となる。 入力層、出力層の素子の数は８個、中間層の素子の数は５０個とした。 中間層の素子の出力関数はシグモイド関数、 出力層の素子の出力関数は恒等関数である。 これがループすることによってアトラクタを描く。 このネットワークに前述のバックプロパゲーションを用いて 学習を行なうが、ここで注目すべき点は素子の数が 教師信号の数よりも多いということである。 出力層において一番目の素子にはアトラクタのxの値を学習させるために 教師信号として与え、二番目の素子はyの値を与えるが その他の６個の素子には教師信号を与えない。 このように教師信号を受けとらない素子を作ることによって 「現在どちらのアトラクタを学習しているか」 という情報を持たせることができる。 では教師信号を受けとらない素子は どのように学習するのかを述べる。 図4.3で時間tにおいてある入力に対して出力がなされた時、 まず、教師信号のある素子のみを使って 中間層の重み、しきい値などを付けかえる。 そして中間層への出力が望ましいものとなるように入力層も学習させる。 ここで時間tでの入力層とは時間(t-1)での出力層となっているから、 教師信号のない素子だけを対象に入力層の重み、しきい値も付けかえる。 このような手順により教師信号を受けとらない素子の学習が可能となる。 この方法で三百回毎に二種類の教師信号を切替えつつ学習させる。 ただし教師信号を切替えるときは、重みとしきい値を変化させずに 五回ほどループさせてから学習させている。
