next up previous contents
Next: 第6章 実験 Up: 第5章 時系列の学習 Previous: 5.2 多層モデル

5.3 ランダム層モデル

   figure331
図 5.3: ランダム層モデル

5.3はランダム層モデルで、このモデルは多層モデルの記憶層の代わりにランダム層が設けられている。 このモデルは、ランダム層に図5.4のようにランダムなパターンをサイクル状に記憶させ、 出力層が記憶するパターンと対応させることによって想起するという、 多層モデルとは異なった考えを基にしたモデルである。 例えば、図4.3tex2html_wrap_inline1523tex2html_wrap_inline1569tex2html_wrap_inline1549tex2html_wrap_inline1573tex2html_wrap_inline1575tex2html_wrap_inline1577tex2html_wrap_inline1529tex2html_wrap_inline1581 というように対応させる。 仮に、 tex2html_wrap_inline1521 であるとして、出力層に tex2html_wrap_inline1549 が入力されても、 ランダム層によって、今の状態が tex2html_wrap_inline1573 なのか tex2html_wrap_inline1577 なのかが分かるため、次に出力するパターンが分かる。

   figure342
図 5.4: ランダム層が記憶するパターン

このモデルの荷重は、ランダム層の状態を R とすると次のようになる。 出力層から出力層への荷重は、 tex2html_wrap_inline1537 であり、 出力層からランダム層への荷重は、 tex2html_wrap_inline1595 である。 また、ランダム層から出力層への荷重は、 tex2html_wrap_inline1597 であり、 ランダム層からランダム層への荷重は、 tex2html_wrap_inline1599 である。

また、このモデルのネットワークは、再発部分系列の長さに関わらず2層のままでよい。 しかし、ランダム層の学習パターンは学習の際に適当に作られたランダムパターンであり、 初期値を決めることができない。 このことが想起能力に影響を及ぼす可能性もある。



Deguchi Toshinori
1996年10月29日 (火) 11時21分05秒 JST