6.2 ランダム層モデル

多層モデルに代わるものとして、昨年の本研究室の研究生であった舘智司氏によって、図6.3のようなランダム層モデルが考えられた。 [1]

  
図 6.3: ランダム層モデル

このモデルでは多層モデルの記憶層の代わりにランダム層が設けられている。 このモデルは、ランダム層に図6.4のようにランダムなパターンをサイクル状に記憶させ、出力層が記憶するパターンと対応させることによって想起するという、多層モデルとは異なった考えを基にしたモデルである。

  
図 6.4: ランダム層が記憶するパターン

例えば、図5.3の と 、 と 、\ と 、 と というように対応させる。 仮に、 であるとして、出力層に が入力されても、 ランダム層によって、今の状態が なのか なのかが分かるため、次に出力するパターンが分かる。

このモデルの荷重は、ランダム層の状態を R とすると次のようになる。 出力層から出力層への荷重は、 であり、 出力層からランダム層への荷重は、 である。 また、ランダム層から出力層への荷重は、 であり、 ランダム層からランダム層への荷重は、 である。

このモデルでは、舘氏によって、学習するパターンのサイクル内に他のサイクルと同じパターンがいくつか続いても想起能力は下がらず、``再発部分系列の長さに関わらず２層のままでよい''と確かめられている。

しかし、このモデルはまだ基礎の段階であり、未知の部分がある。ランダム層の学習パターンは学習の際に適当に作られたランダムパターンであり、初期値を決めることができない。 そのため、想起能力に影響を及ぼす可能性がある。 また、学習するパターンのサイクルの周期が大きくなった場合等、任意長の時系列を記憶できるかなどを調べる必要がある。