まず,出力パ�ーンがどのような振�いをしているかを調べる。 理想的な動作は,第 6.5 節で説明したように,�オス状態の時に, 学習させたパ�ーンをすべて短時間で想起することである。 このように振�えば,短時間にすべてのパ�ーンに近いものが現れるので, シナプス前抑制によりすべてのパ�ーンが想起可能である。
そこで,学習させたパ�ーンと出力パ�ーンの距離の関係を調べ, 想起できない時の振�いはどのようになるかを考察し,欠点を追求する。
図 8.1: 出力パ�ーンとの距離の時間による変化(成功と失敗の比較)
図 8.1 は,この距離と時間の関係を求めたものである。 ただし,式 (6.4) のシナプス前抑制関数の しきい値は,前章と同じ gs=0.25 である。
(a) は,想起に成功した時の例である。時間が 10 のとき gs より距離が 小さくなり自己想起状態となったが,パ�ーン 3 を想起しようとしたため, 再び�オス状態へと移っている。最終的には,時間 42 で自己想起状態となり, 43 で想起に成功している。
(b) は,直交の多いパ�ーン(この図のパ�ーンは直交数 5)で, 想起に失敗した例である。時間 30 で gs に近くなっているが,一度も gs を 下回らないので,自己想起状態にならない。 最終的に,検索パ�ーンの反転パ�ーンを想起しようとしているが, �オス状態なので安定せず周期的な振�いになっている。 つまり,直交するパ�ーンが多いと,自己相関学習の 相互干渉項(式 (5.8) の右辺第 2 項)の影響が小さいので, 自己想起する力が強く 完全な�オス状態にならない。そのため,周期的な振�いになると考えられる。 または,直交したパ�ーンは,互いの距離が一番はなれているので, 別のパ�ーンとの間の壁(�テンシャル)が高いため, 一度あるパ�ーンに近�いてから別のパ�ーンへ移ろうとしても, その壁を乗り越えることができない,とも考えられる。
(c) は,内積値がすべて 12 以上で,一度も成功していないパ�ーンである。
ただし,式 (6.5) の�オスニューロンのパラメー�が,
このパ�ーンにあっていないために成功しないという可能性があるので,
を次のように変更した。
より
が大きい場合は,自己想起を続けることが
わかっている [3] 。そこで,自己想起する力を強くし,
何らかのパ�ーンを想起させるために,
とした。
このように変更した結果,この図から,時間が 4 で gs より小さくなり,
自己想起状態になって,パ�ーンの距離がすべて一定になっているが,
検索パ�ーンとの距離が 0 になっていないので,
正しいパ�ーンが想起されていないことがわかる。
この出力パ�ーンは,この検索パ�ーンとパ�ーン 2,さらにパ�ーン 1 の
反転パ�ーンが混ざっていると考えられる。
この場合は,(b) とは逆に相互干渉項が大きすぎるため,
正しく学習されていないためか,�オスニューロンに完全なしきい関数(階段関数,
第 5.2.2 節参照)を使用していないためと考えられる。
または,�オスニューロンには,結合荷重の項のみでなく,
その他の項も含んでいるためとも考えられる。
次に,成功しやすい条件のパ�ーンでの失敗例である,図 8.2 について 考える。(a) は,通常通り gs=0.25 で行なった結果である。 検索パ�ーンとパ�ーン 3 が重なって, 距離 0.25 の上�近で周期的な振�いをしている。 つまり,このどちらかのパ�ーンを想起しようとしていると考えられる。 そこで,gs=0.30 とし,自己想起させるようにしたのが (b) である。 しかし,両方のパ�ーンを交互に想起しようとして, 周期的な振�いなっている。
このように,失敗した例の特徴を見ると,内積値の大きいパ�ーンは, 学習させたパ�ーン以外のものが想起され,それ以外のパ�ーンでは, 自己想起・�オス状態にかかわらず,周期的な振�いになっている。
次節では,これを改良する方法を考える。