未知パターンが追加学習される様子を方向余弦を用いて示す。方向余弦は式(5.2)で表され、 を外部入力パターン、
をニューロンの出力とした。ただし外部入力パターンにノイズや欠落が存在する時には、正しいパターンを
とした
この式で方向余弦が1になることは外部入力パターンとニューロンの出力パターンとが同じということである。
図5.4はA,B,Cの三つのパターンを学習しているネットワークに未知パターンaを外部入力した時の追加学習される様子を示している。図では の間はaを外部入力し、
の間はAを外部入力し、
の間はaを再び外部入力した時のニューロンの出力をグラフィックで表した。また同様のことをグラフで表すと図5.5となり、離散ステップ時間ごとの方向余弦を表している。最初にaを入力した時はaが未知パターンであるので、このパターンを想起することができずにいる。しかしt=18でネットワークは安定し、変化量V=140でしきい値を越え、aが未知パターンであると判別されたため、パターンaは学習される。
の間は既知パターンが入力されているので、ネットワークはすでにそのパターンを学習しているために方向余弦が1となって続いている。そして、再びaを入力すると既知パターンが入力されている時と同じ方向余弦が1となって続いている様子を示した。このことより未知パターンaは追加学習され、t=100の時点では既知パターンとしてネットワークが動作していることが確かめられた。このことは図5.4のグラフィックを見てもt=18でネットワークは安定し、パターンaが追加学習されていることが分かる。
次に入力パターンにノイズが存在する場合の追加学習される様子を示す。ノイズは各離散ステップ時間ごとにランダムに9個(18.37 )入力値を反転させた。その時の入力パターンを図5.6に表した。
図5.7は入力パターンにノイズが9個存在する場合の追加学習される様子を示している。ノイズパターンは正しいパターンと入力パターンの方向余弦で0.632であった。 の間はノイズを付加したaを外部入力し、
の間はノイズを付加したAを外部入力し、
の間はノイズを付加したaを再び外部入力した時の離散ステップ時間ごとの方向余弦を表している。入力された未知パターンにノイズが存在しても、t=47でネットワークは安定し、変化量V=285でしきい値を越えたため、その時の出力パターンが学習された。このとき方向余弦は1であるため、その時の出力パターンはノイズが存在しない正しいパターンであることが確かめられた。そして再びノイズを付加したaを外部入力すると、ノイズを付加したAを外部入力した時と同じ動作をネットワークがしているため、ノイズが存在する場合でも正しいパターンが追加学習されることが確かめられた。
図5.8は入力パターンに欠落が存在する場合の追加学習される様子を示している。欠落は各離散ステップ時間ごとにランダムに21個(42.86 )入力値を0にした。ノイズパターンの方向余弦は0.572であった。各離散ステップ時間ごとの入力パターンはノイズを付加した時と同じで、ノイズの代わりに欠落を付加した。t=49でネットワークは安定し、変化量V=165でしきい値を越えたため、その時の出力パターンが学習された。このとき方向余弦は1であるため、出力パターンは欠落が存在しない正しいパターンであることが確かめられた。そして再び欠落を付加したaを外部入力すると、欠落を付加したAを外部入力した時と同じ動作をネットワークがしているため欠落が存在する場合でも正しいパターンが追加学習されることが確かめられた。
次に相違度と新しいパターンとして学習される割合の関係を調べた。相違度とは、既知パターンに対して入力されたパターンがどの程度異なるかを表すもので、その値が大きいほどそのパターンが既知パターンと異なる部分が多いということである。相違度は式(5.3)から求まる。ここで は既知パターン、
を入力パターンとした。
この実験は、既知パターンA,B,Cを学習しているネットワークに、パターンAからある相違度を持ったパターン を入力した時に、離散時間が50以内に未知パターンとして学習される割合を調べた。図5.9は相違度ごとにランダムにパターンを100個作り、そのパターンがどれだけ新しいパターンとして認識されるかを示したもので、変化量に対するしきい値も20,40,60,80,100と5通り行なった。相違度は
まであり、0でAと同じパターンで、98でAの反転パターンとなる。そのため認識率は相違度が真ん中あたりが一番良い。なぜなら既知パターンA,B,Cを学習しているということは、その反転パターンも学習していることになるからである。次にしきい値に対する認識率を見ると、しきい値により認識率は大きく違い、しきい値が高いと相違度が大きくても
認識することができない。しきい値が低いと相違度が小さくても
認識できる。このことより、しきい値により学習する割合を調整することができることが分かる。