実験４：$\Delta w$ と$\alpha$ による学習への影響

本研究室の最近の研究で、結合加重の変化量$\Delta w$ と不応性$\alpha$ の値が学習に影響を及ぼす事が明らかになった[13]。 その研究において、ネットワークの素子数100の場合、表 5.2の$\Delta w$ と$\alpha$ の組み合わせにおいて、最大完全学習数が131となった。なお、入力パターンの1の比率は50%で一定で、$\Delta w$ と$\alpha$ 以外のパラメータの値は、5.2節で述べたものと同様であった。本研究では素子数100、1の比率50%での最大完全学習数は90であったことから、$\Delta w$ と$\alpha$ の値を変えたことが学習の向上に大きくつながったことが分かる。

表 5.2: 入力パターン数131での適切な組み合わせ

$\Delta w$	0.0001	0.0002	0.0002	0.0003	0.0003	0.0004	0.0005
$\alpha$	0.02	0.03	0.04	0.05	0.06	0.07	0.08

ただし、その研究では$\Delta w$ と$\alpha$ の値が、それぞれ最小で$0.0001$ と$0.01$ までしか調べられていない。表 5.2を見る限り、それらをさらに小さい値に設定することで、最大完全学習数をより増加させることが可能だと考えられる。よって本実験では、更なる学習の向上のため、より詳細に$\Delta w$ と$\alpha$ の関係を調べる。

$\Delta w$ と$\alpha$ の設定値は次の3パターンとして実験を行った。

パターン$(1)$ $\Delta w$ ： $10^{-6}(=0.000001)$ 〜 $10^{-4}(=0.0001)$ まで$10^{-6}$ ずつ変化

$\alpha$ ： $0.001$ 〜 $0.2$ まで$0.001$ ずつ変化

パターン$(2)$ $\Delta w$ ： $10^{-7}$ 〜 $10^{-5}$ まで$10^{-7}$ ずつ変化

$\alpha$ ： $10^{-5}$ 〜 $10^{-3}$ まで$10^{-5}$ ずつ変化

パターン$(3)$ $\Delta w$ ： $2 \times 10^{-9}$ 〜 $2 \times 10^{-7}$ まで $2 \times 10^{-9}$ ずつ変化

$\alpha$ ： $4 \times 10^{-7}$ 〜 $4 \times 10^{-5}$ まで $4 \times 10^{-7}$ ずつ変化

また、本研究では完全学習ができている際の$\Delta w$ と$\alpha$ の組み合わせを「適切な組み合わせ」と呼ぶ。