3章で述べたように、過去のできごとを記憶したり、練習によってより優れた運動能力を獲得する際には、その情報処理を担っている神経回路網になんらかの変化が生じているものと考えられる。そして、その変化が神経回路網のどの部分に生じるかという問題は、脳研究者の大きな疑問の一つであった。
この問題に対する1つの仮説として、「神経回路網は、シナプス荷重を変化させることによって情報を蓄える」という考えが唱えられ、このシナプス荷重変化のルールを具体的な形で示したのが、D.O.Hebbによるヘッブの原理(シナプス強化則)である。これは、細胞 A の出力が細胞 B に入力されているとき、細胞 A と細胞 B が同時に発火すると、細胞 A から細胞 B へのシナプス荷重が大きくなる、というものである。
ヘッブの原理を式で表すと、つぎのようになる。
ここで、 c は学習速度、 
は ニューロン j から ニューロン i への更新前の重み、 
は、ニューロン j から ニューロン i への更新後の重みである。
また、 
は ニューロン i の出力で ニューロン j の入力、 
はニューロン jの出力である。
しかし、ヘッブの原理はあくまで仮説に過ぎないので、これにとらわれる必要はない。本論文では、``同じ状態にあった場合にシナプス結合が増加する''というものに``同時に発火しない細胞同士のシナプス荷重は減少する''というものをつけ加えた変形学習則のほうが、記憶の忘却という心理的行動からも妥当であるため、この法則を採用する。
シナプス荷重変化の一般法則は以下の通りである。
シナプス荷重 
は、学習の進行中は入力信号と学習信号 r の積に比例して増加するとともに、一定の割合で減衰する。
この割合には0を含み、学習信号 r は、細胞の入力、出力および教師信号 y の関数として決まる。
教師信号のない場合は y=0 である。
シナプス荷重変化の法則を式で表すと、
である。
ここに、 
は定数、 r(t) は x,y,w の関数である。
x,w は、 
, を並べたベクトルである。
式(4.5)をベクトルで表すと、
となる。
学習の結果、神経細胞のシナプス荷重 w がどのような値になるかは、入力信号の時系列 x と、教師信号の時系列 yで決まる。
神経細胞は、この時系列の情報構造に従って自己の w を変えることになる。
そこで、入力情報 
を神経細胞の情報源 I と考える。
情報源 I は信号の組 
を頻度 で発生するものと考えれば、 I は信号 を確率 
で毎回独立に発生する確率的情報源と考えてよい。
I は確率 p に基づいたランダムな信号系列であり、特に I が有限個の信号の対 
のみをそれぞれ確率 
で含めば、時系列 はこの 
を頻度が になるようランダムな順序で並べたものになる。
w は I から現実に発生した時系列に依存して決まるが、I から出る時系列はどれも類似の性質をもっている。
信号の組 は長い時間にはどの時系列でも確率 
にほぼ等しい頻度で出現する。
これは、情報源のもつエルゴード的性質である。
したがって、I からどの時系列で出ても、それは I の確率的構造を表し、学習の結果 w は殆ど変わらない。
すなわち、w は I の構造だけに依存するということである。
以上がヘッブの原理であるが、前にも述べた通り、これはあくまで仮説に過ぎない。 シナプス可塑性に関する生理学的な研究は非常に難しいものであり、実際の神経回路網におけるシナプス可塑性のメカニズムが解明される日はまだ遠いといわざるをえない。
