脳は学習によって過去の経験を蓄積し、それ自身の性能を向上させる能力を有するという点で、コンピュータと比較して際だっており、この学習法則に関して、これまで多くの理論的研究が行なわれている。 脳の学習はシナプスの可塑性、すなわちシナプス結合の強弱の変化によって担われていると考えられており、このシナプス結合の変化法則が学習の基本法則となる。 シナプスの可塑性を具体的に表したのが、``同時に発火した細胞同士の間のシナプス結合は大きくなる''というヘッブの原理であり、この原理に基づいて学習をおこなう。 ヘッブの原理を式で表すと、つぎのようになる。
ただし、 c は定数で、 
は j 番目の細胞から i 番目の細胞へのシナプス荷重である。
また、 
, 
はそれぞれの細胞の出力である。
本論文では、``同じ状態にあった場合にシナプス結合が増加する''というものに``同時に発火しない細胞同士のシナプス荷重は減少する''というものをつけ加えた変形学習則のほうが、記憶の忘却という心理的行動からも妥当であるため、この法則を採用する。
[4, 8, 2]
シナプス荷重変化の一般法則は以下の通りである。
シナプス荷重 
は、学習の進行中は入力信号と学習信号 r の積に比例して増加するとともに、一定の割合で減衰する。
この割合には０を含み、学習信号 r は、細胞の入力、出力および教師信号 y の関数として決まる。
教師信号のない場合は y=0 である。
シナプス荷重変化の法則を式で表すと、
である。
ここに、 
は定数、 r(t) は x,y,w の関数である。
x,w は、 
, を並べたベクトルである。
式(4.5)をベクトルで表すと、
となる。
学習の結果、神経細胞のシナプス荷重 w がどのような値になるかは、入力信号の時系列 x と、教師信号の時系列 yで決まる。
神経細胞は、この時系列の情報構造に従って自己の w を変えることになる。
そこで、入力情報 
を神経細胞の情報源 I と考える。
情報源 I は信号の組 
を頻度 で発生するものと考えれば、 I は信号 を確率 
で毎回独立に発生する確率的情報源と考えてよい。
I は確率 p に基づいたランダムな信号系列であり、特に I が有限個の信号の対 
のみをそれぞれ確率 
で含めば、時系列 はこの 
を頻度が になるようランダムな順序で並べたものになる。
w は I から現実に発生した時系列に依存して決まるが、I から出る時系列はどれも類似の性質をもっている。
信号の組 は長い時間にはどの時系列でも確率 
にほぼ等しい頻度で出現する。
これは、情報源のもつエルゴード的性質である。
したがって、I からどの時系列で出ても、それは I の確率的構造を表し、学習の結果 w は殆ど変わらない。
すなわち、w は I の構造だけに依存するということである。
以上がヘッブの原理であるが、これはあくまで仮説に過ぎない。 シナプス可塑性に関する生理学的な研究は非常に難しいものであり、実際の神経回路網におけるシナプス可塑性のメカニズムが解明される日はまだ遠いといわざるをえない。
