ニューロン間の情報伝達を担うシナプスには、興奮性と抑制性の二種類がある。 興奮性のシナプスで結合されたニューロンは、信号を伝える側のニューロンが興奮すると、 信号を伝えられた側のニューロンの膜電位が上がり、興奮しやすくなる。 このような働きを協調作用と呼ぶ。 抑制性のシナプスで結合されたニューロンは反対に、一方のニューロンが興奮すると他方のニューロンの興奮を抑えるため、 2つのニューロンは同時には興奮しにくく、どちらか一方のニューロンのみが興奮する傾向を持つ。 このような働きを競合作用と呼ぶ。
ニューラルネットワークにおいても、結合加重 が正の値であれば興奮性、負の値であれば抑制性を示す。
ニューラルネットワークの情報処理過程においては、処理される情報を各ニューロンの興奮が担うため、
ニューラルネットワーク上の興奮パターンが重要な意味を持つ。
従って、正のシナプス結合によってニューロン同士が共に興奮しようとする協調作用と、
負のシナプス結合によって他のニューロンの興奮を抑えようとする競合作用が、
ニューラルネットワークの並列情報処理の基本的なダイナミクスとなる。
ホップフィールド(Hopfield)らによって、対称的なシナプス結合 =
を持つ
ある種のニューラルネットワークにおいてエネルギー関数が存在することが示された。
ニューラルネットワークはこのエネルギーを減少させるように動作する。
これは図 2.7に示すように、なめらかな凹凸を持つ曲面上を転がるボールの動きに例えられ、
時間が経つと曲面の窪地(図 2.7の極小値である点Aや点B)に収束する。
一般に、エネルギー関数は多くの極小点を持つ多安定関数になる。各極小点をメモリの内容と考えると、 ボールが斜面をころがる過程は、メモリの内容を想い出す想起過程と考えることができる。 このような連想記憶メモリの検索時間は記憶数によらず一定であり、高速の読み出しが可能である。