ニューロン(neuron)とは，生物の脳を構成する神経細胞の事である. この神経細胞は，図 2.1 のような構造になっている. つまり核が存在する細胞体と， 樹状突起と呼ばれるニューロンの入力部分， 出力部分であるシナプス，伝送路に当る部分が軸索と呼ばれ， これらからなる一つの細胞である. この図では細胞が2個しかないが， 例えば人間の脳の場合，およそ100億から1000億程度 あるといわれている.
これらの神経細胞は，立体的に多数集まって回路網を形成している. 一つ一つのニューロンは，他のニューロンの出力を受けとりシナプスで増減し， それを足した値がある値を超えると出力し，他の多数のニューロンに伝送する.
ニューロンでは，神経インパルス(Nervous Impulse)と呼ばれる 電気パルスを生成し，これが出力となる. この神経インパルスは神経細胞間で化学反応を介して行われるため， そのパルス幅は，約1[ms]の遅延が生じる. これは通常のディジタル電子回路に使われるパルスと 比べると，とても低速である. このパルスの振幅は，入力値に関わらずほぼ一定である. しかし入力は出力に影響しないというわけではなく 入力の合計が閾値より小さいと出力せず，閾値を超えるとパルスを出力する. この特性は，全か無かの法則(all-or-none law)と呼ばれる.
このニューロンをモデル化したものが 図 2.2 である [2, 3].
いま，1つの神経細胞がn個の細胞から入力を受けているとする.
シナプス前細胞の出力を 
( 
)，
それぞれのシナプス結合の強さを 
と表し，
シナプス荷重(synaptic weight)または結合荷重(connection weight)と呼ぶ.
この値が正であればそのシナプスは興奮性であり，負であれば抑制性である.
もっとも単純には，
j 番目の細胞がi番目の細胞から受ける影響は
出力と結合の強さの積 
と表される.
各細胞からの影響が単純に加算されたものが入力になり，
この和が閾値を越えたときに，細胞が「発火」し，出力上で1の値をとる.
これを式で表すと，式( 2.1 )となる.
ここで， 
はシグモイド関数であり，m は入力の数，
はi番目のニューロンの出力， 
はi番目のニューロン
からj番目のニューロンへの重み， 
は閾値をあらわす.
シグモイド関数とは図 2.3 に示されるような関数であり，
式 2.2 のように定義される.
入力がある値より大きくなった場合に1に近い値を出力し，
小さければ0に近い値を出力する.
本来ニューロンは0か1の値しかとらないので
階段関数によって実現する方が適切であるが，
解析的に問題を解くためにはシグモイド関数のような連続した関数である必要がある.
