生体のニューロンを参考に,工学的にモデル化するには, 多数の入力の加重特性と発火のしきい値作用を特徴的な性質としてモデル化する. ここでは,マッカロ (McCulloch) とピッツ (Pitts) が提案したものを 図2.2に示す.
この図の は対象となるニューロンのi番目の入力であり, 0か1のパルス入力である. は結合荷重と呼ばれシナプス結合の強さである. はニューロンに対するしきい値であり, ニューロンはこれを越えると興奮する. yは出力である.このニューロンモデルの動きは以下の式で表される.
式(2.1)で,uは膜電位,又は内部ポテンシャルと呼び, i番目の入力が来ると(すなわち ) ニューロンの膜電位が 高くなることを示している. ここで ならば興奮性シナプス, ならば抑制性シナプスを表している. であれば結合していないということである. はしきい値を表し, 各入力にシナプスの重みを掛けた荷重和 が しきい値を越えた時, ニューロンは興奮する. このモデルでは入力と出力は0と1の離散的な値である. 式(2.2)は出力関数で以下のように与えられている.
この関数は階段関数であり図2.3となる.
マッカロとピッツのモデルは離散的な入出力であるが,連続的なモデルを考える場合,シグモイド関数と呼ばれるものを出力関数とすることが多い. シグモイド関数として有名なものに式(2.4)がある.
このシグモイド関数の特性は図 2.4 となる.