MacCullochとPittsの数理モデル

MacCullochとPittsは、ニューロンが論理的な制御素子であると仮定した。 そのモデルでは「and」「or」「not」といった基本的な論理演算が可能であり、さらに複雑な結合モデルを構築できることを示した[2]。

MacCullochとPittsの提案したニューラルネットワークモデルにおいて、ニューロンへの入力は、そのニューロンに接続する他のニューロンからの出力に結合重みを乗じたものの総和で表される。 他のニューロンからの出力を $x$、結合重みを $w$ とし、ニューロンへの入力を $u$ とすると、式 (2.1)となる。

$$u = \sum_{i=1}^{n}{w_ix_i}$$ (2.1)

さらにこのモデルでは、重み付けされた入力信号の総和である $y$ と、活性化関数 $f$ を適用してニューロンの出力を求める。 関数 $f$ は図 2.3のような階段状をしたステップ関数である。 この関数は閾値を持っており、その閾値をこえると“1”、そうでなければ“0”という値を返す。式で表すと式 (2.2)のようになる。 式における閾値は0としている。関数 $f$ は階段関数、あるいはヘビサイト関数と呼ばれる[3]。

$$y = f(x) = \left\{ \begin{array}{ll} 1 & (x > 0)\\ 0 & (x\le 0) \end{array} \right.$$ (2.2)

図 2.3: ステップ関数

ステップ関数は微分不可能である。

活性化関数にステップ関数を使うかわりに、図 2.4のようなS字型をしたシグモイド関数がよく用いられる。 第 4で述べる誤差逆伝播法という学習法において、誤差伝播学習は微分可能な関数が望ましいためである。

図 2.4: シグモイド関数

図 2.4を式で表すと、式 (2.3)のようになる。また $x$ の値は、式 (2.1)で求められる。

$$y = f(x) = \frac{1}{1+\exp(-x)}$$ (2.3)