ニューロンモデル

ニューロンのすべての機能をモデル化することは不可能なので、どの性質をモデル化するかを明確にする必要がある。ここでは、ニューロンのミクロ的性質にとらわれずに、ニューラルネットワークを構成する情報処理の要素として神経細胞をモデル化する場合を考える。 神経細胞の機能を簡単にまとめると、次の3点になる。

1. 出力側神経細胞の電気パルスが、シナプス結合を介して入力側神経細胞の膜電位に影響を与える
2. 入力側神経細胞の膜電位の変化は、多数の出力側神経細胞の電気パルスの影響が加算されて生じる
3. 膜電位があるしきい値を超えると入力側神経細胞は興奮し電気パルスを発生する

これらの機能を満たすモデルとして、McCullochとPittsは式(2.1)〜式(2.3)で表される形式ニューロンというモデルを提案した。これを図示すると図 2.2のようになる。

$$y = \sum_{k=1}^{n}{w_kx_k}$$ (1)

$$f(u) = \left\{ \begin{array}{ll} 1 & (u > 0)\\ 0 & (u \leq 0) \end{array} \right.$$ (2)

$$z = f(\sum_{k=1}^{n}w_kx_k-h)$$ (3)

図 2.2: マカロック-ピッツのモデル

このモデルでは、神経細胞の位置関係や構造、シナプスの構造および機能などの影響因子で決まる神経細胞間の信号の伝わり方を、シナプス結合荷重というパラメータに押し込めて表現している。シナプス前細胞$k$から神経細胞への出力$(x_k)$に比例する入力が神経細胞へ与えられると仮定して、その比例定数をシナプス結合荷重$(x_k)$と呼ぶと考えればよい。ある1つの神経細胞から複数の軸索が別の1つの神経細胞に伸びてシナプス結合している場合は、各シナプスの効果すべてを1つのシナプス結合荷重で表すと考えればよい。

このモデルが、後のニューラルネットワークの研究の基礎となっている。形式ニューロンでは、入力側神経細胞の膜電位の変化を、シナプス前細胞の出力 $(x_1,x_2,\ldots,x_n)$の重み付きの和と単純化しており、この重み付きの和がしきい値を超えると、入力側神経細胞が興奮して入力を受けた細胞が出力を出す。式(2.2)がこれを表しており、このステップ関数を用いた出力で全か無の法則を実現している。

その後の研究では入出力関数$f$として、式(2.2)(図 2.3)で示されたステップ関数の代わりに、全領域で微分可能であり、かつ常に有限な出力を出す、式(2.4)で表されるシグモイド関数がよく用いられるようになる。

$$f(y) = \frac{1}{1+exp(-\frac{y}{\epsilon})}$$ (4)

図 2.3: ステップ関数