ニューロンモデル

脳にはいくつもの種類のニューロン(ニューロンモデルにおいてはユニットと呼ぶ)が存在していることが確認されており、単純な発火作用を持ったものから非常に複雑な発振作用をもったものまで存在している。しかし、現段階でニューラルネットワークに用いられているモデルは、それらを図 2.2のように非常に単純化した、多入力1出力の素子が通常である。[1]

図 2.2: ユニットのモデル

ニューラルネットワークにおいては、ユニット同士が互いに神経線維に対応する線で結ばれている。また、実際のニューロン間のシナプス結合と呼ばれる結合と同様に、信号は一方向のみに伝わり、それぞれの結合部分に結合荷重$w_i$をつけられて、結合されたユニットに出力される。この結合荷重が、ユニット同士の結合の度合いを表している。

このように重みが付いたそれぞれの入力値$w_ix_i$は、ユニットで総和$x$がとられ、応答関数$f$によって変換されて次のユニットへと出力される。

$$\begin{array}{l} \displaystyle x = \sum_{i=1}^{n}{w_ix_i}\\ y = f(x) \end{array}$$ (2.1)

重みの値は、興奮性結合の場合は正の値、抑制性結合の場合は負の値を示す。また、この重みは学習することによって変化させることができる。 ユニットに入力された信号の総和$x$は応答関数$f$によって変換されるが、その応答関数はいくつかのものが考案されてきている。

図 2.3は、階段関数、あるいはヘビサイド関数と呼ばれるもので、この関数を用いればニューロンの出力を0か1で表すことができる。

$$f(x) = \left\{ \begin{array}{ll} 1 & (x > 0)\\ 0 & (x \le 0) \end{array} \right.$$ (2.2)

図 2.3: ヘビサイド関数

図 2.4は、シグモイド関数と呼ばれる準線形の応答関数である。

第4章で説明するバックプロパゲーションという学習法において、微分可能な関数が必要となるため、そこで用いられる。

$$f(x) = \frac{1}{1+\exp(-x)}$$ (2.3)

図 2.4: シグモイド関数