まず、入力層について考える。 入力層は、一つの画像を一つの入力として取り込むことになる。 そこで、画像パターンをニューラルネットワークに入力するために、画像の左上から画素を順番に調べ、白ならば``0''、黒ならば``1''とビットに置き換えて入力層のニューロンに順々に与えていく方法をとる。 画素は全部で42個あるので、入力層のニューロンは42個となる。
次に、中間層について述べる。 中間層は、3.3節にも述べた通り、ニューロンの数はそんなに簡単に決めることができない。 そこで、ここでは昨年度の結果を利用することにし、ニューロンの数は30個とした。
最後に、出力層について考える。 今回の実験では、同時に検出させる連続パターン数を３としたので、出力層のニューロンの数は３個にする。 つまり、一つ目のパターン列が検出された場合は一つ目のニューロンが発火するようにする。 ちなみに、発火した場合は``1''が、発火しなかった場合は``0''が出力層の各ニューロンには出力される。
ここで注意しなければならないのは、連続したパターンの検出を行なうとき、現在の入力のみを中間層に与えていたのでは、現在の入力のみによる結果しか得られない。 パターンが連続している以上、以前の入力を最低でも一つは入力層あるいは中間層にフィードバックさせる必要がある。 そこで、中間層にフィードバック層を設ける。 フィードバック層は、ある学習回数 t において入力が入ってきた時、その一つ前、つまり学習回数 t-1 における中間層の出力を保持する。 これにより、中間層には、今はいってきた入力とフィードバック層が保持しているその一つ前の値が与えられることになる。 中間層は理論上現在の入力とその一つ前の入力の特徴を読みとっていることになり、従ってこのモデルは連続パターンを学習できるのではないかという予想がたてられる。 このモデルでは、各中間層にそれぞれフィードバック層を設けた。
上記のことに基づいて、ニューラルネットワークのモデルを構成する。(図4.2)
