この先駆けとなったのは,ローゼンブラット(Rosenblatt)のパーセプトロン(Perceptron)というモデルである。パーセプトロンでは,複数のニューロンを階層的に並べてネットワークを構築している。各階層のニューロンの出力は,次の階層のニューロンの入力へ接続される。同じ階層のニューロン,前の階層のニューロンとは結合しない。信号の流れが入力から出力への一方向であることから,このようなニューラルネットワークをフィードフォワード型ネットワークという。図2.3はその模式図である。
一方,信号の流れが一方向のみではなく,相互に結びつき合っているネットワークモデルもある。このようなニューラルネットワークをリカレント型ネットワークという。図2.4はその模式図である。