このことをパーセプトロンの収束定理と呼ぶ。この例として、図 3.3の論理積(AND)が当てはまり、点線が分離線となっている。
しかし、排他的論理和(XOR)の場合を考えてみると、図 3.4のように2本の線を引かなければ分離することができないのが分かる。 このパターンのような1つの直線で分離することができない問題を非線形分離問題といい、パーセプトロンではこれらの問題を解決できる保証はない。
パーセプトロンの学習において、変化する結合荷重は中間層-出力層の間のみであり、これが非線形分離問題を苦手とする原因になっている。[7]