初めに内部記憶層を用いたネットワークは 教師信号が二つしか与えられないのに本当に学習が終了するかどうかを確かめる. その方法として元の形である図 6.3 (a)のうち， 内部記憶層を出力層の一部と考えて， 図 6.3 (b)のように一定の学習回数の間， 教師信号としてランダムな値を与え， その後でフィードバックをするように図 6.3 (a)のように ネットワークを結合させさらに学習を続ける [9]. これによって内部記憶層の出力値を安定させることが目的である.
初期学習に2万回教師信号を与えて学習を行なった結果， 学習回数-誤差の絶対値特性は図 6.4 のようになり 内部記憶層の出力値が安定しているために誤差が小さくなり 学習が成功している. よって出力値が安定さえすれば内部記憶を持つネットワークは学習することがわかる.
図 6.4: 初期学習を与えた場合の学習回数 - 誤差特性
図 6.3: 初期学習