主成分分析 [6,7]

実験や調査においては、多数の項目を記録することが多い。項目数が少ない時にはグラフや統計量を用いてその特性を簡単に知ることが出来るが、項目数が多い時にはデータの関係が複雑になり、結果の分析が難しくなる。これを解決する手法として、Hotelling氏が1933年に提唱した主成分分析（Principal Component Analysis）がある。主成分分析は各データを独立に扱うのではなく、主成分と呼ばれる総合的な指標によってデータの持つ関係や特徴を表す。これをもう少し詳しく説明すると、データが本来もっている情報の損失を最小限に抑えながら、このデータを合成変数（主成分）に縮約して低次元化を行うことで、多量のデータに埋もれた情報を把握するというのがこの手法である。このことを、以下に具体的な式を用いて説明する。

まず$P$個のデータ $x_{p} (p=1,2,\ldots,P)$があった時、$N (N \leq P)$個の主成分 $z_{n} (n=1,2,\ldots,N)$とこれらの関係は、次式のような互いに独立な線形結合として表される。

$$z_{n} = \sum^P_{p=1} a_{pn} x_{p}$$ (3.1)

ここで$z_{n}$は第$n$主成分と呼ばれ、その結合係数$a_{pn}$は以下の式を満たす必要がある。

$$\sum^P_{p=1} a^2_{pn} = 1$$ (3.2)

主成分が多くの情報をもつようにする為には、この結合係数を上手く決めてやる必要があり、それにはデータの分散に着目する。この例を示す為に図 3.1のような２次元のデータを考える。この図において、データのばらつきが最も大きくなる方向に着目すると、$z_{1}$という軸が出来ることが分かる。これが第１主成分となり、このような軸が出来るように式(3.1)の結合係数を決定するのである。しかし、これだけではデータの持つ情報を大まかに表したとは言えない。そこで次にデータのばらつきが大きい軸、すなわち第２主成分$z_{2}$をとり、これによって情報量の損失を最小にしながら、$x_{1}, x_{2}$から得られる特性を上手く把握することが出来る。

ここで、もし全てのデータが一直線上に並んだならば第２主成分は０となり、$z_{2}$はデータの分析に全く役に立たないことになる。よって、データのばらつきである分散が大きいほど、情報を多く含んでいると言えるのである。以上の例は２次元という簡単な例であった為に、主成分分析はあまり役に立たないが、高次元であるとその効果は顕著に現れる。

図 3.1: 二次元データにおける主成分分析

結合係数の決定の仕方としては、特異値分解に基づくものとスペクトル分解に基づくものがある。第$i$主成分の結合係数 $\mbox {\boldmath$a$}_{i}$は、前者においてはデータ行列 $\mbox {\boldmath$X$}$の$i$番目に大きな特異値$\sigma_{i}$に対応する右特異ベクトルとして与えられ、後者においては行列 $\mbox {\boldmath$X$}^T \mbox {\boldmath$X$}$の$i$番目に大きな固有値$\lambda_{i}$に対応する固有ベクトルとして与えられる。前者については3.2 項でもう少し詳しく説明することにして、ここでは後者について取り扱う。

ここでは分かりやすく第１主成分を取り上げて、結合係数が固有ベクトルで表されることを示す。まず、第１主成分の分散$\sigma^2_{z1}$は式(3.3)のように与えられ、ここで $\mbox {\boldmath$t$}_{1}$は第１主成分得点と言い、これは$n$番目のデータに対応する第１主成分の値をベクトルにまとめたものである。また $\mbox {\boldmath$V$}$は分散共分散行列を表す。ここで、$N - 1$で割っていることから標準分散ではなく不偏分散を用いていることが分かり、後述するRの関数もこちらを採っているようである。不偏分散は、母集団が大きく標本が少ない時に向く。

$$\sigma^2_{z1} = \frac {1} {N - 1} \, \mbox {\boldmath$t$}^T_{1} \mbox {\boldmath$t$}_{1}$$

$$= \frac {1} {N - 1} (\mbox {\boldmath$X$} \mbox {\boldmath$a$}_{1})^T (\mbox {\boldmath$X$} \mbox {\boldmath$a$}_{1})$$

$$= \mbox {\boldmath$a$}_{1}^T \left (\frac {1} {N - 1} \mbox {\boldmath$X$}^T \mbox {\boldmath$X$} \right )\mbox {\boldmath$a$}_{1}$$

$$= \mbox {\boldmath$a$}_{1}^T \mbox {\boldmath$V$} \mbox {\boldmath$a$}_{1}$$ (3.3)

第１主成分を最大にするには、この式(3.3) : $f$を式(3.2) : $g$の下で最大となるようにすれば良く、それにはラグランジュの乗数法から式を導き、それを結合係数 $\mbox {\boldmath$a$}_{1}$で偏微分して$0$とおけば良い。

$$J_{1} = f + \lambda g$$

$$= \mbox {\boldmath$a$}^T_{1} \mbox {\boldmath$V$} \mbox {\boldmath$a$}_{1} - \lambda(\mbox {\boldmath$a$}^T_{1} \mbox {\boldmath$a$}_{1} - 1)$$

$$\frac {\partial J_{1}} {\partial \mbox {\boldmath$a$}_{1}} = 2 \mbox {\boldmath$V$} \mbox {\boldmath$a$}_{1} - 2 \lambda \mbox {\boldmath$a$}_{1} = \mbox {\boldmath$0$}$$

$$(\mbox {\boldmath$V$} - \lambda \mbox {\boldmath$I$}) \mbox {\boldmath$a$}_{1} = \mbox {\boldmath$0$}$$ (3.4)

$$\, \vert \,\mbox {\boldmath$V$} - \lambda \mbox {\boldmath$I$} \, \vert \, = 0$$ (3.5)

ここで$I$は単位行列を示し、式(3.5)のように固有方程式が得られた。このことより、結合係数 $\mbox {\boldmath$a$}_{1}$は分散共分散行列 $\mbox {\boldmath$V$}$の固有値$\lambda$および固有ベクトルとして与えられることが分かる。この固有値が大きい主成分ほど情報を多くもっていることになり、大きい固有値から順に、その対応する主成分が第１主成分, 第２主成分, $\ldots$, 第$N$主成分に当たる。また式(3.3)に式(3.4), 式(3.2)を代入することにより、以下の式が導かれる。

$$\sigma^2_{z1} = \mbox {\boldmath$a$}_{1}^T \mbox {\boldmath$V$} \mbox {\boldmath$a$}_{1}$$

$$= \mbox {\boldmath$a$}_{1}^T \lambda \mbox {\boldmath$a$}_{1}$$

$$= \lambda$$ (3.6)

これは先程述べたように分散が情報の大きさを決定していることを示しており、最大値をとるべき$\sigma^2_{z1}$は最大固有値に等しい必要がある。これまでのことを以下第$N$主成分まで同様に導くことが出来る。以上のことより、結合係数 $\mbox {\boldmath$a$}$は最大固有値に対する固有ベクトルとして求められ、これがスペクトル分解に基づく結合係数の決め方になる。なお、ここまで分散共分散行列を使って主成分分析を行う方法を記したが、相関係数行列を使って行う方法もある。どちらも一長一短であり、どちらが良いとは一概には言えない。

ここまで単に式を追ってきただけであったが、実際に測定や調査を行う時には、各項目は異なる単位系となることが多い。よって、単位の取り方により異なる主成分が得られることになり、同じ単位系であっても分散が大きく異なる項目に対して主成分分析を行えば、大きい方の影響を強く受けることになり、正しい結果が得られなくなる。そこで全ての項目を何らかの手法を用いて標準化する必要が出てくるが、広く利用されている方法として、各項目において平均１・分散１となるように正規化するものがある。このような処置を施すことで、得られる結果の信頼性を高めることが出来る。

さて、主成分分析によりデータを総合的な指標である主成分として表せることを述べてきたが、その主成分はいくつほど採用してデータを圧縮すれば良いのだろうか。その選択の方法としては、以下に示すようなものがある。

1. 固有値が１を越える主成分を採用する。
2. ある固有値とその次の固有値の差が小さくなるまでの主成分を採用する。
3. 累積寄与率がある値に達するまでの主成分を採用する。

これらをもう少し詳しく説明すると、１は先述したように平均１・分散１としたことで、分散（固有値）がこの標準化された値である１よりも大きければ、説明力のある主成分として用い得るという考えに基づいている。２はある固有値とその次の固有値の差が小さければ、主成分の採用・非採用の区別にあまり意味はないという考えに基づいている。３はデータから得られる全情報の何割かを含んでいれば良いという考えに基づくもので、普通60％〜80％に達するまでの主成分数を採用する[7]。累積寄与率（cumulative propotion）は寄与率（proportion）に関係するものであり、寄与率は次式で表される。

$$P_{n} = \frac {\lambda_{n}} {\displaystyle \sum^P_{p=1} \lambda_{p}}$$ (3.7)

このように、ある主成分の固有値が表す情報が、全ての情報の中でどの程度の割合を占めているかを表すのが寄与率である。一方、累積寄与率は次に示すように第$n$成分までの寄与率の総和で表される。

$$C_{n} = \sum^n_{i=1} P_{i}$$ (3.8)