統計学復習メモ11: なぜ特異値分解で主成分が求まるのか

前々項に書いたように、主成分分析は特異値分解を使っても計算できる。なぜだろうか。
それについても答えを得たので、ついでにメモしておく。

ｎ個のサンプルデータを横に並べたものを

(m<n)とし、Pを単位主成分を横に並べたもの

とし、YをXの主成分とすると、
Y=P^TX
である。

特異値分解定理により、Xは何らかの正規直交行列U,Vと、m行m列部分が対角行列でそれ以外が0である行列Σによって、
X=U¥Sigma V^T
と分解される。それを応用すると、
XX^T=(U¥Sigma V^T)(U¥Sigma V^T)^T=U¥Sigma V^TV¥Sigma^TU^T=U¥Sigma¥Sigma^TU^T ...(1)
が成り立つ。XX^Tはm×mの正方行列なので、ΣΣ^Tもm×mの正方行列であり、
...(2)
と置くことができる。（σ₁≧σ₂≧...≧σ_mである）

前項に書いたように、Yの共分散行列は
Cov(Y)=P^TCov(X)P
であり、従って
$Cov(X)=P\;Cov(Y)P^T$
であり、Cov(Y)はCov(X)の固有値を対角成分に持つ行列である。Cov(Y)=Λを

(λ₁≧λ₂≧...≧λ_m)と置くと、
...(3)
となる。一方、
$Cov(X)=¥frac{1}{n}XX^T$
なので、(1)と(2)を使うと、
...(4)
という形にすることができ、(3)と(4)を見比べると、PもUも正規直交行列なので、U=P、
すなわち $¥frac{¥sigma_k^2}{n}=¥lambda_k$
の関係があることがわかる。さらに、
Y=P^TX=U^TU¥Sigma V^T=¥Sigma V^T
なので、Xの主成分YはXを特異値分解したものの一部として求められることがわかる。