7. 고유값과 행렬의 대각화

만약 행렬을 상수로 대체할 수 있다면
해를 쉽게 구할 수 있을 것이다.
그러한 상수를 고유값(eigenvalue)이라 부른다.
즉, $(A-\lambda I)x = 0$을 만족하는 $\lambda$를 말한다.

이러한 고유값은 행렬식을 이용해 다음과 같이 구할 수 있다.
$|A-\lambda I| = 0$

이렇게 구한 각 고유값에 대응하는 x를 고유벡터(eigenvector)라고 부른다.
이때 각각의 고유값에 대한 고유벡터는 서로 독립이다.

n×n 행렬 A가 독립적인 고유벡터와 고유값을 가진다고 할 때
S = [ X₁ ··· X_n ]이라 하면 다음이 성립한다.
$AS = \Lambda S$이므로
$S^{-1}AS = \Lambda = \begin{bmatrix} \lambda_{1} & & \\ & \ddots & \\ & & \lambda_{n} \end{bmatrix}$

$A = S\Lambda S^{-1}$로 분해하는 것을
고유값 분해(EVD, EigenValue Decomposition)이라 부른다.

---

만약 A=A^T의 대칭행렬이라면 위의 결과에 대해
A를 역행렬 대신 전치행렬로 표현 가능하다.

$S = \begin{bmatrix} x_{1} & x_{2} & x_{3} \end{bmatrix} = \begin{bmatrix} q_{1} & q_{2} & q_{3} \end{bmatrix}\begin{bmatrix} ||x_{1}|| & 0 & 0 \\ 0 & ||x_{2}|| & 0 \\ 0 & 0 & ||x_{3}|| \end{bmatrix} = Q\Omega$
로 QR분해할 수 있다.

따라서 $S\Lambda S^{-1} = (Q\Omega )\Lambda (Q\Omega )^{-1} = (Q\Omega )^{-T}\Lambda (Q\Omega )^{T}$이고
정리하면 $Q\Lambda Q^{-1} = Q^{-T}\Lambda Q^{T}$가 된다.
따라서 $A = Q\Lambda Q^{T}$가 성립한다.

참고로 실수 대칭행렬 A의 서로 다른 고유값들에 대한 고유벡터들은 서로 수직이다.

A가 대칭행렬이라면, pivot값의 곱과 고유값의 곱이 동일하다.

$|A| = |L||U| = |U|$ = pivot값의 곱
$|A| = |Q||\Lambda||Q^{T}| = |\Lambda||QQ^{T}| = |\Lambda|$ = 고유값의 곱

대칭행렬이면서 고유값들이 모두 양수인(따라서 pivot도 모두 양수)
행렬을 양정치행렬(positive definite matrix)라고 한다.
양정치행렬 A는 R^TR로 표현할 수 있고
x ≠ 0이면 x^TAx > 0 이다.

이러한 성질을 이용하면 함수의 극소값을 찾을 수도 있다.

---

정방행렬 A에 대해 B=M^-1AM 행렬을 나타낼 수 있다면
A행렬과 B행렬을 유사행렬(similar matrix)라고 한다.

유사행렬들은 서로 같은 고유값과 같은 개수의 선형독립 고유벡터를 가진다.

---

특잇값 분해
(SVD, Singular Value Decomposition)

m×n 행렬 A에 대해 A^TA의 고유값의 양의 제곱근 $\sqrt{\lambda}$을 A의 특잇값이라 한다.
특잇값은 크기 순서대로 나열한다.

임의의 랭크가 r인 m×n 행렬 A는 다음과 같이 분해할 수 있다.
$A = U\Sigma V^{T}$

A는 r개의 양의 특잇값을 가진다.
m×n 행렬 $\Sigma$은 $\begin{bmatrix} \sigma_{1} & & & \\ & \ddots & & \\ & & \sigma_{r} & \\ & & & 0 \end{bmatrix}$ 로 정의한다.
U는 AA^T의 고유벡터들로 이루어진 m×m 행렬이고 A의 열공간에 속한다.
V는 A^TA의 고유벡터들로 이루어진 n×n 행렬이고 A의 행곡간에 속한다.
그리고 v 혹은 u는 서로 수직인 벡터들이다.

 

따라서 $Av_{1} = \sigma_{1}u_{1}, \cdots , Av_{n} = \sigma_{n}u_{n}$이다.

 

$A^{T}A = V\Sigma^{2}V^{T} = V\Lambda V^{T}$이므로
즉, V와 $\Lambda$는 EVD를 통해 찾을 수 있다.
$U = AV\Sigma^{-1}$로 U를 구할 수 있다.

$AA^{T} = U\Sigma^{2}U^{T} = U\Lambda U^{T}$이므로
U와 $\Lambda$는 EVD를 통해 찾을 수 있다.
$V = A^{T}U\Sigma^{-1}$로 V를 구할 수 있다.

 

r개의 v 혹은 u는 A의 행공간 혹은 열공간에 속한다.
따라서 나머지 n-r개의 고유벡터들은 Gram-Schmidt으로 찾을 수 있다.
이때 추가적인 고유벡터들은 특이값 0에 대응된다.