대각화와 행렬 거듭제곱(Diagonalization and matrix powers)

한 벡터⁠(vector)⁠에 같은 행렬을 거듭 곱하면 어떻게 될까요? 노란 출발점에서 $\vec v, A\vec v, A^2\vec v, \dots$를 번까지 찍어 봅시다. 점들은 곧 한 방향(주황 점선)으로 줄을 섭니다. 절댓값⁠(absolute value)⁠이 가장 큰 고유값에 속한 고유벡터의 방향입니다.

이유는 고유벡터 좌표계에 있습니다. 출발 벡터를 두 고유벡터의 조합 $c_1\vec e_1 + c_2\vec e_2$로 쓰면 $A^n\vec v = c_1\lambda_1^n\vec e_1 + c_2\lambda_2^n\vec e_2$입니다. $|\lambda_1| > |\lambda_2|$이면 $\lambda_1^n$이 $\lambda_2^n$보다 훨씬 빨리 커지니, $c_1 \ne 0$인 한 첫 항이 점점 압도합니다. 예를 들어 $\lambda_1 = 2$, $\lambda_2 = 0.5$이면 10번 곱한 뒤 두 배율의 비는 $4^{10}$, 약 백만 배입니다. 같은 이야기를 행렬로 하면, 고유벡터들을 좌표축으로 삼아 행렬을 다시 쓰면 대각선 밖이 모두 0인 대각행렬 $D = \begin{bmatrix}\lambda_1 & 0\\ 0 & \lambda_2\end{bmatrix}$이 되고, 대각행렬의 n제곱은 대각선의 수를 각각 n제곱한 것일 뿐입니다. 고유벡터들을 열로 세운 행렬을 $P$라 하면 $A = PDP^{-1}$이니 $A^n = PD^nP^{-1}$입니다. 이렇게 고쳐 쓰는 일을 대각화라 합니다. 고유벡터가 모자라면(평면을 한 방향으로 미는 행렬처럼) 대각화⁠(diagonalization)⁠할 수 없습니다. 반면 고유값이 서로 다르면 고유벡터들이 언제나 축을 모두 채우니 대각화됩니다(고유값이 복소수⁠(complex number)⁠이면 복소수 좌표까지 허락해서).

대각화는 거듭제곱에만 쓰이지 않습니다. 실수⁠(real number)⁠ 대칭 행렬⁠(symmetric matrix)⁠은 서로 수직인 고유벡터 축으로 돌리면 언제나 대각행렬이 되므로, 이차식의 섞인 항(xy 항)을 없애는 표준 방법이기도 합니다. 원뿔곡선⁠(conic section)⁠의 방정식을 이 축으로 다시 쓰면 타원⁠(ellipse)⁠, 포물선⁠(parabola)⁠, 쌍곡선⁠(hyperbola)⁠이 기울어지지 않은 제 모습을 드러냅니다. 대칭이 아니거나 정사각형이 아닌 행렬도 입력 쪽과 출력 쪽의 수직 축을 따로 고르면 대각행렬로 쓸 수 있는데, 이것이 특잇값 분해⁠(singular value decomposition)⁠이고 입력 쪽 축은 대칭 행렬 $A^{\mathsf T}A$의 고유벡터입니다.

이 생각이 여러 분야를 한 번에 설명합니다.

• 피보나치 수열⁠(Fibonacci sequence)⁠의 이웃한 두 항은 $\begin{bmatrix}F_{n+1}\\F_n\end{bmatrix} = \begin{bmatrix}1&1\\1&0\end{bmatrix}^n\begin{bmatrix}1\\0\end{bmatrix}$입니다. 이 행렬의 고유값은 황금비⁠(golden ratio)⁠ φ ≈ 1.618과 −1/φ ≈ −0.618이고, 앞의 것이 압도하니 이웃한 두 항의 비 $F_{n+1}/F_n$은 φ에 다가갑니다.
• 마르코프 연쇄⁠(Markov chain)⁠를 오래 돌렸을 때 확률⁠(probability)⁠ 분포가 한 분포로 다가간다면, 그 분포는 한 단계를 더 가도 바뀌지 않으니, 전이 행렬⁠(transition matrix)⁠의 고유값 1에 속한 고유벡터입니다.
• 선형 미분방정식⁠(linear differential equation)⁠ $\vec x' = A\vec x$에서는 곱하기를 거듭하는 대신 시간이 흐릅니다. 고유벡터 방향의 성분은 시간 t 뒤에 $e^{\lambda t}$배가 되고, 해는 이런 성분들의 합입니다. 행렬 전체로 적으면 $\vec x(t) = e^{At}\vec x(0)$입니다.
• 아무 벡터에서 출발해 행렬을 거듭 곱하기만 해서 가장 큰 고유값의 고유벡터를 찾는 이 계산을 거듭제곱법⁠(power iteration)⁠이라 합니다. 웹 페이지의 중요도를 매기는 PageRank가 이 방법으로 계산됩니다. 링크를 따라 무작위로 돌아다니는 사람이 오래 뒤에 각 페이지에 있을 확률이 곧 그 페이지의 점수이고, 이것이 링크 행렬의 고유값 1에 속한 고유벡터이기 때문입니다.
• 언어 모델⁠(language model)⁠에도 쓰이는 상태 공간 모형⁠(state space model)⁠은 상태를 $h_t = \bar A h_{t-1} + \bar B u_t$로 갱신합니다. $\bar A$를 대각화하면 상태가 서로 섞이지 않는 성분으로 나뉘어 성분마다 고유값의 거듭제곱으로 과거를 잊으므로, S4D와 Mamba는 처음부터 A를 대각행렬로 둡니다.