열공간(Column space)

행렬 $A$에 벡터 $\vec x$를 곱하면 $A\vec x = x_1\vec a_1 + x_2\vec a_2$, 곧 열들을 $x_1$배, $x_2$배 해서 이어 붙인 벡터가 됩니다(열 그림). $\vec x$를 모든 값으로 바꿔 가며 얻는 벡터 전체가 열공간입니다. 아래 행렬은 열이 2개, 행이 3개라 두 열은 3차원 공간의 벡터이고, 두 열의 방향이 다르면 열공간은 원점을 지나는 평면입니다. $x_1 =$ , $x_2 =$ 이면 $A\vec x =$ 입니다.

목표를 b = (, , )로 둡니다. $A\vec x = \vec b$는 b가 열공간 안에 있을 때만, 그리고 그때는 반드시 풀립니다. 지금 b와 열공간 사이의 거리는 이고, b를 열공간으로 내리기

열을 로 바꿔 보세요. 둘째 열이 첫째 열의 배수⁠(multiple)⁠이면 새 방향이 생기지 않아 열공간은 직선으로 쪼그라듭니다. 열공간의 차원을 행렬의 계수(rank)라 하고, 지금은 입니다. 계수는 가우스 소거법⁠(Gaussian elimination)⁠을 마친 뒤 남는 피벗⁠(pivot)⁠의 개수와 같습니다. 정사각행렬⁠(square matrix)⁠은 열공간이 공간 전체일 때, 곧 행렬식⁠(determinant)⁠이 0이 아닐 때만 모든 b에 대해 풀립니다. 선형변환⁠(linear transformation)⁠으로 보면 열공간은 변환이 공간 전체를 보내는 곳, 곧 치역입니다.

풀리지 않을 때는 열공간에서 b에 가장 가까운 점으로 만족합니다. 그 점은 b를 평면에 내린 정사영⁠(orthogonal projection)⁠이고, 오차 $\vec b - A\hat x$는 평면과 수직입니다(정사영). 수직이라는 조건을 두 열과의 내적⁠(dot product)⁠이 0이라는 식으로 쓰면 정규방정식⁠(normal equations)⁠ $A^{\top}A\hat x = A^{\top}\vec b$가 나옵니다. 지금 $\hat x =$ 입니다. 노란 점과 b 사이의 거리 $|\vec b - A\vec x| =$ x를 x̂로 옮기면 b와 열공간 사이의 거리까지 줄어듭니다.

이어지는 곳. 관측값을 벡터 b로, 모형이 만들 수 있는 예측 전체를 열공간으로 보면 최소제곱 회귀⁠(least-squares regression)⁠가 바로 이 그림입니다. 관측이 12개면 b는 12차원 벡터일 뿐 계산은 같습니다. 서로 수직인 사인파⁠(sinusoid)⁠들을 열로 두면 정사영의 계수가 푸리에 급수⁠(Fourier series)⁠의 계수가 되고, 데이터가 가장 넓게 퍼진 몇 방향이 펼치는 공간을 찾는 것이 주성분 분석⁠(principal component analysis)⁠입니다. 정사각행렬 $A$의 고유값⁠(eigenvalue)⁠ $\lambda$는 $A - \lambda I$의 열공간이 쪼그라드는(계수가 줄어드는) 값입니다. 계수가 r인 행렬의 열공간은 특잇값 분해⁠(singular value decomposition)⁠에서 0이 아닌 특잇값⁠(singular value)⁠ r개에 딸린 출력 쪽 축들이 펼치는 공간이고, 큰 특잇값 몇 개만 남기면 계수가 더 낮은 행렬 가운데 원래 행렬에 가장 가까운 것이 됩니다(에카르트–영 정리⁠, Eckart–Young theorem⁠).

열공간은 A의 열들을 포함하는 가장 작은 부분공간⁠(subspace)⁠이기도 합니다. 벡터들의 집합⁠(set)⁠ S를 포함하는 가장 작은 부분공간을 S의 선형 생성 $\mathrm{span}(S)$라 하는데, 부분공간 W마다 $\mathrm{span}(S)\subseteq W \iff S\subseteq W$가 성립합니다. 이런 짝 관계를 갈루아 연결⁠(Galois connection)⁠이라 하고, 그 결과 선형 생성은 S를 늘리기만 하고($S \subseteq \mathrm{span}(S)$) 두 번 해도 한 번 한 것과 같은 닫힘 연산⁠(closure operator)⁠이 됩니다.