정사영(Orthogonal projection)
점에서 직선(또는 평면)으로 수선(perpendicular)을 내려 만나는 곳. 그 직선 위에서 가장 가까운 점이며, 오차는 직선과 수직이다.
직선 위에서 점 P에 가장 가까운 곳은 어디일까요? P에서 직선으로 수선을 내린 발입니다. 초록 점을 직선 위에서 움직여 보세요. 거리
"가장 가깝다"와 "오차가 수직이다"는 같은 말입니다. 직선 위의 다른 점 Q를 고르면 P, 수선의 발, Q가 직각삼각형(right triangle)을 이루고, P에서 Q까지는 그 빗변(hypotenuse)이라 수선보다 깁니다(피타고라스).
계산은 내적(dot product) 하나면 됩니다. 그림처럼 직선이 원점을 지날 때, 직선 방향의 길이 1인 벡터를
정사영도 선형변환(linear transformation)이라 행렬(matrix) P로 쓸 수 있습니다. 이미 직선 위에 있는 점은 그대로 있으니 두 번 해도 한 번 한 것과 같습니다(
이 그림이 데이터 분석의 핵심입니다. 점 다섯 개에 가장 잘 맞는 직선
같은 생각이 다른 곳에도 나옵니다. 푸리에 계수는 함수(function)를 서로 수직인 사인파(sinusoid)들 각각의 방향으로 정사영해 구합니다. 주성분 분석(principal component analysis)은 데이터를 어느 직선에 정사영했을 때 그림자들이 가장 넓게 퍼지는지 찾습니다.
삼각형에서도 쓰입니다. 변 b를 변 a 위로 정사영한 그림자의 길이는
이 개념이 나오는 긴 글
이 개념 위에 세워진 것
이 개념을 언급하는 페이지
- 선형변환
… 찾는 문제가 연립일차방정식입니다. 평면의 모든 점을 한 직선 위로 수직으로 내려 버리는 선형변환은정사영입니다. 변환이 보낼 수 있는 도착점을 모두 모은 것이 열공간입니다. 행렬 A와 벡터 b가 주어졌을 때 …
- 내적
… 좌표축으로 삼아 함수를 나타내는 것이 푸리에 급수입니다. 직선이나 평면 위에서 가장 가까운 점을 찾는정사영과, 데이터에 가장 잘 맞는 직선을 찾는 최소제곱법도 내적으로 계산합니다. 입력 x_1, x_2 에 …
- 연립일차방정식과 역행렬
… x = A^{\mathsf T}\vec b (정규방정식)를 풀어 얻고, 이것은 b를 A의 열공간에정사영하는 일과 같습니다. 식이 셋 이상이면 한 식에 수를 곱해 다른 식에서 빼는 조작으로 변수를 하나씩 지워 …
- 코사인 법칙
… ab cos C)은 변 b를 변 a 위로 내린 그림자 b cos C에 a를 곱한 것입니다. 보정항의 정체는정사영입니다. 변 b 를 변 a 가 놓인 직선에 내린 그림자의 길이가 b\cos C 이고, 여기에 a 를 곱한 …
- 푸리에 급수
… \sin kx 와 자기 자신의 내적이 π라서 위 식에 1/\pi 이 붙습니다). 서로 수직인 축들에 벡터를정사영해 성분을 읽는 것과 똑같은 일을 무한 차원에서 하는 셈입니다. 여기 세 파동은 모두 원점을 중심으로 …
- 최소제곱 회귀
… \vec y 에서 이 평면 위 점까지의 거리의 제곱이므로, 가장 가까운 점, 곧 \vec y 를 평면에정사영한 점이 회귀 직선의 예측값입니다. 정사영에서는 남은 오차 벡터가 평면과 수직입니다. 이 조건을 …
- 주성분 분석
… 파랑과 빨강 화살표가 주성분입니다. 어떤 방향 \vec u 를 골라 모든 점을 그 직선에정사영하면, 투영된 값들의 분산은 입니다. 방향을 돌리면 이 값이 바뀌고, 가장 커지는 방향( )이 제1 …
- 중앙값
… 부릅니다. 이 차이는 직선 맞추기로 그대로 이어집니다. 세로 오차의 제곱 합을 줄이는 최소제곱 회귀는정사영한 번으로 풀리지만 이상값 하나에 크게 끌려가고, 절댓값 합을 줄이는 직선은 강건한 대신 공식이 아니라 …
- 열공간
… 그 점은 b를 평면에 내린 정사영 이고, 오차 \vec b - A\hat x 는 평면과 수직입니다(정사영). 수직이라는 조건을 두 열과의 내적이 0이라는 식으로 쓰면 정규방정식 A^{\top}A\hat x …
- 상관관계
… = \pm 1 은 모든 점이 (가로나 세로가 아닌) 한 직선 위에 있을 때뿐입니다. y 벡터를 x 벡터에정사영하면, y 벡터는 x 방향 성분(길이가 원래 길이의 |\cos\theta| = |r| 배)과 그에 수직인 …
- 평균으로의 회귀
… 1로 맞춘 뒤) 학생들의 두 점수를 각각 벡터로 보면, 회귀 기울기 ρ는 한 벡터를 다른 벡터에정사영했을 때 줄어드는 배율이고, 두 벡터의 내적을 학생 수로 나눈 값입니다. 여기서는 두 점수가 …
- 교란 변수
… 관계가 직선적이라면 회귀에 Z를 함께 넣는 것도 같은 일입니다. X와 Y에서 Z로 설명되는 부분을정사영으로 떼어 내고, 남은 오차끼리 비교하는 셈입니다. 하지만 조정은 교란 변수를 알고, 쟀을 때만 할 수 …
- 코사인 유사도
… a\cdot\vec b = 따라 변하지만 코사인은 그대로입니다. 내적은 a의 길이 에 b를 a 방향으로정사영한 그림자의 길이 를 곱한 것이라 길이와 방향이 섞여 있고, 코사인 유사도는 두 벡터를 먼저 길이 1로 …
- 거리 함수
… k-평균 군집은 일부러 이 제곱 거리를 줄입니다. 제곱은 매끄러워서 미분하기 쉽고, 내적과정사영으로 답이 깔끔하게 나오기 때문입니다. 비슷함을 재는 값을 거리로 바꿀 때도 조심해야 합니다. 1에서 …
- Lp 노름
… \|\mathbf x\|_2^2 = \mathbf x\cdot\mathbf x ). 그래서 각도, 직교,정사영, 최소제곱의 선형 회귀, 주성분 분석은 모두 L2의 세계에 삽니다. p = 1의 마름모는 꼭짓점이 …
- 단어 임베딩
… 붙은 특징과, 이름 없는 무작위 특징 네 개를 주어 23차원 벡터를 만들고, 알아보기 좋게 고른 평면에정사영해 그렸습니다. 실제 임베딩은 수백 차원이고 차원마다 이름도 없습니다. 보기: 점 하나가 낱말 하나입니다. …
- 르베그 적분과 측도
… 곳이 없는 것과 같은 사정이고, 르베그 적분은 함수의 세계에 실수 같은 빈틈없음을 주었습니다. 계수를정사영으로 보는 기하학적 그림도 이 위에서 완성됩니다. 한편 1922년 콜모고로프는 르베그 적분이 가능한데도 …
- 근사 이론
… 필요한지는 따로 따져야 합니다. 이어지는 곳. 최대 오차 대신 오차의 제곱합을 줄이면 최소제곱과정사영의 문제가 되고, 그 연속판이 푸리에 급수입니다. 어느 잣대로 재느냐에 따라 '가장 좋은' 답이 …
- 편향–분산 분해
… ). 맞춘 값들의 벡터는 y를 계수 d + 1개로 만들 수 있는 벡터들의 공간(열공간)에 내린정사영이고, 정사영 행렬 H는 H^2 = H , H^{\mathsf T} = H 라서 \sum_{i,j} …
- 교차 검증과 일반화
… 자료의 오차는 1.2\sigma^2 입니다. 잔차 벡터는 잡음을 계수 p개로 설명할 수 없는 방향에 내린정사영이라 그 제곱 길이의 기댓값이 \sigma^2(n-p) 이기 때문입니다(편향–분산 분해). 둘의 차이 …
- 서포트 벡터 머신과 커널
… w\cdot\vec x + b|/\lVert\vec w\rVert 입니다. 점을 \vec w 방향으로정사영한 길이를 재는 셈이라 내적이 들어갑니다. w와 b에 같은 수를 곱해도 직선은 그대로이므로, 가장 …
- 특잇값 분해
… x - \vec b|^2 을 가장 작게 하는 x 가운데 길이가 가장 짧은 것입니다(최소제곱법,정사영). 경사 하강법이 길쭉한 골짜기에서 느린 까닭도 같은 종류의 수, 곧 이계도함수를 모은 ⟦헤세 …
- 오토인코더와 잠재 공간
… 디코더는 x̂ = z w로 그 수를 다시 점으로 펼칩니다. 그러니 x̂는 x를 w 방향 직선에 내린정사영입니다. 청록 화살표 w를 끌어 돌려 보세요. 첫 주성분으로 분홍 선분이 점마다의 복원 오차입니다. 지금 …
- 라돈 변환과 CT
… 흐림 같은 합성곱이 주파수마다의 곱셈이 된다는 생각입니다. 측정 하나가 직선 위의 적분이라는 것은정사영과 닮았습니다. 둘 다 한 방향을 눌러 없애 차원을 하나 낮춥니다. 다만 정사영은 점을 옮기기만 하고, …