상관관계(Correlation)

공부한 시간과 시험 점수, 키와 몸무게처럼 짝지어진 두 값을 점 하나로 찍은 그림을 산점도라고 합니다. 두 값이 함께 커지는 경향이 있으면 점들은 오른쪽 위로 기운 구름이 되고, 그 경향의 세기와 방향을 −1에서 1 사이의 수 하나로 잰 것이 상관계수 $r$입니다. 지금 $r =$ 입니다. 다시 뽑기

r은 이렇게 셉니다. 점마다 x가 평균에서 벗어난 양과 y가 평균에서 벗어난 양을 곱합니다. 둘 다 평균보다 크거나 둘 다 작은 점(노랑)은 곱이 양수, 한쪽만 큰 점(파랑)은 음수입니다. 이 곱의 평균이 공분산⁠(covariance)⁠이고, 공분산을 두 표준편차⁠(standard deviation)⁠의 곱으로 나눠 단위를 없앤 것이 r입니다. 점마다 곱의 크기가 다르니 개수만 세는 것은 아닙니다. 평균에서 멀리 떨어진 노란 점이 많을수록 r은 1 쪽으로, 그런 파란 점이 많을수록 −1 쪽으로 갑니다. 이 수는 1888년 프랜시스 골턴이 몸의 여러 치수가 함께 변하는 정도를 재려고 처음 생각했고, 1896년 칼 피어슨이 지금의 식으로 다듬었습니다. 그래서 '피어슨 상관계수'라고도 부르며, 근대 통계학⁠(statistics)⁠의 첫 도구 가운데 하나가 되었습니다.

상관계수는 회귀 직선의 기울기⁠(slope)⁠가 아닙니다. y의 단위를 바꿔 세로로 배 늘여 보세요. 지금 r은 그대로인데, 회귀 직선의 기울기 따라 변합니다. 기울기는 $r\,\sigma_y/\sigma_x$라서, $|r| \lt 1$인 한 기울기가 $\pm\sigma_y/\sigma_x$인 표준편차 직선보다 늘 완만합니다. 이 차이가 평균으로의 회귀⁠(regression to the mean)⁠의 정체입니다.

기하⁠(geometry)⁠로 보면 r은 코사인입니다. 편차 $x_i-\bar x$들을 모아 n차원 벡터⁠(vector)⁠ 하나를, y의 편차로 또 하나를 만들면 공분산은 두 벡터의 내적⁠(dot product)⁠에 비례하고, r은 두 벡터 사이 각 θ의 코사인입니다. 코사인⁠(cosine)⁠이니 r의 크기는 결코 1을 넘지 않고, $r = \pm 1$은 모든 점이 (가로나 세로가 아닌) 한 직선 위에 있을 때뿐입니다. y 벡터를 x 벡터에 정사영⁠(orthogonal projection)⁠하면, y 벡터는 x 방향 성분(길이가 원래 길이의 $|\cos\theta| = |r|$배)과 그에 수직인 나머지로 갈라집니다. 길이의 제곱이 분산⁠(variance)⁠에 비례하므로 피타고라스 정리⁠(Pythagorean theorem)⁠에 따라 y의 분산 가운데 $r^2$만큼이 x에 대한 직선으로 설명되고, 나머지 $1-r^2$가 오차로 남습니다. r = 0.5라면 설명되는 몫은 절반이 아니라 4분의 1입니다.

그러나 r 하나가 그림을 대신할 수는 없습니다. 아래 네 자료는 영국 출신 통계학자 프랜시스 앤스컴이 1973년에 만든 것('앤스컴 콰르텟⁠(Anscombe's quartet)⁠')으로, 평균과 분산, r(약 0.816), 회귀 직선($y \approx 3 + 0.5x$)이 거의 같습니다. 그런데 그림은 전혀 다릅니다. II는 곡선이고, III와 IV에서는 점 하나가 r을 크게 좌우합니다. 노란 점을 끌어 보세요. 원래대로

r은 직선적인 관계만 잽니다. $y = x^2$처럼 x가 y를 완전히 정하는데도, x값들이 0을 중심으로 좌우 대칭으로 퍼져 있으면 r은 0입니다. 그러니 r = 0은 '직선 관계가 없다'는 뜻이지 '서로 무관하다(독립⁠(independence)⁠이다)'는 뜻이 아닙니다. 반대로 r이 크다고 해서 원인과 결과를 알려 주지도 않습니다. 더운 날에는 아이스크림도 많이 팔리고 물놀이 사고도 많지만, 아이스크림이 사고를 부르지는 않습니다. 둘을 함께 움직이는 교란 변수(기온)가 있을 뿐입니다. 집단을 합치느냐 나누느냐에 따라 상관의 부호가 뒤집히는 심슨의 역설⁠(Simpson's paradox)⁠도 있습니다. 인과⁠(causation)⁠를 가장 확실하게 재는 방법은 무작위 대조 시험⁠(randomized controlled trial)⁠처럼 원인을 직접 바꿔 보는 것입니다. 관찰 자료만으로 인과를 말하려면, 교란이 모두 고려되었다는 것 같은 가정을 따로 세우고 따져야 합니다.

이어지는 곳. 변수가 여럿이면 짝마다의 공분산을 모은 공분산 행렬⁠(covariance matrix)⁠이 생기고, 그 고유벡터⁠(eigenvector)⁠가 주성분 분석⁠(principal component analysis)⁠의 축입니다. 두 값이 함께 정규분포⁠(normal distribution)⁠를 따르면 산점도⁠(scatter plot)⁠는 타원⁠(ellipse)⁠ 모양이 되고, r은 두 표준편차와 함께 그 타원이 얼마나 가늘고 어느 쪽으로 기울었는지를 정합니다. 이렇게 함께 정규분포를 따를 때는 r = 0이 곧 독립을 뜻하지만, 일반적으로는 그렇지 않습니다. 두 대상이 얼마나 닮았는지를 내적으로 재는 생각은 푸리에 급수⁠(Fourier series)⁠에서도 그대로 쓰입니다. 함수⁠(function)⁠ 하나에 사인파⁠(sinusoid)⁠가 얼마나 들어 있는지(푸리에 계수)를 그 함수와 사인파의 내적으로 구하기 때문입니다. y = x²처럼 휘어진 관계는 r이 0에 가까워도 x가 y를 크게 알려 주는데, 모양과 상관없이 의존의 크기를 재는 것이 상호 정보량⁠(mutual information)⁠입니다. 상호 정보량은 두 변수가 독립일 때, 그리고 그때만 0입니다.

두 벡터 사이 각의 코사인으로 닮음을 재는 코사인 유사도⁠(cosine similarity)⁠는 문서 검색과 추천에서 흔히 쓰입니다. 두 데이터 열에서 각각 평균을 뺀 다음 코사인 유사도를 구하면, 위에서 본 대로 그것이 바로 상관계수입니다.