중심극한정리(Central limit theorem)

하나의 값을 뽑는 분포를 로 고르고, 그런 값을 $n =$ 개 뽑아 평균을 냅니다. 이 실험을 5000번 반복해 평균들의 분포를 히스토그램⁠(histogram)⁠으로 그렸습니다. 가로축은 평균을 표준화한 값 $z = (\bar X - \mu)/(\sigma/\sqrt n)$입니다. 표준화란 참 평균 μ를 빼서 중심을 0에 맞추고, 평균들이 흩어지는 폭 $\sigma/\sqrt n$으로 나누어 눈금을 맞추는 일입니다. 그래야 n이 달라도 같은 눈금에서 모양을 비교할 수 있습니다. 다시 뽑기

n = 1에서는 원래 분포가 보입니다. 주사위는 평평하고, 대기 시간(지수분포⁠, exponential distribution⁠)은 한쪽으로 크게 치우쳤고, 동전은 막대 두 개뿐입니다. 그런데 n을 늘리면 모두 같은 종 모양에 다가갑니다. 다만 빠르기는 다릅니다. 치우친 대기 시간은 n이 10쯤일 때도 왼쪽이 가파르고 오른쪽 꼬리가 긴 모양이 남아 있습니다. 원래 분포가 치우칠수록 더 큰 n이 필요합니다. 원래 분포가 남기는 것은 평균 μ와 분산 σ²뿐이고, 그 밖의 개성(치우침, 막대가 몇 개인지)은 더하는 동안 지워집니다. 정확히 말하면, 서로 독립이고 분포가 같으며 분산이 유한한 확률변수 n개의 평균을 위처럼 표준화하면, n이 커질수록 그 분포가 표준정규분포(μ = 0, σ = 1인 정규분포⁠(normal distribution)⁠)에 한없이 가까워집니다. 동전 던지기의 앞면 수인 이항분포⁠(binomial distribution)⁠가 종 모양이 되는 것은 이 정리를 동전에 적용한 한 경우입니다.

평균은 큰 수의 법칙⁠(law of large numbers)⁠에 따라 μ로 모이지만, 모이는 폭이 $\sigma/\sqrt n$로 줄어들 뿐 사라지지는 않습니다. 그 폭을 $\sqrt n$배로 확대해 들여다보면 정규분포가 보인다는 것이 이 정리입니다. 무작위 행보⁠(random walk)⁠가 n걸음 뒤에 종 모양으로 퍼지는 것도 같은 이야기입니다.

왜 하필 정규분포일까요? 두 독립 변수의 합이 어떤 값 s가 될 확률⁠(probability)⁠은, 합이 s가 되는 모든 짝 (x, s − x)의 확률을 곱해 더한 것입니다. 두 주사위의 합이 7일 확률을 (1, 6), (2, 5), …, (6, 1)의 확률을 모두 더해 구하는 것과 같습니다. 두 분포를 이렇게 섞는 계산을 합성곱이라고 하는데, n번 되풀이하면 금방 손을 댈 수 없게 됩니다.

그래서 분포를 다른 모양으로 바꿔 적습니다. 분포를 푸리에 변환한 것, 곧 $\varphi(t) = E[e^{itX}]$를 특성함수라고 하는데, 독립 변수의 합의 특성함수⁠(characteristic function)⁠는 각 특성함수의 곱입니다. 합성곱⁠(convolution)⁠이 곱으로 바뀌는 것입니다. 평균 0, 분산 1인 변수의 특성함수는 t = 0 근처에서 $1 - t^2/2 + (\text{더 작은 항})$이고, n개를 더해 $\sqrt n$으로 나누면 특성함수는 $\left(1 - \tfrac{t^2}{2n} + \cdots\right)^n$이 됩니다. n이 커지면 이 값은 $e^{-t^2/2}$로 다가가고, 원래 분포의 개성이 담긴 '더 작은 항'들은 사라집니다(이 극한⁠(limit)⁠은 로그를 취해 계산합니다). 그런데 $e^{-t^2/2}$가 바로 표준정규분포의 특성함수입니다. 가우스 곡선은 푸리에 변환해도 다시 가우스 곡선이 되는 함수라서, 이 극한이 곧 정규분포로 돌아옵니다. 마지막으로 '특성함수가 수렴⁠(convergence)⁠하면 분포도 수렴한다'는 레비의 연속성⁠(continuity)⁠ 정리가 이 계산을 분포에 대한 결론으로 바꿔 줍니다.

분산이 유한하다는 조건은 빼면 안 됩니다. 아주 큰 값이 드물지 않게 나와서 분산이 무한한 분포는 평균을 내도 종 모양으로 모이지 않을 수 있습니다. 코시 분포가 극단적인 예입니다. 이 분포는 기댓값조차 없고, n개의 평균이 원래와 똑같은 코시 분포⁠(Cauchy distribution)⁠를 따라서 아무리 많이 평균 내도 조금도 좁아지지 않습니다. 반면 '분포가 같다'는 조건은 누그러뜨릴 수 있습니다. 서로 다른 분포라도 어느 하나가 합을 좌우하지만 않으면 같은 결론이 나옵니다. 이 정리는 1733년 드무아브르의 동전 계산에서 시작해 1810년 라플라스가 일반적인 합으로 넓혔고, 1901년 러시아의 수학자 알렉산드르 랴푸노프가 특성함수를 써서 엄밀하게 증명했습니다.