정규분포(Normal distribution)
평균(mean) μ를 중심으로 표준편차(standard deviation) σ만큼 퍼진 종 모양 분포. 서로 독립(independence)인 작은 요인이 많이 더해지면, 어느 하나가 압도하지 않는 한 합이 이 모양에 가까워진다.
정규분포는 두 수로 결정됩니다. 중심
어떤 μ와 σ든 ±1σ 안에 약 68.3%, ±2σ 안에 95.4%, ±3σ 안에 99.7%가 들어갑니다. σ를 잣대로 쓰면 모든 정규분포가 같은 모양이기 때문입니다. 곡선의 모양은 지수함수(exponential function)
앞의 상수
정규분포가 도처에 있는 이유는 중심극한정리(central limit theorem)입니다. 서로 독립인 작은 요인들을 많이 더하면, 각 요인의 분산(variance)이 유한하고 어느 하나가 합을 좌우하지 않는 한, 요인들의 분포와 상관없이 합이 이 모양에 가까워집니다. n걸음 뒤 무작위 행보(random walk)의 위치와 많은 측정 오차가 그렇고, 사람의 키도 성별을 나누어 보면 대략 그렇습니다. 그 폭은 분산이 정합니다. 거꾸로 그림을 조금씩 줄이면서 정규분포 잡음을 더하기를 되풀이하면 어떤 그림이든 결국 표준정규분포(standard normal distribution)의 표본(sample)과 구별할 수 없게 되는데, 이 과정을 거꾸로 돌리도록 신경망(neural network)을 학습시킨 것이 확산 모델(diffusion model)입니다.
이 곡선은 1733년 드무아브르가 동전을 많이 던졌을 때 앞면 수의 분포(이항분포, binomial distribution)를 어림하다가 처음 찾았습니다. 1809년 가우스는 천체 관측값의 오차가 이 분포를 따른다고 보고 최소제곱법(method of least squares)을 정당화했고, 그래서 '가우스 분포(Gaussian distribution)'라는 이름이 붙었습니다. 곧이어 1810년 라플라스가 작은 오차들의 합이 이 모양이 된다는 것, 곧 중심극한정리의 한 형태를 내놓았습니다.
골턴은 부모와 자식의 키를 정규분포로 다루다가, 키가 큰 부모의 자식이 평균 쪽으로 돌아오는 경향을 찾았습니다(평균으로의 회귀, regression to the mean).
키와 몸무게처럼 두 변수를 함께 보면, 정규분포는 평면 위의 언덕이 됩니다. 언덕 높이(확률밀도, probability density)가 같은 점들을 이은 등고선은, 두 변수가 서로 관계가 없으면 원이나 축에 나란한 타원(ellipse)이고, 한쪽이 클 때 다른 쪽도 큰 경향(상관)이 있으면 기울어진 타원입니다. 이 타원을 원으로 펴는 변환을 한 다음 잰 거리가 마할라노비스 거리(Mahalanobis distance)입니다. 흩어짐이 큰 방향으로는 멀리 떨어져도 덜 이상하다고 보는 거리입니다.
평균과 분산만 정해 두고 그 밖에는 아무것도 가정하지 않는 분포를 고르고 싶다면, 가장 예측하기 어려운 분포, 곧 엔트로피(entropy)가 가장 큰 분포를 고르는 것이 원칙입니다(최대 엔트로피 원리, principle of maximum entropy). 실수(real number) 위의 연속분포 가운데 평균과 분산이 정해진 것들을 모아 보면, 엔트로피가 가장 큰 것이 바로 정규분포입니다. 그래서 잡음의 모양을 모를 때 정규분포로 두는 것이 가장 조심스러운 선택입니다. 거꾸로, 잡음의 세기(전력, 곧 잡음 값의 제곱의 평균)가 같다면 정규분포 잡음이 통신을 가장 크게 방해합니다. 섀넌–하틀리 공식이 정규분포 잡음을 두고 계산되는 이유입니다(섀넌–하틀리 정리(Shannon–Hartley theorem)).
이 개념이 나오는 긴 글
이 개념 위에 세워진 것
이 개념을 언급하는 페이지
- 정적분
… 전체 넓이는 √π입니다. 이 곡선을 가로로 늘이고 높이를 맞춰 전체 넓이가 1이 되게 한 것이 표준정규분포입니다. 확률을 넓이로 셀 수 있다는 사실은 뜻밖의 곳에서 π를 불러냅니다. 바늘 길이와 같은 간격의 …
- 가우스 적분
… 점입니다. 그래서 점을 원점에서의 거리와 각도로 적는 극좌표로 보면 계산이 쉬워집니다. 이 결과가정규분포앞에 붙는 1/\sqrt{2\pi} 의 출처입니다. \int e^{-x^2/2}dx = …
- 지수함수 eˣ
… 것이 오일러 공식입니다. eˣ를 되돌리는 함수가 자연로그이고, 지수에 −x²을 넣은 종 모양 곡선은정규분포와 가우스 적분의 주인공입니다. p가 작을 때 (1 − p)ⁿ ≈ e^(−np)로 근사해 작은 확률들의 …
- 분산과 표준편차
… 배가 됩니다. 분산이 n배가 되고, 표준편차는 그 제곱근이기 때문입니다(무작위 행보). 분산은정규분포의 폭을 정합니다. 회귀가 줄이려는 오차 제곱합도, 주성분 분석이 최대로 만드는 퍼짐도 모두 같은 …
- 이항분포
… 더 커야 합니다(p = 0.05로 두고 확인해 보세요). 이것이 중심극한정리의 역사상 첫 번째 예이자정규분포가 처음 발견된 경로(드무아브르, 1733)입니다. p = 1/2이면 공의 경로는 왼쪽·오른쪽 걸음을 …
- 중심극한정리
… n개의 평균을 위처럼 표준화하면, n이 커질수록 그 분포가 표준정규분포(μ = 0, σ = 1인정규분포)에 한없이 가까워집니다. 동전 던지기의 앞면 수인 이항분포가 종 모양이 되는 것은 이 정리를 동전에 …
- 무작위 행보
… 삼각형⟧입니다. 걸음 수가 많아지면 이 분포는 종 모양이 되는데, 이것이 중심극한정리가 말하는정규분포입니다. 한 걸음당 평균 이동 X_n/n 은 큰 수의 법칙대로 0으로 가지만, 위치 X_n 자체는 …
- 스털링 공식
… \approx n^n e^{-n}\, e^{-(x-n)^2/(2n)} , 폭이 \sqrt n 인정규분포의 종 모양입니다. 종 아래 넓이는 가우스 적분으로 \sqrt{2\pi n} 이고, 이것을 곱하면 …
- 중앙값
… \ge \tfrac12 이고 P(X \ge m) \ge \tfrac12 인 m이 중앙값입니다(확률).정규분포처럼 좌우 대칭이면 평균과 같지만, 기다리는 시간처럼 오른쪽 꼬리가 긴 지수분포에서는 중앙값이 평균의 …
- 열방정식
… 무작위 행보가 모인 결과로 볼 수도 있습니다. 끝없이 긴 막대의 한 점에 모인 열은 분산이 2t인정규분포모양으로 퍼지고, 폭은 \sqrt t 로 자랍니다. 무작위 행보가 \sqrt n 으로 퍼지는 것과 같은 …
- 상관관계
… 짝마다의 공분산을 모은 공분산 행렬이 생기고, 그 고유벡터가 주성분 분석의 축입니다. 두 값이 함께정규분포를 따르면 산점도는 타원 모양이 되고, r은 두 표준편차와 함께 그 타원이 얼마나 가늘고 어느 쪽으로 …
- 평균으로의 회귀
… = 가 정합니다. 이 모형에서 ρ는 점수의 분산 가운데 실력이 차지하는 몫입니다. 두 점수가 함께정규분포를 따르고 둘 다 평균 50, 표준편차 10이면, 1차 점수가 x인 학생들의 2차 점수의 기댓값은 …
- 무작위 대조 시험
… 얻은 추정값들의 분포입니다. 무작위 배정 의 추정값들은 참 효과를 중심으로(평균 점) 종 모양, 곧정규분포에 가깝게 퍼지고, 환자 수를 늘리면 폭이 1/\sqrt n 에 비례해 좁아집니다(중심극한정리와 ⟦큰 …
- 마할라노비스 거리
… 구름은 가로 표준편차 \sigma_x = , 세로 표준편차 \sigma_y = , 상관계수 \rho = 인정규분포를 흉내 낸 점 240개입니다. 노란 점 A와 주황 점 B를 끌어 보세요. 흰 점이 평균입니다. 분홍 점선 …
- k-평균 군집
… k-평균은 정답 이름표 없이 데이터만 보고 구조를 찾는 비지도 학습입니다(기계 학습). 무리마다정규분포를 가정하고 점을 확률로 부드럽게 나눠 배정하면 가우스 혼합 모형이 되고, 그때 무리마다의 거리는 …
- 차원의 저주
… 곱하는 요령으로 얻고, 그것이 얼마나 빨리 0으로 가는지는 스털링 공식이 알려 줍니다. d차원 표준정규분포에서 뽑은 점들은 밀도가 가장 높은 중심 근처가 아니라 반지름 \sqrt d 근처의 껍질에 몰립니다. …
- 유클리드 거리
… 점들을 몇 무리로 나누는 k-평균 군집도 제곱 거리의 합이 가장 작아지도록 답을 고릅니다. 종 모양의정규분포도 거리로 읽을 수 있습니다. 변수가 여럿인 표준 정규분포(변수마다 평균 0, 표준편차 1이고 서로 독립인 …
- 지프의 법칙
… 흰 점은 1/r입니다. 오른쪽 수는 실제 등장 횟수입니다. 이 법칙은 확률 분포로서도 독특합니다.정규분포는 평균 근처에 몰려 있지만, 멱법칙은 드문 것들이 끝없이 길게 꼬리를 이룹니다. s = 1이고 낱말이 …
- 정보 엔트로피
… 엔트로피(엔트로피율)를 정의할 수 있습니다. 평균과 분산이 정해진 연속분포 가운데 엔트로피가 가장 큰 것이정규분포이고, 아는 것만 지키고 나머지는 가장 모르는 채로 두라는 이 생각이 최대 엔트로피 원리입니다. 잡음이 …
- 은닉 마르코프 모델
… 볼 수도 있습니다. 상태가 위치나 속도처럼 연속적인 값이고, 상태의 변화와 관측이 선형이며 잡음이정규분포이면, 같은 '숨은 상태 → 관측' 구조가 칼만 필터가 됩니다. 1960년 헝가리 태생 미국 공학자 루돌프 …
- 상호 정보량
… 서로 독립인 점들에서도 0.04비트 안팎이 나오는 것이 그 치우침입니다. 반대로 두 변수가 함께정규분포(이변량 정규분포)를 따를 때는 상관계수만 알면 상호 정보량이 정해집니다. 상관계수를 ρ라 하면 I = …
- 최대 엔트로피 원리
… 없으면 균등분포, 양의 실수 위에서 평균만 정해지면 지수분포, 실수 전체에서 평균과 분산이 정해지면정규분포입니다. 중심극한정리에서 합이 정규분포로 다가가는 것도 분산을 지키며 엔트로피가 커지는 과정으로 볼 수 …
- 통로 용량
… 440비트 안팎까지 덜 실어야 합니다. 이어지는 곳. 대역폭이 B로 제한된 연속적인 신호에 가우스 잡음(정규분포를 따르는 잡음)이 더해지는 통로의 용량은 섀넌–하틀리 정리 C = B\log_2(1 + S/N) …
- 섀넌–하틀리 정리
… 쓰면 바로 이 속도에서 오류를 얼마든지 줄일 수 있다는 데 있습니다(통로 부호화 정리). 잡음이정규분포를 따르는 것은 우연이 아닙니다. 열잡음은 수많은 전자의 작은 떨림이 더해진 것이라 중심극한정리에 따라 …
- 율–왜곡 이론
… 상호 정보량의 최솟값으로 정의되고, 그 값이 정말 필요한 비트 수와 같다는 것이 섀넌의 정리입니다.정규분포N(0, \sigma^2) 를 따르는 표본을 평균 제곱 오차(틀린 정도를 제곱해 평균한 값)로 잴 때 답은 …
- 맥스웰의 악마와 란다우어 원리
… 것이었습니다. 아래 상자에는 서로 부딪치지 않는 기체 분자 100개가 들어 있습니다. 속도의 각 성분은정규분포를 따르고(맥스웰과 오스트리아 물리학자 루트비히 볼츠만의 이름을 딴 맥스웰–볼츠만 분포), 운동 에너지가 …
- 변분법
… 승수⟧로 풉니다. 실수 위의 연속 분포 가운데 평균과 분산이 정해졌을 때 엔트로피가 가장 큰 분포가정규분포라는 최대 엔트로피 원리도 그런 예입니다. 이어지는 곳. 변분법의 답은 대개 미분방정식이라서 ⟦선형 …
- 통계학
… 입니다. 게다가 n이 충분히 크면 중심극한정리에 따라 \hat p 는 참값 p를 가운데 둔 종 모양(정규분포)에 가깝게 흩어집니다. 종 모양에서는 가운데에서 표준편차의 1.96배 안에 전체의 95%가 들어갑니다. …
- 확률변수
… 합니다. 기다리는 시간이라면 0과 10 사이에서 높이 1/10인 평평한 선이고, 사람의 키라면 종 모양의정규분포곡선에 가깝습니다. 밀도의 높이는 확률이 아닙니다. 0과 0.5 사이에서 고르게 뽑는 수의 밀도는 높이가 …
- 최대가능도법
… p의 범위가 좁아진다는 뜻입니다. 최소제곱과 같은 답. 측정값 y_i 가 참값 f(x_i) 에 서로 독립인정규분포오차가 더해진 것이라고 합시다. 오차 하나의 밀도는 e^{-(y_i - …
- 로지스틱 회귀
… 답은 베이즈 정리에서 나옵니다. 합격자의 x는 평균 \mu_1 , 불합격자의 x는 평균 \mu_0 인정규분포를 따르고 두 분산이 \sigma^2 로 같다고 해 봅시다. x를 본 뒤 합격일 사후 확률의 로그 오즈를 …
- 정규화: 릿지와 라소
… 많이 줄어듭니다. 셋째, 베이즈 정리로 읽을 수 있습니다. 잡음이 분산 \sigma^2 인정규분포이고, 계수마다 평균 0, 분산 \tau^2 인 정규분포를 사전 분포로 두면, 사후 확률밀도가 가장 큰 …
- EM 알고리즘과 가우스 혼합
… 있습니다. 두 무리가 섞였다고 짐작되지만, 어느 값이 어느 무리에서 왔는지는 적혀 있지 않습니다. 무리마다정규분포를 따른다고 하면, 값 하나가 나올 확률밀도는 두 정규분포를 비율 \pi_1, \pi_2 (합이 1)로 …
- 확률적 경사 하강법과 Adam
… B = N이면 흩어짐이 정확히 0입니다. B가 어느 정도 크면서 N보다는 훨씬 작으면 흩어진 모양이정규분포에 가까워지는데, 중심 극한 정리 때문입니다. 왜 이득인가. 기울기 계산의 비용은 B에 비례하지만, …
- 확산 모델
… 하나로 보면 사진 모음도 이런 점구름입니다. 이제 걸음마다 모든 점을 원점 쪽으로 아주 조금 당기고, 작은정규분포잡음을 더합니다. x_k = \sqrt{1-\beta_k}\; x_{k-1} + …
- 오토인코더와 잠재 공간
… 킹마와 막스 웰링의 변분 오토인코더(VAE)는 잠재 공간에 모양을 입혔습니다. 인코더는 z 하나 대신정규분포N\bigl(\mu(x), \sigma(x)^2\bigr) 를 내고, 디코더는 거기서 뽑은 z로 x를 …
- 굿하트의 법칙
… U 가 가장 높은 것을 고를 때 잡음이 큰 것도 함께 골라집니다. V 와 X 가 서로 독립이고 같은정규분포를 따르면 \mathbb E[V \mid U = u] = u/2 여서, 참값은 늘 대리 지표가 오른 만큼의 …