큰 수의 법칙(Law of large numbers)
같은 실험을 서로 독립(independence)으로 많이 반복하면, 기댓값(expected value)이 있는 한 결과의 평균(mean)은 기댓값에 가까워진다. 분산(variance)이 유한하면 흔들림의 폭은 반복 횟수의 제곱근에 반비례해 줄어든다.
평균이 한 값으로 모인다는 것은 극한(limit)의 언어로 말하면
이 법칙을 처음 증명한 사람은 스위스의 야코프 베르누이입니다. 그 자신의 말로 20년을 매달린 증명은 그가 죽은 뒤 1713년 『추측의 기술』에 실렸습니다. 1867년 러시아의 체비쇼프는 분산이 유한하면 어떤 분포에서든 성립한다는 것을 짧게 보였습니다. 평균이 기댓값에서 ε 넘게 벗어날 확률은 평균의 분산
깔때기의 폭이
이 법칙 덕분에 확률을 실험으로 잴 수 있습니다. 무작위 점을 많이 뿌려 넓이(area)나 π를 구하는 몬테카를로 방법(Monte Carlo method)이 바로 이 법칙 위에 서 있습니다. 신경망(neural network)을 학습시키는 확률적 경사 하강법(stochastic gradient descent)도 마찬가지입니다. 무작위로 뽑은 자료 B개로 구한 기울기(slope)의 평균은 전체 자료의 기울기를 치우침 없이 어림하고, 그 흩어짐은
데이터를 보기 전에 가진 믿음(사전 믿음)의 영향이 관측이 쌓일수록 줄어드는 것도 같은 원리입니다. 베이즈 정리(Bayes' theorem)로 믿음을 계속 고치면, 동전이 공정한지를 두고 처음 믿음이 달랐던 두 사람도 같은 던지기 결과를 충분히 많이 보고 나면 거의 같은 결론에 이릅니다. 쌓인 데이터의 무게가 처음 믿음의 차이를 덮어 버리기 때문입니다. 단, 두 사람 모두 참인 값에 처음부터 확률 0을 주지는 않았어야 합니다. 0에 무엇을 곱해도 0이니까요.
이 법칙은 앞에서 치우친 만큼 뒤에서 '갚아 준다'는 뜻이 아닙니다. 동전이 앞면만 다섯 번 나왔다고 여섯 번째에 뒷면이 나올 확률이 커지지는 않습니다. 앞의 치우침은 그대로 남아 있지만, 뒤에 쌓이는 수많은 결과에 묻혀 평균에서 차지하는 몫이 작아질 뿐입니다. 비슷해 보이는 평균으로의 회귀(regression to the mean)는 다른 이야기입니다. 측정값에 우연이 섞여 있으면, 유난히 극단적인 값이 나온 다음번 측정은 덜 극단적이기 쉽다는 현상입니다.
이 법칙은 섀넌의 정보 이론을 떠받칩니다. 0이 확률 0.9, 1이 확률 0.1로 서로 독립적으로 나오는 길이 1000의 문자열을 생각해 봅시다. 큰 수의 법칙 때문에 1의 개수는 거의 언제나 100개 근처입니다(표준편차가 약 9.5개라서, 70개 아래나 130개 위로 벗어날 확률은 약 0.13%입니다). 1이 대략 100개인 이런 문자열을 '전형적인' 문자열이라 하는데, 그 개수는 약
같은 논리가 잡음에도 통합니다. 비트 하나가 확률 p로 뒤집히는 통로로 n비트짜리 긴 부호어(codeword)를 보내면, 뒤집히는 비트 수는 거의 언제나 np 근처입니다. 오류의 개수가 거의 정해져 있으니, 받은 문자열에서 '약 np개를 뒤집어 얻을 수 있는 부호어'만 찾아보면 됩니다. 부호어들을 이런 범위가 서로 거의 겹치지 않게 골라 두면 거의 틀리지 않고 원래 부호어를 되찾을 수 있다는 것이 통로 부호화 정리(noisy-channel coding theorem)의 뼈대입니다.
물리에서도 같습니다. 0 °C, 1기압의 기체 1리터에는 분자가 약 2.7 × 10²²개 있어서 이 법칙이 더없이 정확하게 들어맞습니다. 열은 뜨거운 곳에서 차가운 곳으로만 흐르고 섞인 기체는 저절로 갈라지지 않는다는 열역학 제2법칙(second law of thermodynamics)은, 사실 '분자들이 골고루 섞인 배치가 압도적으로 많아서 거의 확실히 그렇게 된다'는 통계(statistics) 법칙입니다. 이 점을 파고든 사고 실험(thought experiment)이 맥스웰이 1867년 내놓은 맥스웰의 악마(Maxwell's demon)입니다. 분자를 하나하나 보고 칸막이 문을 여닫아 빠른 분자만 한쪽으로 모으는 작은 존재가 있다면 제2법칙을 깰 수 있을까 하는 질문입니다.
차원이 높은 공간에서도 이 법칙이 뜻밖의 결과를 냅니다. d차원에서 두 점 사이 거리의 제곱은 좌표 차이의 제곱 d개를 더한 것입니다. 좌표를 서로 독립으로 뽑은 무작위 점들이라면, d가 클 때 이 합을 d로 나눈 값은 큰 수의 법칙대로 평균 근처로 모입니다. 그래서 거리들의 평균에 비해 거리들 사이의 차이가 점점 작아지고, 어느 두 점을 골라도 거리가 거의 같아 보입니다. '가까운 점'과 '먼 점'의 구별이 흐려지는 이 현상이 차원의 저주(curse of dimensionality)입니다.
언어 모델(language model)에게 같은 문제를 여러 번 풀게 해 가장 많이 나온 답을 고를 때도 이 법칙이 결론을 정합니다. 풀이들이 서로 독립이라면 표본(sample)을 늘릴수록 각 답의 비율이 제 확률에 붙으므로, 정답이 나올 확률이 가장 흔한 오답이 나올 확률보다 크기만 하면 다수결은 거의 확실히 맞고, 작으면 거의 확실히 틀립니다(추론 모델).
이 개념이 나오는 긴 글
이 개념 위에 세워진 것
이 개념을 언급하는 페이지
- 극한
… 같은 시행을 독립적으로 늘릴수록 결과의 평균이 (기댓값이 있다면 확률 1로) 기댓값에 다가간다는큰 수의 법칙이 극한의 말로 쓰입니다.
- 단위원과 라디안
… 무작위로 고르게 점을 뿌리면, 원 안에 드는 비율은 점이 많아질수록 넓이의 비 π/4에 다가갑니다(큰 수의 법칙). 따라서 그 비율로 π를 어림할 수 있습니다. 이런 식으로 무작위 표본을 세어 값을 구하는 방법이 …
- 확률
… 추정을 얻습니다. 다시 뽑기 점이 많아질수록 이 비율이 참값 근처에 있을 확률이 1에 다가간다는 것이큰 수의 법칙이고(오차의 전형적인 크기는 점 개수의 제곱근에 반비례해 줄어듭니다), 이 방식으로 넓이나 적분을 계산하는 …
- 베이즈 정리
… 0이면 어떤 증거를 곱해도 0이기 때문입니다. 증거가 많아질수록 우연한 오류들이 평균에 묻힌다는 점에서큰 수의 법칙과 같은 이야기입니다. 같은 검사를 같은 사람에게 되풀이하면 오류가 같은 방향으로 되풀이될 수 있어서, 첫 …
- 기댓값
… 코시 분포가 그런 예입니다. 기댓값이 있을 때, 독립으로 되풀이한 표본의 평균이 기댓값으로 다가간다는 것이큰 수의 법칙이고, 받침점 주변으로 무게가 얼마나 퍼져 있는지를 재는 것이 분산입니다. 평균 대신 한가운데 값을 쓸 …
- 중심극한정리
… 던지기의 앞면 수인 이항분포가 종 모양이 되는 것은 이 정리를 동전에 적용한 한 경우입니다. 평균은큰 수의 법칙에 따라 μ로 모이지만, 모이는 폭이 \sigma/\sqrt n 로 줄어들 뿐 사라지지는 않습니다. 그 …
- 몬테카를로 방법
… 뿌리기 점 하나는 "사분원 안인가?"라는 동전 던지기 한 번과 같습니다. 성공 확률이 \pi/4 이니,큰 수의 법칙에 따라 비율은 그 값으로 모입니다. 오른쪽 그래프처럼 추정값은 흔들리며 π에 다가가는데, 오차의 전형적인 …
- 무작위 행보
… 종 모양이 되는데, 이것이 중심극한정리가 말하는 정규분포입니다. 한 걸음당 평균 이동 X_n/n 은큰 수의 법칙대로 0으로 가지만, 위치 X_n 자체는 한없이 멀어질 수 있습니다. 그래도 직선 위의 걸음은 확률 1로 …
- 도박꾼의 파산
… 100닢으로 불릴 확률은 공정할 때의 50%가 아니라 약 12%입니다. 판이 길어질수록 작은 불리함이큰 수의 법칙대로 차곡차곡 쌓이기 때문입니다. 공정한 게임이라도 상대가 한없이 부자라면( N \to \infty ) …
- 중앙값
… 2 \approx 0.69 배입니다(자연로그). 분포의 중앙값이 하나로 정해져 있다면, 표본의 중앙값도큰 수의 법칙의 평균처럼 표본이 커질수록 그 값에 다가갑니다. 수직선 위 여러 곳에 흙이 쌓여 있고 이것을 한 곳에 …
- 측도 0
… 하나하나를 공정한 10면 주사위를 던진 결과로 보면, 오래 던질수록 각 눈의 비율이 1/10에 다가간다는큰 수의 법칙의 한 모습입니다.
- 혼돈
… 낸 평균(시간 평균)이 이 분포로 낸 평균(공간 평균)과 같아지는 성질을 에르고드성이라 합니다. 결정론판큰 수의 법칙인 셈입니다. 그래서 혼돈계에서는 궤도 하나 대신 확률 분포를 예측합니다. 상태 공간을 칸으로 나누고 …
- 평균으로의 회귀
… 불렀고, 그때 쓴 직선에 회귀 직선이라는 이름이 남았습니다. 이어지는 곳. 평균으로의 회귀는큰 수의 법칙과 다릅니다. 동전은 앞면이 많이 나왔다고 뒷면으로 '갚지' 않습니다. 회귀는 이미 나온 극단을 보상하는 …
- 무작위 대조 시험
… 가깝게 퍼지고, 환자 수를 늘리면 폭이 1/\sqrt n 에 비례해 좁아집니다(중심극한정리와큰 수의 법칙). 반면 관찰 연구 의 추정값들은 좁아지기는 해도 엉뚱한 곳(평균 점)으로 모입니다. 우연에 의한 …
- 좁은 세상
… 그래프는 와츠와 스트로가츠의 그림을 작게 되풀이한 것으로, 각 p마다 무작위 그래프 여럿의 평균입니다(큰 수의 법칙). 왜 이렇게 짧을까요? 무작위로 이어진 연결망에서는 한 걸음이면 k명, 두 걸음이면 대략 k^2 명, …
- 최근접 이웃 분류
… 노랑일 조건부 확률'의 추정값입니다. 예가 많아질수록 k도 함께 키우되 예의 수에 비해서는 작게 두면,큰 수의 법칙에 따라 이 추정이 참값에 다가갑니다. 그러면 분류 실력이 이론상 가장 좋은 분류기만큼 좋아집니다. 가장 …
- 차원의 저주
… 이웃'을 찾는 최근접 이웃 분류나 가까운 점끼리 묶는 k-평균 군집은 기댈 곳을 잃습니다. 까닭은큰 수의 법칙입니다. 유클리드 거리의 제곱은 좌표마다의 차이 제곱을 d개 더한 합이고, 0과 1 사이 두 균등 …
- 최적 수송
… 분포의 기댓값이 유한하면, 표본으로 만든 분포는 표본이 늘수록 참 분포에 바서슈타인 거리로도 다가갑니다(큰 수의 법칙). 도시들을 잇는 그래프 위라면 칸 사이의 거리 대신 최단 경로의 길이가 비용이 되고, 문자열을 …
- 자카드 지수
… 앞에 온 것이 교집합에 속할 확률이기 때문입니다. 장바구니에 이 요령을 200번 써 보면 같았던 비율이 ,큰 수의 법칙대로 J 근처에 옵니다. 같은 식으로 d_J 는 '맨 앞 원소가 다를 확률'이고, A와 B의 맨 앞이 …
- 정보 엔트로피
… 1은 각 글자의 허프만 부호입니다. 왜 엔트로피가 압축의 한계일까요? 앞면 확률 p인 동전을 n번 던지면큰 수의 법칙에 따라 앞면이 거의 언제나 np번 안팎 나옵니다. 그런 결과열의 개수는 이항계수 …
- n-그램 언어 모델
… 글의 통계를 모른 채로도, 글이 충분히 길고 통계가 한결같다면 같은 한계에 다가갑니다. 말뭉치가 커지면큰 수의 법칙에 따라 세어 얻은 확률이 참값에 가까워지지만, 필요한 양은 n에 따라 지수적으로 늘어납니다. 또 …
- 과적합
… 담은 복잡한 모형은 모형 자체가 길어질 뿐 전체 길이를 줄이지 못합니다. 검증 오차는 표본 평균이라큰 수의 법칙에 따라 검증 데이터가 많을수록 믿을 만하지만, 같은 검증 데이터로 모형을 너무 여러 번 고르면 검증 …
- 교란순열
… 1/e를 어림하는 것은 몬테카를로 방법이고, 돌린 횟수가 늘수록 비율이 1/e에 모이는 것은큰 수의 법칙입니다. 무작위 대응에서 직관과 다른 확률이 나오는 또 하나의 예는 생일 문제입니다.
- 확률적 방법
… 칠해 평균을 낸 실험은 몬테카를로 방법이고, 칠한 횟수가 늘수록 그 평균이 기댓값에 모이는 것은큰 수의 법칙입니다. 반 데르 바르던 수의 아래쪽 한계도 같은 방법으로 얻습니다(반 데르 바르던 정리). 계산의 …
- 원천 부호화 정리
… 0.533비트, 5개씩 묶으면 0.480비트로 줄어듭니다. 다른 설명도 있습니다. 동전을 n번 던지면큰 수의 법칙에 따라 앞면이 거의 언제나 np번 안팎 나옵니다. 앞면이 꼭 np번인 결과열의 개수는 n개의 자리 가운데 …
- 오류 정정 부호
… 고른 긴 부호가 거의 언제나 좋다는 확률적 논증이었고, 받은 신호가 원래 부호어 근처에 몰린다는 것은큰 수의 법칙에서 나옵니다. 용량에 다가가는 실용적인 부호는 한참 뒤에야 나왔습니다. 1993년 프랑스의 클로드 베루와 …
- 쿨백–라이블러 발산
… 0보다 위면 증거가 p를, 아래면 q를 가리킵니다. 한 번의 관측은 어느 쪽으로든 튈 수 있지만,큰 수의 법칙에 따라 증거는 한 번에 평균 D(p‖q)비트씩 곧게 쌓입니다. 증거의 합은 기울기가 있는 ⟦무작위 …
- 최대 엔트로피 원리
… 아는 우리에게 가장 그럴듯한 빈도는 최대 엔트로피 분포 근처이고, N이 클수록 거의 확실히 그렇습니다.큰 수의 법칙이 빈도를 확률 가까이로 모으듯, 이 셈은 조건을 만족하는 빈도들을 엔트로피가 가장 큰 쪽으로 모읍니다. …
- 통로 부호화 정리
… 길게 할수록 오류는 오히려 1로 갑니다. 왜 문턱이 하필 1 - H(q) 일까요? n비트 부호어를 보내면큰 수의 법칙에 따라 거의 언제나 nq개 안팎의 비트가 뒤집힙니다(이항분포). 그렇게 받을 법한 비트열은 …
- 섀넌–하틀리 정리
… = 2BT 개, 곧 n차원 공간의 한 점입니다. 잡음 벡터 길이의 제곱은 성분 n개의 제곱을 더한 것이라,큰 수의 법칙에 따라 n으로 나눈 값이 N에 몰립니다. 그래서 잡음의 길이는 상대적으로 거의 정확히 \sqrt{nN} …
- 맥스웰의 악마와 란다우어 원리
… 눈에 보이는 것입니다. 출렁임의 상대적인 크기는 분자 수 N에 대해 1/\sqrt N 정도로 줄어서(큰 수의 법칙), 분자가 10^{23} 개쯤 되면 온도계로는 볼 수 없을 만큼 작아집니다. 분자 하나하나는 ⟦무작위 …
- 르베그 적분과 측도
… 셀 수 없이 많은 경우도 이 언어로 한꺼번에 다룰 수 있습니다. '앞면의 비율이 1/2로 간다'는 강한큰 수의 법칙은, 그렇지 않은 던지기 결과들의 집합이 확률(측도) 0이라는 뜻, 곧 '거의 확실히'입니다. 이어지는 …
- 근사 이론
… \binom{n}{k} x^k (1-x)^{n-k} 이것은 x의 다항식이고,큰 수의 법칙에 따라 k/n은 거의 언제나 x 근처에 있으니 기댓값은 f(x)에 다가갑니다(이항분포). 수렴은 …
- 통계학
… 야코프 베르누이는 1713년 유고에서 던지는 횟수가 늘수록 표본의 비율이 참값에 다가간다는큰 수의 법칙을 증명했습니다. 드무아브르는 1733년 그 비율이 참값 둘레에 어떻게 흩어지는지를 종 모양 곡선으로 …
- 확률변수
… σ²이 유한한 어떤 확률변수든 기댓값에서 kσ 이상 벗어날 확률이 1/k^2 을 넘지 않는다는 부등식으로큰 수의 법칙을 짧게 증명했습니다(같은 부등식을 프랑스의 비에네메가 1853년에 먼저 적었습니다). 이유는 짧습니다. …
- 편향–분산 분해
… 랜덤 포레스트의 설계 원리입니다. 자료를 늘려도 분산은 줄어듭니다. 위의 정리에서 n이 분모에 있고,큰 수의 법칙이 말하는 것도 같은 방향입니다. 통계학에서는 오래전부터 알던 분해였고, 1992년 스튜어트 제먼, 엘리 …
- 교차 검증과 일반화
… 이하입니다. m = 1000, ε = 0.05이면 약 1.35% 이하입니다.큰 수의 법칙을 유한한 m에서 정량으로 만든 것입니다. 그러나 같은 시험 자료로 모형 M개를 비교해 가장 좋은 것을 …
- 확률적 경사 하강법과 Adam
… 그래서 흩어짐의 폭은 \sqrt B 에 반비례하고, 폭을 반으로 줄이려면 B를 4배로 늘려야 합니다(큰 수의 법칙). 전체 N개에서 겹치지 않게 뽑으면 분산에 (N - B)/(N - 1) 이 더 곱해져서, B = N이면 …
- 강화 학습
… 수렴하는지, 되풀이가 한 점으로 모이는 조건. 기댓값: 가치가 왜 평균인지. 몬테카를로 방법과큰 수의 법칙: 겪은 표본으로 기댓값을 대신하는 생각의 근거. 신경망, 경사 하강법, 확률적 경사 하강법: …
- 게임 트리 탐색: 미니맥스와 몬테카를로 트리 탐색
… 여러 번 해서 이긴 비율을 세면 그것이 그 국면의 거친 평가가 됩니다(몬테카를로 방법).큰 수의 법칙에 따라 대국 수 n을 늘릴수록 이 비율은 그 국면에서 무작위로 두었을 때의 승률에 다가가고, 흔들림은 …
- 추론 모델과 테스트 시점 계산
… 이항분포 B(N, p)를 따르고, 오답 하나하나가 나온 횟수는 평균 N(1-p)/m 근처에 모입니다.큰 수의 법칙에 따라 N이 커지면 각 비율이 제 기댓값에 붙으므로, 결론은 정답의 비율 p와 오답 하나의 비율 …
- 최소 기술 길이
… 크면 \log_2\binom{n}{h} 는 n에 앞면 비율의 엔트로피를 곱한 값에 가까워집니다. 그리고큰 수의 법칙이 앞면 비율을 참 확률 가까이로 모으니, 이 길이는 원천 부호화 정리가 말하는 한계에 다가갑니다.