기댓값(Expected value)
확률(probability)로 가중한 평균(mean). 확률분포(probability distribution)를 막대 무게로 놓았을 때 시소가 수평을 이루는 받침점이다.
주사위를 아주 많이 던지면 나온 눈의 평균은 어디로 갈까요? 각 값에 그 확률을 곱해 더한 값, 곧 기댓값입니다. 그림으로 보면 확률분포의 막대를 무게로 보고 수평이 맞는 받침점을 찾는 일입니다. 분포를
지금 기댓값은
기댓값은 더하기와 사이가 좋습니다.
선형성은 뜻밖의 곳에서 힘을 씁니다. 모자 n개를 무작위로 돌려주면 자기 모자를 받는 사람 수의 기댓값은 한 사람당
기댓값은 존재 증명에도 쓰입니다. 무작위로 고른 대상에서 어떤 값의 기댓값이 k라면, 그 값이 k 이상인 대상이 반드시 하나는 있습니다. 모든 대상의 값이 k보다 작다면 그 평균인 기댓값도 k보다 작을 테니까요. 반 학생들의 평균 점수가 70점이면 70점 이상인 학생이 적어도 한 명 있는 것과 같은 이치입니다. 이 단순한 논법이 확률적 방법(probabilistic method)의 기본 도구입니다.
값이 연속적이면(대기 시간처럼) 값 하나하나의 확률 대신 확률밀도(probability density)
평균 대신 한가운데 값을 쓸 수도 있습니다. 순서대로 늘어놓았을 때 가운데 오는 중앙값(median)은 극단적인 값 하나에 크게 흔들리지 않습니다.
기댓값은 확률을 무게로 삼은 가중평균입니다. 그런데 비교하는 두 대상에 무게가 다르게 붙으면, 부분마다의 순서가 전체에서 뒤집힐 수 있습니다. 치료법 A가 가벼운 환자 사이에서도 무거운 환자 사이에서도 B보다 나은데, A를 받은 환자 가운데 무거운 환자의 비율이 훨씬 높아서 전체 성공률로는 A가 뒤지는 심슨의 역설(Simpson's paradox)이 그 예입니다.
기댓값이라는 생각은 1654년 파스칼과 페르마가 멈춘 도박의 판돈을 나누던 편지에서 싹텄고, 1657년 네덜란드의 하위헌스가 『주사위 놀이의 계산에 관하여』에서 '공정한 판돈의 값'으로 체계적으로 다루었습니다. 이 책은 처음 출판된 확률 책으로 흔히 꼽힙니다.
이 개념이 나오는 긴 글
이 개념 위에 세워진 것
이 개념을 언급하는 페이지
- 극한
… 방식으로 정합니다. 확률에서는 같은 시행을 독립적으로 늘릴수록 결과의 평균이 (기댓값이 있다면 확률 1로)기댓값에 다가간다는 큰 수의 법칙이 극한의 말로 쓰입니다.
- 정적분
… a와 b 사이에 들 확률은 그 곡선 아래 a부터 b까지의 넓이입니다. 값에 확률밀도를 곱해 쌓은 적분은기댓값입니다. 유명한 넓이도 몇 있습니다. 곡선 1/t 아래 1부터 x까지의 넓이(x > 0)는 자연로그 …
- 자연로그
… 닿는 이유입니다(좁은 세상). 확률 p인 일이 일어났을 때의 놀라움을 -\log_2 p 로 재고 그평균을 내면, 분포 하나가 담은 불확실성, 곧 정보 엔트로피가 됩니다. 로그를 쓰는 이유는 이렇습니다. 한 …
- 이항분포
… 바꾸는 기계입니다. 지금까지 개가 떨어졌습니다. 시행 하나를 성공이면 1, 실패면 0인 수로 적으면, 그기댓값은 p, 분산은 p(1-p) 입니다. 합의 기댓값과 (독립일 때) 분산은 그냥 더해지므로 이항분포의 …
- 큰 수의 법칙
… 모두 24명이 n = 번씩 던졌습니다. 처음 몇 번은 평균이 크게 흔들리지만, 횟수가 늘수록 모든 선이기댓값를 향해 모여듭니다. 다시 던지기 가로축은 던진 횟수, 세로축은 지금까지의 평균입니다. 점선 깔때기는 …
- 소수 판정
… 큰 소수를 찾을 때는 무작위 홀수를 골라 시험하기를 되풀이합니다. 몇 번 만에 나올지는 소수 정리와기댓값이 알려 줍니다. x 근처에서 소수의 비율은 약 1/\ln x (자연로그)이고 홀수만 고르면 약 …
- 쌍둥이 소수
… 몰리는지는 울람 나선에서, 큰 쌍둥이를 찾을 때 쓰는 시험은 소수 판정에서, 평균과 흩어짐의 언어는기댓값에서 이어집니다. 쌍둥이 문제와 달리, 소수 안에 얼마든지 긴 등차수열(5, 11, 17, 23, 29처럼 …
- 도박꾼의 파산
… 게임. p = \tfrac12 이면 답은 단순합니다: P_k = k/N . 공정한 게임에서는 가진 돈의기댓값이 판마다 그대로이므로, 게임이 끝났을 때의 기댓값도 k입니다. 이렇게 말할 수 있는 것은 게임이 확률 …
- 중앙값
… 아래 그래프의 후보 c입니다. 가장 큰 점을 오른쪽 끝까지 보내도 중앙값은 꿈쩍하지 않지만 평균, 곧기댓값은 끌려갑니다. 평균은 모든 값의 크기를 쓰고, 중앙값은 순서만 쓰기 때문입니다. 그래서 소득이나 집값처럼 …
- 평균으로의 회귀
… 함께 정규분포를 따르고 둘 다 평균 50, 표준편차 10이면, 1차 점수가 x인 학생들의 2차 점수의기댓값은 조건부 평균 \mathbb{E}[X_2 \mid X_1 = x] = 50 + \rho\,(x - …
- 심슨의 역설
… 비밀은 오른쪽 그림에 있습니다. 한 치료의 전체 성공률은 작은 결석과 큰 결석 성공률의 가중 평균, 곧기댓값이고, 무게는 그 치료를 받은 환자 가운데 큰 결석 환자의 비율입니다. 위의 공식처럼 조건부 확률로 쓴 …
- 무작위 대조 시험
… 않았든 모든 면에서 평균적으로 같아집니다. 그러면 두 집단의 체계적인 차이는 치료 하나뿐이고, 평균 차이의기댓값이 정확히 참 효과가 됩니다. 사람마다 효과가 다르다면 참 효과는 그 평균입니다. 원인 관계를 화살표로 …
- 좁은 세상
… 그리고 두 가지를 잽니다. 평균 경로 길이 L 은 무작위로 고른 두 점 사이 최단 경로 길이의기댓값입니다. 뭉침 계수 C 는 한 점의 두 친구가 서로도 친구일 확률(이웃 쌍 가운데 이어진 쌍의 비율)을 …
- k-평균 군집
… 역시 줄거나 그대로입니다. 거리의 합이 아니라 거리 제곱 의 합이어야 평균이 답이라는 점은 중앙값과평균을 비교하면 보입니다. 나눔이 바뀔 때마다 값이 실제로 줄어들므로(거리가 같은 중심 사이에서는 늘 같은 …
- 차원의 저주
… 거리⟧의 제곱은 좌표마다의 차이 제곱을 d개 더한 합이고, 0과 1 사이 두 균등 난수의 차이 제곱은기댓값이 1/6입니다. 그러니 거리 제곱 ÷ d는 1/6로 모이고, d가 크면 거리는 거의 \sqrt{d/6} …
- 정보 엔트로피
… 이유는 서로 독립인 두 일의 확률은 곱해지지만 정보는 더해져야 하기 때문입니다. 엔트로피는 이 놀람의기댓값, 곧 결과 하나가 평균적으로 주는 정보의 양입니다. 앞면이 나올 확률이 인 동전을 봅시다. 앞면의 놀람은 …
- 경사 하강법
… 무작위로 고른 몇 개(미니배치)로 기울기를 어림하는 것이 확률적 경사 하강법(SGD)입니다. 그 어림은기댓값이 참 기울기와 같은 잡음 섞인 추정이라 걸음이 조금씩 비틀거리지만 훨씬 쌉니다. 지난 걸음의 방향을 …
- 교란순열
… 0, 1, 2, 9, 44, 265, 1854, …가 나옵니다(점화식). 제 모자를 받는 사람 수의기댓값은 n에 상관없이 정확히 1입니다. 사람마다 확률 1/n로 제 모자를 받고, 사건들이 서로 얽혀 있어도 …
- 확률적 방법
… 것인지는 몰라도 됩니다. 가장 많이 쓰는 도구는 평균입니다. 무작위로 정해지는 수, 곧 확률변수 X의기댓값이 E이면 X ≤ E인 경우와 X ≥ E인 경우가 반드시 둘 다 (0보다 큰 확률로) 있습니다. 모두가 …
- 정렬 알고리즘
… 오늘날 프로그래밍 언어의 표준 정렬은 이들을 섞어 쓰는 경우가 많습니다. 퀵정렬의 평균 비교 횟수는기댓값의 선형성(여러 수를 더한 것의 기댓값은 각 기댓값의 합이라는 성질)과 조화급수로 계산합니다. …
- 해시 테이블
… = n/m 이고, 들어 있는 키를 찾는 데 드는 평균 비교는 1 + \alpha/2 정도입니다(기댓값). 적재율이 1쯤을 넘으면 칸 수를 두 배로 늘려 모두 다시 넣습니다. 다시 넣는 데 n만큼 들지만, …
- 무작위 알고리즘
… 골라 넣으면 끝입니다. 피벗을 무작위로 고르면, 서로 다른 n개로 된 어떤 입력에 대해서든 비교 횟수의기댓값이 위의 식이 됩니다. 여기서 기댓값은 입력이 아니라 알고리즘이 던지는 동전에 대한 평균입니다. 운이 나쁠 …
- 안정 매칭
… 쿠폰 가운데 하나가 무작위로 들어 있을 때 모든 종류를 다 모으려면 평균 n H_n 봉지를 사야 합니다(기댓값). 여기서 H_n = 1 + \tfrac12 + \cdots + \tfrac1n 은 조화급수의 …
- 허프만 부호
… 글자 i가 나올 확률이 p_i , 부호 길이가 \ell_i 이면 한 글자에 드는 평균 비트 수는기댓값\sum p_i \ell_i 입니다. 이 평균을 가장 작게 하는 트리를 만드는 법은 MIT 대학원생이던 …
- 급수의 수렴과 발산
… 가늠하는 요령은 리만 합과 정적분에서, 기댓값이 급수로 정의될 때 절대 수렴을 요구하는 까닭은기댓값에서 이어집니다. 무한을 다루는 태도는 무한을 다루는 법에서, 몇 항에서 끊었을 때의 오차를 셈하는 …
- 르베그 적분과 측도
… 확률을 전체의 측도가 1인 측도로 정의했습니다. 사건은 가측 집합이고, 확률변수는 가측 함수이며,기댓값은 르베그 적분입니다. 동전을 무한히 던지는 실험이나 [0, 1]에서 고른 실수처럼 결과가 셀 수 없이 …
- 근사 이론
… 나올 확률이 x인 동전을 n번 던져 앞면이 k번 나오면 f(k/n) 을 상금으로 받는다고 합시다. 상금의기댓값은 다음과 같습니다. B_n f(x) = \sum_{k=0}^{n} …
- 통계학
… 따졌습니다. 이 위키의 통계 페이지들. 바탕이 되는 확률: 확률, 조건부 확률, 확률변수,기댓값, 분산. 자주 만나는 분포: 이항분포와 정규분포. 표본이 커질 때 일어나는 일은 ⟦큰 수의 …
- 확률변수
… \Omega} X(\omega)\,P(\omega) = \sum_{x} x\,P(X = x) 지금 규칙의기댓값은 입니다. 첫째 방법에서 곧바로 E[X + Y] = E[X] + E[Y] 가 나옵니다. 칸마다 두 수를 …
- 편향–분산 분해
… 점은 그 가운데 한 번의 자료입니다. 굵은 청록 곡선은 되풀이를 한없이 했을 때 맞춘 곡선들의 평균, 곧기댓값\mathbb E\hat f(x) 입니다. 다른 30번 노란 손잡이를 좌우로 끌어 x₀를 옮기세요. 그 …
- EM 알고리즘과 가우스 혼합
… 논증은 같은 모양입니다. 책임도는 베이즈 정리의 사후 확률이고, M 단계의 가중 평균과 가중 분산은기댓값과 분산을 책임도로 센 것입니다. 하한과 KL 발산으로 나누는 항등식은 교차 엔트로피가 …
- 확률적 경사 하강법과 Adam
… 뽑아, 그 평균 기울기 \hat g 로 걷습니다. 고르게 무작위로 뽑는다면 \hat g 의기댓값은 참 기울기 \nabla L 과 같습니다. 걸음마다 방향이 조금씩 틀리지만 평균으로는 옳은 쪽입니다. …
- 강화 학습
… 목표는 받을 보상의 합 r_0 + \gamma r_1 + \gamma^2 r_2 + \cdots 의기댓값을 가장 크게 하는 행동 규칙(정책)을 찾는 것입니다. γ가 1보다 작으면 먼 미래의 보상일수록 덜 …
- 게임 트리 탐색: 미니맥스와 몬테카를로 트리 탐색
… 같습니다. 값을 끌어올리는 이 계산에서 상대 대신 주사위처럼 확률로 움직이는 환경이 있으면, 최솟값 대신기댓값을 끌어올리게 되고 이것이 강화 학습의 벨먼 방정식입니다. 무작위 대국으로 값을 어림하는 방법의 근거는 …
- 추론 모델과 테스트 시점 계산
… 해는 인간 피드백 강화 학습에서 이어집니다. 기준선이 기댓값은 그대로 두고 흩어짐만 줄인다는 것은기댓값과 분산의 성질이고, 표본으로 기댓값을 어림하는 일은 몬테카를로 방법입니다. 답을 확인하기가 …
- 조화 함수와 디리클레 문제
… 위를 무작위로 걷다가 경계에 처음 닿은 곳의 경계값을 상으로 받는다고 합시다. 한 칸에서 출발할 때 상의기댓값은, 첫걸음이 이웃 넷 중 하나로 고르게 가므로 이웃 넷의 기댓값의 평균입니다. 그러니 기댓값은 이산 조화 …