확률과 통계(Probability and statistics)

조건부 확률(Conditional probability)

B가 일어났다는 것을 알 때 A의 확률⁠(probability)⁠. 표본공간⁠(sample space)⁠을 B로 좁히고 그 안에서 A가 차지하는 몫을 다시 잰다.

P(A \mid B) = \frac{P(A \cap B)}{P(B)}

먼저 보면 좋은 개념확률

"B가 일어났다"는 정보는 가능성의 세계를 줄입니다. 이제 B 바깥은 신경 쓸 필요가 없으니 B가 새 표본공간이 되고, A의 확률은 그 안에서 A가 차지하는 몫으로 바뀝니다. 아래 정사각형의 왼쪽 기둥이 B(폭 $P(B) =$ )이고, 색칠한 부분이 A입니다.

기둥의 폭이 P(B), 기둥 안 A의 높이가 조건부 확률입니다. 위쪽 초록 점은 B 기둥의 폭을, 보라 점과 노란 점은 두 기둥 안 A의 높이를 바꿉니다.

B 기둥 안에서 A의 높이가 $P(A\mid B) =$ , B 바깥 기둥에서의 높이가 $P(A\mid B^c) =$ 입니다. 전체에서 A의 넓이⁠(area)⁠는 두 직사각형의 합 $P(A) =$ (가로 점선)입니다. 넓이 $P(A\cap B)$ 를 기둥 폭 $P(B)$ 로 나눈 것이 조건부 확률의 정의입니다. 0으로는 나눌 수 없으니 이 정의는 $P(B) > 0$ 일 때만 씁니다. 같은 넓이를 거꾸로 A 쪽에서 재면 $P(B\mid A) =$ 입니다. 분자는 같고 분모만 $P(B)$ 에서 $P(A)$ 로 바뀌므로, 두 값은 보통 다릅니다. 흔히 둘을 같은 것으로 읽지만, '비가 오면 구름이 낄 확률'은 1에 가까워도 '구름이 끼면 비가 올 확률'은 훨씬 작습니다. 두 방향을 잇는 공식이 베이즈 정리⁠(Bayes' theorem)⁠입니다.

두 기둥의 높이가 같으면( $p = q$ ) B를 알든 모르든 A의 비율이 변하지 않습니다. 이것이 독립입니다. 지금은 . 독립⁠(independence)⁠이면 $P(A\cap B) = P(A\mid B)P(B) = P(A)P(B)$ 로 곱이 되고, 거꾸로 이 곱셈 공식이 성립하면 독립입니다. 그래서 보통은 $P(B) = 0$ 일 때도 쓸 수 있는 이 곱셈 공식을 독립의 정의로 삼습니다. 독립은 '겹치지 않는다'와 다릅니다. 확률이 0보다 큰 두 사건⁠(event)⁠이 겹치지 않으면, B가 일어났다는 것만으로 A가 일어나지 않았음을 알게 되니 오히려 강하게 얽혀 있는 것입니다.

그림의 가로 점선이 보여 주는 계산, 곧 $P(A) = P(A\mid B)P(B) + P(A\mid B^c)P(B^c)$ 를 전체 확률의 법칙⁠(law of total probability)⁠이라고 합니다. 두 기둥 안의 비율을 기둥 폭으로 가중해 평균⁠(mean)⁠한 것입니다.

날씨가 오늘 맑으면 내일 맑을 확률이 0.8, 오늘 비가 오면 내일 맑을 확률이 0.4인 것처럼, "지금 상태만 알면 다음 상태의 확률이 정해진다"는 조건부 확률을 사슬처럼 이어 간 것이 마르코프 연쇄⁠(Markov chain)⁠입니다. 이런 조건부 확률들을 '지금 상태'를 행, '다음 상태'를 열로 하는 표로 모으면 행렬⁠(matrix)⁠이 되고, 여러 날 뒤의 확률은 그 행렬을 거듭 곱해 얻습니다. 문장도 조건부 확률의 곱으로 쪼개집니다. $P(w_1 w_2 w_3) = P(w_1)\,P(w_2 \mid w_1)\,P(w_3 \mid w_1 w_2)$ 처럼, 앞의 단어들이 주어졌을 때 다음 단어의 조건부 확률을 내놓는 것이 언어 모델⁠(language model)⁠입니다.

B가 일어났는지 아닌지를 알고 나면 A가 일어날지에 대한 불확실성이 평균적으로 얼마나 줄어드는지도 잴 수 있습니다. 불확실성은 엔트로피⁠(entropy)⁠로 재고, B의 결과를 안 뒤에 남은 불확실성의 평균이 조건부 엔트로피⁠(conditional entropy)⁠입니다. 어느 한 결과를 듣고 오히려 헷갈릴 수는 있지만, 평균으로는 결코 늘지 않습니다. A와 B가 독립이면 B를 알아도 불확실성은 조금도 줄지 않습니다. 줄어든 양이 곧 B가 A에 대해 알려 주는 정보의 양, 상호 정보량⁠(mutual information)⁠입니다.

전체 확률의 법칙에서 무게 $P(B)$ 가 비교하는 대상마다 다르면 함정이 생깁니다. 치료법 X가 가벼운 환자 사이에서도, 무거운 환자 사이에서도 치료법 Y보다 성공률이 높은데, X는 주로 무거운 환자에게, Y는 주로 가벼운 환자에게 쓰였다면 전체 성공률은 Y가 더 높게 나올 수 있습니다. 부분마다의 비교와 전체 비교가 뒤집히는 이 현상이 심슨의 역설⁠(Simpson's paradox)⁠입니다.

조건부 확률은 분류에도 쓰입니다. 분류할 새 데이터 점이 들어오면 그 근처에 있는 이미 답을 아는 점들의 다수결로 답을 정하는 방법이 있는데, 이것은 '이 근처라는 조건 아래서는 어느 쪽일 확률이 높은가'를 이웃들의 비율로 어림하는 일입니다(최근접 이웃 분류⁠, k-nearest neighbors classification⁠).

x마다 조건부 확률 $P(y \mid x)$ 를 정해 둔 표는 x에서 y로 가는 '확률적 함수⁠(function)⁠'로 볼 수 있고, 전체 확률의 법칙 $P(z \mid x) = \sum_y P(z \mid y)\,P(y \mid x)$ (y가 주어지면 z가 x와 무관할 때)는 이런 함수 둘을 이어 붙이는 합성입니다. 확률적 함수를 합성과 '독립으로 나란히 놓기'라는 두 연산으로 다루는 틀이 모노이드⁠(monoid)⁠ 범주⁠(category)⁠의 한 종류인 마르코프 범주입니다.

이 개념이 나오는 긴 글

확률 도박판에서 온 편지 1654년, 도중에 멈춘 내기의 판돈을 어떻게 나눌까? 두 수학자가 주고받은 편지에서 확률론이 태어났다. 통계와 인과 담배와 폐암 상관관계는 인과관계가 아니라고들 한다. 그렇다면 담배가 폐암을 일으킨다는 것은 어떻게 알게 되었을까? 계산언어학 말을 세는 기계 문법은 규칙일까, 확률일까? 파니니의 문법에서 촘스키의 위계, 섀넌의 영어 엔트로피, 오늘날의 언어 모델까지. 언어 모델 다음 단어를 맞히는 기계 다음 낱말을 짐작하는 일만으로 어디까지 갈 수 있을까? 마르코프의 글자 세기에서 섀넌의 추측 게임, 트랜스포머와 규모의 법칙, 사람의 선호까지. 밑바닥에는 확률의 곱셈 규칙과 로그 하나가 있고, 그 수학은 모델이 왜 그럴듯하게 틀리는지도 말해 준다. 반환과 동적 계획법 같은 계산, 다른 덧셈 가장 짧은 길, 길의 가짓수, 가장 그럴듯한 해석, 갈 수 있는지 없는지. 따로 태어난 알고리즘들이 사실은 한 계산이고, 달라지는 것은 더하기와 곱하기 자리에 무엇을 넣느냐뿐이다. 그렇게 바꿔 넣어도 되는 까닭은 분배법칙 하나다.

이 개념 위에 세워진 것

베이즈 정리 도박꾼의 파산 심슨의 역설 교란 변수 n-그램 언어 모델 은닉 마르코프 모델 결합 엔트로피와 조건부 엔트로피 언어 모델과 다음 토큰 예측

이 개념을 언급하는 페이지

자연로그
… 됩니다. 로그를 쓰는 이유는 이렇습니다. 한 일이 일어났는지가 다른 일의 확률을 바꾸지 않는 두 일(독립인 두 일)이 함께 일어날 확률은 두 확률의 곱 pq인데, 놀라움은 두 일의 놀라움을 더한 것이어야 …
피타고라스 정리
… 값이 우연에 따라 정해지는 양을 확률변수라 합니다. 한쪽의 결과가 다른 쪽의 확률을 바꾸지 않는(독립인) 두 확률변수를 더해 봅시다. 흩어진 정도를 재는 표준편차 σ는 그냥 더해지지 않고, 그 제곱인 분산 …
확률
… 아니라 넓이, 곧 적분입니다. 어떤 사건이 일어났다는 정보를 알면 표본공간 자체가 좁아지는데, 그것이조건부 확률입니다. 확률을 수학으로 다루는 전통은 흔히 1654년 파스칼과 페르마가 주고받은 편지에서 …
베이즈 정리
… 이라고 하고, 검사의 정확도만 보고 기저율을 잊어서 생기는 이 착각을 기저율 무시 라고 합니다. 이 계산은조건부 확률의 방향을 뒤집은 것입니다. 우리가 아는 것은 "병이 있을 때 양성일 확률"인데, 알고 싶은 것은 "양성일 …
기댓값
… 눈입니다. 기댓값은 더하기와 사이가 좋습니다. E[X + Y] = E[X] + E[Y] 이고, X와 Y가독립이 아니어도 성립합니다. 그래서 두 주사위 합의 기댓값은 따로 계산할 필요 없이 3.5 + 3.5 = …
분산과 표준편차
… 기하학입니다. 무작위로 값이 정해지는 수를 확률변수라고 합니다(주사위의 눈, 내일의 기온). 서로독립인 두 확률변수 X, Y를 더하면 분산이 그냥 더해집니다: \operatorname{Var}(X+Y) = …
이항분포
… 1, 실패면 0인 수로 적으면, 그 기댓값은 p, 분산은 p(1-p) 입니다. 합의 기댓값과 (독립일 때) 분산은 그냥 더해지므로 이항분포의 기댓값은 np = , 분산은 np(1-p) = 입니다. 쌓인 …
중심극한정리
… 무작위 행보가 n걸음 뒤에 종 모양으로 퍼지는 것도 같은 이야기입니다. 왜 하필 정규분포일까요? 두독립변수의 합이 어떤 값 s가 될 확률은, 합이 s가 되는 모든 짝 (x, s − x)의 확률을 곱해 더한 …
큰 수의 법칙
… 평균이 끝내 모이지 않습니다. 깔때기의 폭이 1/\sqrt n 로 줄어드는 이유는 분산에 있습니다.독립인 값 n개를 더하면 분산은 n배가 되고, n으로 나누면 평균의 분산은 \sigma^2/n , 표준편차는 …
무작위 행보
… 위치는 0입니다. 앞뒤가 반반이니까요. 그런데 사람들은 점점 넓게 퍼집니다. 한 걸음의 분산이 1이고,독립인 걸음을 더하면 분산이 더해지니 n걸음 뒤 분산은 n, 표준편차는 \sqrt n 입니다. 100걸음 뒤 …
마르코프 연쇄
… , 비가 올 확률 (나머지는 맑음). 비 온 날 계속 비 올 확률 , 개일 확률 (나머지는 흐림). 이조건부 확률들을 모은 표가 전이 행렬 P 입니다. 오늘이 이라면 k = 일 뒤의 날씨 확률은? 오늘의 확률 …
집합의 연산
… = P(A) + P(B) - P(A \cap B) 은 이 그림 그대로이고, B 안에서 A가 차지하는 비율이조건부 확률입니다. 한 집합의 부분집합을 모두 모으면 멱집합이 됩니다. 각 부분집합은 "각 원소가 들어가나?"에 …
중국인의 나머지 정리
… 0부터 mn - 1 까지에서 고르게 하나를 뽑으면, m 으로 나눈 나머지와 n 으로 나눈 나머지는 서로독립입니다. 칸 mn 개에 수가 정확히 하나씩 들어 있으니, 모든 짝 (a, b) 가 확률 …
도박꾼의 파산
… 순간의 돈은 N(확률 P_k ) 아니면 0이니 N P_k = k 입니다. 첫 판의 결과로 나누어 생각해도(조건부 확률) 같은 답이 나옵니다. P_k = p\,P_{k+1} + (1-p)\,P_{k-1} 라는 점화식이고, …
평균으로의 회귀
… 따르고 둘 다 평균 50, 표준편차 10이면, 1차 점수가 x인 학생들의 2차 점수의 기댓값은조건부평균 \mathbb{E}[X_2 \mid X_1 = x] = 50 + \rho\,(x - 50) 입니다. …
심슨의 역설
… 평균, 곧 기댓값이고, 무게는 그 치료를 받은 환자 가운데 큰 결석 환자의 비율입니다. 위의 공식처럼조건부 확률로 쓴 것이 이것입니다. 그래서 치료마다 전체 성공률은 작은 결석 성공률(왼쪽 끝)과 큰 결석 …
교란 변수
… 해결책은 Z를 고정하고 보는 것입니다. 점들을 보세요. 같은 기온의 날끼리만 비교하면, 곧 Z에 대한조건부로 보면 X와 Y 사이에는 진짜 효과만 남습니다. 한데 모은 회귀 직선 의 기울기는 이지만, 기온별 …
최근접 이웃 분류
… 그대로 두고 거리만 갈아 끼우면 됩니다. 확률로 보면 k개 이웃 가운데 노랑의 비율은 'Q 근처에서 노랑일조건부 확률'의 추정값입니다. 예가 많아질수록 k도 함께 키우되 예의 수에 비해서는 작게 두면, 큰 수의 법칙에 …
쇠렌센–다이스 계수
… 역수를 평균 내어 다시 뒤집은 값), 곧 기계 학습에서 F1 점수라 부르는 값과 같습니다. 두 비율은 모두조건부 확률입니다. 정밀도는 '예측했다는 조건 아래 정답일 확률', 재현율은 '정답이라는 조건 아래 예측될 …
정보 엔트로피
… 일은 1비트, 1/4인 일은 2비트, 1/1024인 일은 10비트입니다. 로그를 쓰는 이유는 서로독립인 두 일의 확률은 곱해지지만 정보는 더해져야 하기 때문입니다. 엔트로피는 이 놀람의 기댓값, 곧 결과 …
n-그램 언어 모델
문장의 확률은 낱말 하나하나의조건부 확률을 곱해 적을 수 있습니다: P(w_1 \cdots w_m) = \prod_i P(w_i \mid w_1 …
은닉 마르코프 모델
… 모델입니다. 필요한 것은 처음 상태의 확률, 상태 사이의 전이 확률 a_{rs} , 상태마다 관측이 나올조건부 확률b_s(o) 입니다. 여기서는 첫날이 더울 확률 0.8, 더운 날 1·2·3개를 먹을 확률 …
원천 부호화 정리
… 이 물음에 정확히 답했습니다. 이 기계처럼 기호가 하나씩 나오되, 각 기호가 앞의 기호들과 상관없이(독립적으로) 늘 같은 확률분포에서 뽑히는 것을 원천이라 합니다. 답은 그 분포의 엔트로피 H 입니다. …
결합 엔트로피와 조건부 엔트로피
… 둘을 한꺼번에 맞히나, 오늘부터 맞히고 내일을 맞히나 엔트로피로 잰 질문 수는 같습니다. 식으로는조건부 확률의 곱셈 규칙 p(x,y) = p(x)\,p(y\mid x) 에 -\log_2 를 씌워 평균한 것뿐입니다. …
상호 정보량
… 발산은 음수가 될 수 없으니 상호 정보량도 0 이상이고, 결합 분포가 곱과 꼭 같을 때, 곧 두 변수가독립일 때만 0입니다. q = 0.5로 두면 받은 비트가 동전 던지기와 다를 바 없어 겹침이 사라집니다. q …
통로 용량
… 보내는 쪽이 기호 x를 넣으면 받는 쪽에는 y가 나오는데, 잡음 때문에 y는 x 하나로 정해지지 않고조건부 확률p(y \mid x) 를 따릅니다. 전선이든 전파든 긁힌 디스크든, 통로는 이 확률표 하나로 요약됩니다. …
통계학
… 없이도 인과를 말할 수 있는 조건을 따졌습니다. 이 위키의 통계 페이지들. 바탕이 되는 확률: 확률,조건부 확률, 확률변수, 기댓값, 분산. 자주 만나는 분포: 이항분포와 정규분포. 표본이 커질 때 …
확률변수
… 얼마나 흩어지는지는 분산 E[(X - E[X])^2] 이 잽니다. 독립. 두 확률변수 X, Y가 서로독립이라는 것은 모든 값 x, y에 대해 P(X = x \text{ and } Y = y) = P(X = …
언어 모델과 다음 토큰 예측
… 않습니다. '좋다'는 흔하고 '파랗다'는 드뭅니다. 언어 모델은 앞의 토큰들이 주어졌을 때 다음 토큰의조건부 확률분포를 내놓는 함수입니다. 이것만으로 문장 전체의 확률도 정해집니다. 확률의 곱셈 규칙을 거듭 쓰면 어떤 …
모나드
… 돌려주면, 풀칠은 '가능한 중간값 b마다 P(b) × P(c | b)를 더하기', 곧 전확률 공식입니다(조건부 확률). 상태가 유한한 마르코프 연쇄에서는 이 풀칠이 전이 행렬의 곱이고, 결합법칙은 여러 걸음의 전이 …
검색 증강 생성
… e^{\,d(z)\cdot q(x)} 과 그 문서를 보고 답 y를 쓸 확률을 곱해 더하는 것이니,조건부 확률로 쓴 전확률 공식입니다. 모든 문서에 대해 더할 수는 없으므로 상위 k개(5개나 10개)로 어림했습니다. …
모노이드 범주와 끈 그림
… 않으니 '오늘 맑음·켜짐에서 내일 맑음·꺼짐'의 확률은 두 확률의 곱 0.9 × 0.3 = 0.27입니다(조건부 확률과 독립). 이렇게 한 행렬의 각 칸에 다른 행렬 전체를 곱해 붙인 4×4 행렬을 크로네커 곱 …

이 페이지가 가리키는 개념

베이즈 정리 마르코프 연쇄 행렬 언어 모델과 다음 토큰 예측 정보 엔트로피 결합 엔트로피와 조건부 엔트로피 상호 정보량 심슨의 역설 최근접 이웃 분류 모노이드 범주와 끈 그림