토머스 베이즈(Thomas Bayes)

토머스 베이즈는 1701년 무렵 잉글랜드의 비국교도 목사 집안에서 태어났습니다(정확한 날짜는 남아 있지 않습니다). 아버지 조슈아 베이즈는 국교회에 속하지 않는 장로교 목사였고, 당시 잉글랜드의 두 대학 옥스퍼드와 케임브리지는 국교회 신앙을 서약하지 않는 사람에게 학위를 주지 않았습니다. 그래서 베이즈는 1719년 스코틀랜드의 에든버러 대학으로 가서 논리학과 신학을 공부했습니다. 그가 자란 18세기 초는 뉴턴의 『프린키피아』가 자연을 수학으로 읽는 법을 보여 준 직후였고, 확률의 계산도 도박판을 넘어 연금과 보험, 관측의 오차로 퍼지던 때였습니다. 1718년 런던에 망명해 있던 드무아브르가 낸 『확률론(The Doctrine of Chances)』이 그 교과서였습니다. 그 책이 다룬 것은 정방향의 질문, 곧 동전이 앞면일 확률을 알 때 100번 던지면 앞면이 몇 번쯤 나오느냐였습니다. 베이즈가 남긴 것은 그 반대 방향의 질문입니다.

나이 세 ·

에든버러에서 돌아온 그는 런던에서 아버지의 목회를 돕다가, 1730년대 초 켄트의 온천 도시 턴브리지 웰스에 있는 장로교 예배당의 목사가 되어 1752년 무렵까지 일했습니다. 살아서 낸 책은 두 권뿐이고 둘 다 이름을 밝히지 않았습니다. 1731년의 『신의 자비』는 신이 피조물의 행복을 목적으로 세상을 지었다고 논한 신학서입니다. 1736년의 책은 제목부터 논쟁적이었습니다. 『유율론 입문, 그리고 『분석가』의 저자의 반론에 맞서 수학자들을 변호함』.

『분석가』는 1734년 아일랜드의 주교 조지 버클리가 뉴턴의 미적분⁠(calculus)⁠을 공격한 책입니다. 뉴턴은 변하는 양이 아주 조금, 곧 o만큼 늘었다고 놓고 계산한 뒤 마지막에 o를 0으로 보내 버렸습니다. 버클리는 나눗셈을 할 때는 0이 아니던 양을 끝에서는 0으로 치는 것은 앞뒤가 맞지 않는다고 꼬집었습니다. 베이즈는 뉴턴의 유율⁠(fluxion)⁠, 오늘날의 미분계수⁠(derivative)⁠를 어떤 순간의 '양'이 아니라 두 양이 함께 사라져 갈 때 그 둘의 비가 다가가는 값, 곧 뉴턴이 말한 '마지막 비'로 읽으면 모순이 없다고 답했습니다. 사라진 양을 계산에 쓰는 것이 아니라, 줄어드는 양들의 비가 어디로 가는지를 보는 것이라는 뜻입니다. 이것은 90년쯤 뒤인 1821년 코시가 극한⁠(limit)⁠으로 미적분을 다시 세울 때의 생각과 같은 방향이었습니다.

이 책 말고는 수학 저술을 낸 적이 없는데도 그는 1742년 왕립학회의 회원으로 뽑혔습니다. 추천서에는 기하학과 모든 분야의 수학, 자연철학에 밝은 사람이라고 적혔습니다. 그의 수학은 주로 편지와 원고로 오갔습니다. 죽은 뒤 공개된 한 편지에서 그는 드무아브르와 스털링이 큰 수의 계승⁠(factorial)⁠을 어림할 때 쓰던 급수(스털링 공식⁠(Stirling's formula)⁠)가 사실은 어떤 값에서도 수렴⁠(convergence)⁠하지 않는다는 것을 지적했습니다. 앞의 몇 항까지는 놀랍도록 정확해지다가 그 뒤로는 항이 도리어 커져 버리는 급수입니다(급수의 수렴과 발산⁠(convergence and divergence of series)⁠). 오늘날 점근 급수라 부르는 이런 급수⁠(series)⁠를 어디서 끊어야 하는지는 19세기 해석학⁠(mathematical analysis)⁠의 문제가 되었습니다.

베이즈는 1761년 턴브리지 웰스에서 죽었고, 런던의 비국교도 묘지 번힐 필즈에 묻혔습니다. 유고를 정리한 사람은 친구인 웨일스 출신의 목사이자 도덕철학자 리처드 프라이스였습니다. 프라이스는 그 속에서 확률에 관한 원고를 찾아 서문과 부록을 붙였고, 1763년 12월 왕립학회에서 읽힌 이 글은 『철학 회보』에 「확률론의 한 문제를 푸는 에세이」로 실렸습니다. 문제는 이렇게 시작합니다. 알 수 없는 어떤 사건⁠(event)⁠이 일어난 횟수와 일어나지 않은 횟수가 주어졌을 때, 한 번의 시행에서 그 사건이 일어날 확률이 어떤 두 값 사이에 있을 확률을 구하라. 동전의 앞면 확률 θ를 모르는 채로 10번 던져 7번 앞면을 보았다면, θ가 0.5와 0.9 사이에 있을 가능성은 얼마인가 하는 질문입니다. 드무아브르의 질문에서 아는 것과 모르는 것의 자리를 맞바꾼 것입니다.

베이즈는 이 문제를 당구대 하나로 풀었습니다. 평평한 네모 탁자 위에 공 W를 굴려 아무 데나 멈추게 하고, 그 자리를 지나 한 변에 나란한 선을 긋습니다. 선이 탁자의 왼쪽 끝에서 폭의 몇 분의 몇 되는 곳에 있는지를 θ라 합시다. 이제 공 O를 여러 번 굴려, 선의 왼쪽에 멈추면 '사건이 일어났다'고 칩니다. 한 번 굴릴 때 사건이 일어날 확률은 정확히 θ입니다. 우리는 선을 보지 못한 채 O가 왼쪽에 멈춘 횟수 p와 오른쪽에 멈춘 횟수 q만 듣습니다. 이 장치의 좋은 점은 모르는 확률 θ 자체가 공을 굴려 정해졌다는 데 있습니다. W는 탁자 어디에나 똑같이 멈출 수 있으니, 결과를 보기 전에는 θ가 0과 1 사이 어느 값이든 똑같이 그럴듯합니다. 오늘날의 말로 θ의 사전 분포⁠(prior distribution)⁠가 균등하다는 가정을, 베이즈는 가정이 아니라 실험의 물리로 만들어 놓은 것입니다.

그다음은 계산입니다. 선이 θ에 있다면 p번 왼쪽, q번 오른쪽이 나올 확률은 $\theta^{p}(1-\theta)^{q}$에 순서의 가짓수를 곱한 것입니다(이항분포⁠, binomial distribution⁠). θ가 처음에 고르게 퍼져 있었으니, 결과를 본 뒤 θ가 어디에 있을 가능성은 이 곡선의 높이에 비례합니다. 그래서 θ가 a와 b 사이에 있을 확률은 곡선 아래 a부터 b까지의 넓이⁠(area)⁠를 전체 넓이로 나눈 값, 곧 위의 식입니다(적분⁠(integral)⁠, 조건부 확률⁠(conditional probability)⁠). 10번 중 7번이면 곡선 $\theta^7(1-\theta)^3$은 θ = 0.7에서 가장 높고, θ가 0.5와 0.9 사이에 있을 확률은 약 0.87, 0.5보다 작을 확률도 여전히 약 0.11입니다. 100번 중 70번이면 곡선은 훨씬 뾰족해져서 θ가 0.6과 0.8 사이에 있을 확률이 약 0.97이 됩니다. 증거가 쌓일수록 모르던 확률이 좁은 범위로 몰려드는 모습을 수로 정확히 셈해 보인 것입니다. 다만 베이즈는 일반적인 a, b에 대해 이 넓이를 닫힌 식으로 구하지 못해, 위아래로 가두는 어림값을 내는 데 원고의 많은 부분을 썼습니다.

프라이스는 이 글에 분명한 목적을 붙였습니다. 그의 서문은 이 방법이 결과에서 원인을 추론하는 길을 주며, 세상일이 일정한 법칙을 따른다는 것, 나아가 세계가 지혜로운 원인의 작품이라는 논증을 뒷받침할 수 있다고 적었습니다. 부록에서는 세상에 갓 나온 사람이 해가 뜨는 것을 거듭 볼 때 내일도 해가 뜨리라는 믿음이 얼마나 강해져야 하는지를 이 방법으로 따졌습니다. 경험에서 일반 법칙으로 나아가는 귀납이 믿을 만한지를 물은 스코틀랜드의 철학자 흄에게 주는 답으로 읽히기도 합니다. 베이즈 자신이 어떤 동기로 이 문제를 풀었는지는 기록이 없어 알 수 없습니다.

유럽 대륙에서 이 생각을 넓힌 사람은 라플라스였습니다. 라플라스는 1774년 베이즈의 글을 모른 채 같은 원리, 곧 관측된 결과가 주어졌을 때 원인의 확률은 그 원인이 결과를 낳을 확률에 비례한다는 원리를 세웠고, 이를 천문 관측과 출생 통계⁠(statistics)⁠에 두루 썼습니다. 모든 원인이 처음에 똑같이 그럴듯하다면, n번 중 p번 일어난 사건이 다음에 일어날 확률은 $(p+1)/(n+2)$이라는 '계승 규칙⁠(rule of succession)⁠'도 라플라스의 것입니다. 뒤에 그는 베이즈와 프라이스의 선행 연구를 알고 언급했습니다. 오늘날 교과서의 베이즈 정리 $P(A \mid B) = P(B \mid A)P(A)/P(B)$는 베이즈의 논문에 그 모양으로 나오지 않으며, 라플라스가 정리한 형태에 더 가깝습니다.

그 뒤의 역사는 논쟁의 역사였습니다. 19세기에는 '역확률⁠(inverse probability)⁠'이라는 이름으로 널리 쓰였지만, 조지 불은 아무것도 모를 때 모든 경우에 같은 확률을 주는 것은 모름을 앎으로 바꾸는 일이라고 비판했고, 20세기 초 케인스는 이 '무차별의 원리⁠(principle of indifference)⁠'가 모순에 빠지는 예들을 모았습니다. 피셔는 사전 확률⁠(prior probability)⁠에 기대는 추론을 받아들이지 않고 최대가능도법⁠(maximum likelihood)⁠과 유의성 검정⁠(significance test)⁠으로 통계학을 세웠습니다. 반대편에서는 램지와 데 피네티가 확률을 한 사람의 믿음의 정도로 보는 주관적 확률론을 세웠고, 제2차 세계 대전 중 튜링은 에니그마⁠(Enigma)⁠ 암호를 푸는 데 믿음을 증거로 갱신하는 계산을 썼습니다. '베이즈주의'라는 이름은 20세기 중반에야 널리 쓰였습니다. 사후 분포⁠(posterior distribution)⁠의 넓이를 손으로 구할 수 없던 문제는 컴퓨터로 표본⁠(sample)⁠을 뽑는 몬테카를로 방법⁠(Monte Carlo method)⁠과 마르코프 연쇄⁠(Markov chain)⁠가 풀었고, 주디아 펄의 베이즈 네트워크⁠(Bayesian network)⁠와 오늘날의 기계 학습⁠(machine learning)⁠이 이 계산 위에 서 있습니다.

베이즈의 생애에 대해 남은 기록은 많지 않습니다. 그의 초상으로 널리 쓰이는 그림도 정말 베이즈를 그린 것인지 확인되지 않았습니다. 살아서는 이름 없는 신학서와 논쟁서를 낸 시골 목사였던 사람이, 친구가 유고 속에서 찾아낸 원고 한 편으로 확률과 통계⁠(probability and statistics)⁠의 한 학파 전체에 이름을 준 셈입니다. 그 원고가 묻는 것은 지금도 과학의 한가운데에 있습니다. 우리는 본 것에서 보지 못한 원인을 얼마나 믿을 수 있는가.

이어지는 곳. 결과에서 원인으로 확률을 뒤집는 계산은 베이즈 정리와 조건부 확률에서, 믿음을 증거로 고쳐 가는 과정은 큰 수의 법칙⁠(law of large numbers)⁠과 쿨백–라이블러 발산⁠(Kullback–Leibler divergence)⁠에서, 모르는 양을 확률 분포로 다루는 생각은 확률변수⁠(random variable)⁠와 통계학에서 이어집니다. 무엇을 모른다고 해야 하는지의 문제는 무작위성의 큰 흐름에 있습니다. 같은 시대의 확률론은 드무아브르와 라플라스의 페이지에서 볼 수 있습니다.

관계.

• 영향을 받음 아이작 뉴턴 — 1736년의 익명 책에서 뉴턴의 유율, 곧 변화의 빠르기를 '사라져 가는 양들의 마지막 비'로 읽어 그 논리를 변호했습니다.
• 논쟁 조지 버클리 — 버클리가 『분석가』(1734)에서 미적분의 무한소⁠(infinitesimal)⁠를 '사라진 양들의 유령'이라 비판하자, 1736년 수학자들을 변호하는 책으로 답했습니다.
• 영향을 받음 아브라암 드무아브르 — 드무아브르의 『확률론』은 확률을 알 때 결과의 비율을 묻는 정방향 문제를 다루었고, 베이즈의 논문은 그 문제를 거꾸로 뒤집었습니다.

연표.

• 1719년 비국교도에게 문이 열린 에든버러 대학에 들어가 논리학과 신학을 공부하다
• 1731년 신이 피조물의 행복을 위해 세상을 지었다고 논한 『신의 자비』를 이름 없이 내다
• 1734년 이 무렵 턴브리지 웰스의 장로교 예배당 목사가 되다
• 1736년 버클리의 『분석가』에 맞서 뉴턴의 유율법⁠(method of fluxions)⁠을 변호하는 책을 이름 없이 내다
• 1742년 왕립학회 회원으로 뽑히다
• 1752년 이 무렵 목사 일에서 물러나다