안드레이 마르코프(Andrey Markov)

안드레이 마르코프는 1856년 러시아 랴잔에서 태어나 상트페테르부르크에서 평생을 보낸 수학자입니다. 페테르부르크는 오일러가 일한 과학 아카데미가 있는 곳이었고, 19세기 후반에는 체비쇼프를 중심으로 확률론과 정수론⁠(number theory)⁠의 학파가 자라고 있었습니다. 그때까지 확률론의 큰 정리들, 곧 야코프 베르누이의 큰 수의 법칙이나 중심극한정리⁠(central limit theorem)⁠는 모두 서로 독립⁠(independence)⁠인 시행을 가정했습니다. 동전 던지기처럼 앞의 결과가 뒤에 아무 영향도 주지 않는 경우입니다. 마르코프는 이 가정을 풀어, 앞의 결과에 기대는 사건들의 연쇄를 다루는 길을 열었습니다.

나이 세 ·

페테르부르크 학파의 중심 체비쇼프는 구체적인 문제에서 출발해 정확한 부등식과 근사로 끝을 맺는 스타일로 이름났습니다. 증기기관의 연결 장치를 설계하다, 복잡한 함수⁠(function)⁠를 다항식⁠(polynomial)⁠으로 흉내 내되 가장 크게 틀리는 곳의 오차를 가장 작게 하는 방법을 연구해 근사 이론⁠(approximation theory)⁠을 세웠습니다. 확률론에서는 평균⁠(mean)⁠과 분산⁠(variance)⁠만으로 큰 수의 법칙을 증명하는 간결한 부등식을 내놓았습니다. 분산이 유한하기만 하면 어떤 분포이든 평균에서 표준편차⁠(standard deviation)⁠의 k배 이상 벗어날 확률은 $1/k^2$ 이하라는 체비쇼프 부등식입니다(k = 3이면 1/9 이하). 마르코프와 그보다 한 살 아래인 동문 랴푸노프, 그리고 선배 수학자 코르킨과 졸로타료프가 이 스타일을 물려받았습니다. 1724년 표트르 대제가 세운 과학 아카데미는 이 학파의 무대였고, 마르코프는 1886년부터 그 회원으로 30년 넘게 아카데미의 회의와 논쟁에 참여했습니다. 1901년 랴푸노프가 특성함수(분포를 푸리에 변환한 함수)라는 새 도구로 중심극한정리를 훨씬 넓은 조건에서 증명하자, 마르코프는 스승의 방법인 적률⁠(moment)⁠, 곧 평균·제곱의 평균·세제곱의 평균 같은 값들만으로 같은 결과에 이르려고 끈질기게 애썼습니다.

어려서 다리가 불편해 열 살 무렵까지 목발을 짚었고, 김나지움에서는 수학 말고는 성적이 좋지 않았다고 합니다. 1874년 페테르부르크 대학에 들어가 체비쇼프의 제자가 되었습니다. 1880년 석사 논문에서는 이차 형식⁠(quadratic form)⁠을 연구했는데, 여기서 나온 방정식 $x^2 + y^2 + z^2 = 3xyz$의 자연수⁠(natural number)⁠ 해 (1, 1, 1), (1, 1, 2), (1, 2, 5), (1, 5, 13), …에 나오는 수를 오늘날 마르코프 수라 부릅니다. 이 수들은 분수로 가장 근사하기 어려운 무리수⁠(irrational number)⁠들(맨 앞이 황금비⁠(golden ratio)⁠)을 차례로 줄 세우는 데 쓰여, 무리수를 분수로 얼마나 잘 근사할 수 있는지와 깊이 이어져 있습니다(연분수⁠, continued fraction⁠). 1884년 박사 논문도 연분수를 다루었습니다. 1886년 교수, 1896년 과학 아카데미 정회원이 되었습니다. 동생 블라디미르도 수학자로, 1892년 다항식의 도함수⁠(derivative function)⁠가 얼마나 클 수 있는지에 관한 부등식을 증명했지만 20대에 결핵으로 세상을 떠났습니다.

그는 스승의 확률론을 다듬었습니다. 음이 아닌 확률변수⁠(random variable)⁠ X에 대해 $P(X \ge a) \le E[X]/a$라는 부등식은 오늘날 그의 이름으로 불리고(기댓값⁠, expected value⁠), 평균이 2인 음이 아닌 양이 10 이상일 확률은 2/10 = 0.2를 넘을 수 없다는 식으로 쓰입니다. 그는 또 체비쇼프가 남긴 중심극한정리의 증명에 빠진 곳을 메워 완성했습니다. 1906년 그는 결정적인 논문을 냈습니다. 계기로는 모스크바의 수학자 네크라소프와의 논쟁이 흔히 꼽힙니다. 네크라소프는 큰 수의 법칙이 성립하려면 사건들이 독립이어야 한다는 취지의 주장을 폈는데, 마르코프는 그렇지 않다는 것을 보이려고 서로 의존하는 가장 단순한 모형을 만들었습니다. 다음 상태의 확률이 오직 지금 상태에만 달린 과정, 곧 마르코프 연쇄입니다.

이 논쟁 뒤에는 두 도시의 기질 차이가 있었습니다. 네크라소프는 모스크바 수학회의 중심인물이었고, 이 모임에는 수학을 종교와 철학의 세계관에 잇는 전통이 강했습니다. 그는 범죄율이나 결혼율처럼 사회 통계⁠(statistics)⁠가 해마다 안정적인 것은 개인들의 선택이 서로 독립이기 때문이고, 이것이 자유 의지를 뒷받침한다고까지 주장했습니다. 무신론자이자 자유주의자였던 마르코프에게 이것은 수학의 남용이었습니다. 그의 연쇄는 서로 강하게 의존하는 사건들도 평균을 내면 안정된다는 반례였으니, 통계의 규칙성에서 독립을 끌어낼 수는 없다는 뜻이었습니다. 20세기에 모스크바는 루진과 콜모고로프의 모스크바 수학 학파로 다시 태어났고, 마르코프의 연쇄를 연속 시간과 일반적인 상태 공간⁠(state space)⁠으로 넓힌 곳도 그곳이었습니다.

상태가 둘이라면 연쇄는 네 개의 조건부 확률⁠(conditional probability)⁠로 정해지고, 이것을 표로 모으면 전이 행렬⁠(matrix)⁠이 됩니다. 한 걸음 뒤의 분포는 지금 분포에 이 행렬을 곱한 것이고, 상태가 유한하고 어느 상태에서든 모든 상태로 갈 수 있으며, 두 상태를 번갈아 오가기만 하는 식의 주기적인 연쇄가 아니라면, 오래 지나면 분포는 출발점과 상관없이 한 모양, 곧 정상 분포⁠(stationary distribution)⁠로 모입니다. 정상 분포는 행렬을 곱해도 바뀌지 않는 분포, 곧 고유값⁠(eigenvalue)⁠ 1의 고유벡터⁠(eigenvector)⁠입니다. 마르코프는 이런 연쇄에서도 한 상태에 머문 비율이 긴 시간 뒤에 정상 분포의 값으로 모인다는 것, 곧 의존하는 사건들에도 큰 수의 법칙이 성립한다는 것을 증명했습니다.

1913년 그는 이 이론을 실제 자료에 대 보았습니다. 푸시킨의 운문 소설 『예브게니 오네긴』에서 글자 2만 개를 옮겨 적고 모음과 자음으로 나누어 세었습니다. 모음의 비율은 약 0.43이었는데, 앞 글자가 모음이면 다음 글자가 모음일 확률은 약 0.13, 앞 글자가 자음이면 약 0.66이었습니다. 글자는 독립이 아닙니다. 그런데 이 두 전이 확률⁠(transition probability)⁠만으로 정상 분포를 풀면 모음의 비율 p는 $p = 0.13\,p + 0.66\,(1 - p)$에서 $p = 0.66/1.53 \approx 0.43$이 되어, 세어 본 비율과 맞아떨어집니다. 이 셈은 35년 뒤 섀넌이 영어 글을 흉내 내는 n-그램⁠(n-gram)⁠ 모형과 엔트로피⁠(entropy)⁠로 이어졌습니다.

마르코프는 타협하지 않는 사람이었습니다. 1902년 아카데미가 정부의 압력으로 작가 고리키의 회원 선출을 취소하자 항의했고, 1912년에는 러시아 정교회가 톨스토이를 파문한 데 항의해 자신도 파문해 달라고 교회에 청했습니다. 1913년 로마노프 왕조 300주년을 온 나라가 기념할 때, 그는 베르누이의 큰 수의 법칙이 나온 지 200주년이 되는 해라며 따로 기념 모임을 열었습니다. 혁명 뒤의 궁핍 속에서 시골 학교에서 무보수로 수학을 가르치기도 했고, 1922년 페트로그라드에서 세상을 떠났습니다. 같은 이름의 아들도 수학자가 되어 수리논리학에서 이름을 남겼습니다.

마르코프 자신은 연쇄를 주로 순수한 확률론의 문제로 다루었지만, 연쇄는 20세기의 거의 모든 확률 모형으로 퍼졌습니다. 1931년 콜모고로프가 연속 시간의 마르코프 과정⁠(Markov process)⁠을 미분방정식⁠(differential equation)⁠으로 다루는 이론을 세웠고, 전화국에 몰려드는 통화와 대기열이 이런 과정으로 계산되었습니다. 1948년 벨 연구소의 섀넌은 글을 마르코프 과정으로 흉내 내며 정보 이론을 세웠고, 1953년 로스앨러모스의 물리학자 메트로폴리스와 동료들은 원하는 분포를 정상 분포로 갖는 연쇄를 만들어 표본⁠(sample)⁠을 뽑는 방법을 내놓았습니다. 오늘날 마르코프 연쇄 몬테카를로라 부르는 이 방법은 물리학과 베이즈 통계⁠(Bayesian statistics)⁠의 일꾼이 되었습니다. 1970–80년대에는 은닉 마르코프 모델⁠(hidden Markov model)⁠이 음성 인식의 표준이 되었고, 1998년 페이지랭크⁠(PageRank)⁠는 웹 위를 떠도는 연쇄의 정상 분포로 페이지의 순위를 매겼습니다. 앞일이 지금에만 달려 있다는 단순한 가정이 무작위성을 계산할 수 있는 대상으로 만든 셈입니다.

이어지는 곳. 그의 연쇄는 마르코프 연쇄에서 직접 돌려 볼 수 있고, 보이지 않는 상태를 더하면 은닉 마르코프 모델, 웹 페이지를 떠도는 연쇄의 정상 분포가 페이지랭크, 연쇄로 표본을 뽑는 방법이 몬테카를로 방법⁠(Monte Carlo method)⁠입니다. 다음 위치가 지금 위치에서 한 칸 오르거나 내리는 것으로만 정해지는 무작위 행보⁠(random walk)⁠와, 가진 돈이 그렇게 오르내리는 도박꾼의 파산⁠(gambler's ruin)⁠도 마르코프 연쇄입니다. 그의 확률론을 공리⁠(axiom)⁠ 위에 세운 안드레이 콜모고로프, 글자 세기를 이어받은 클로드 섀넌, 그 한계를 지적한 노엄 촘스키로 이어집니다. 상태마다 행동을 골라 보상을 받는 연쇄는 강화 학습⁠(reinforcement learning)⁠이 다루는 마르코프 결정 과정⁠(Markov decision process)⁠이 되고, 앞 글자로 다음 글자의 확률을 매긴 그의 1913년 셈은 앞 토큰⁠(token)⁠들로 다음 토큰의 확률을 매기는 오늘날 언어 모델⁠(language model)⁠의 먼 조상입니다.

관계.

• 영향을 받음 야코프 베르누이 — 베르누이의 큰 수의 법칙을 의존하는 사건들로 넓힌 것이 그의 연쇄였고, 1913년 『추측술』 200주년에는 그 넷째 부의 러시아어 번역을 펴내게 하고 기념 모임을 열었습니다.
• 영향을 줌 안드레이 콜모고로프 — 콜모고로프는 1931년 연속 시간의 마르코프 과정을 미분방정식으로 다루는 이론을 세우고, 1933년 확률론 전체를 공리 위에 다시 놓았습니다.
• 영향을 줌 클로드 섀넌 — 섀넌은 1948년 논문에서 글을 '이산 마르코프 과정'으로 흉내 내고, 그 과정의 엔트로피로 글의 정보량을 쟀습니다.
• 영향을 줌 노엄 촘스키 — 촘스키는 1956–57년 마르코프 과정처럼 유한한 상태만 기억하는 모형으로는 영어 문법을 다 담을 수 없다고 논증했고, 이 비판이 촘스키 위계⁠(Chomsky hierarchy)⁠의 출발점 가운데 하나가 되었습니다.

연표.

• 1874년 페테르부르크 대학에 들어가 체비쇼프에게 배우다
• 1880년 이차 형식에 관한 석사 논문을 내다
• 1884년 연분수에 관한 박사 논문을 내다
• 1886년 페테르부르크 대학 교수가 되다
• 1896년 과학 아카데미 정회원이 되다
• 1902년 아카데미가 고리키의 회원 선출을 취소하자 항의하다
• 1906년 서로 의존하는 변수들의 큰 수의 법칙과 연쇄를 발표하다
• 1912년 톨스토이의 파문에 항의해 자신도 파문해 달라고 청하다
• 1913년 『예브게니 오네긴』의 글자를 세어 연쇄를 시험하고, 베르누이의 큰 수의 법칙 200주년을 기념하다
• 1917년 혁명의 해에 시골 도시 자라이스크의 학교에서 무보수로 가르치다