모스크바 수학 학파(The Moscow school of mathematics)

19세기 러시아 수학의 중심은 수도 상트페테르부르크였습니다. 파프누티 체비쇼프와 그 제자 안드레이 마르코프는 세 분야를 날카롭고 구체적으로 연구했습니다. 정수⁠(integer)⁠, 특히 소수⁠(prime number)⁠가 어떻게 흩어져 있는지를 묻는 정수론⁠(number theory)⁠, 우연한 일이 얼마나 자주 일어나는지를 수로 다루는 확률론, 그리고 복잡한 함수⁠(function)⁠를 다항식⁠(polynomial)⁠처럼 계산하기 쉬운 함수로 얼마나 가깝게 흉내 낼 수 있는지를 묻는 근사 이론⁠(approximation theory)⁠입니다. 모스크바에는 1864년에 세워진 모스크바 수학회가 있었지만, 이 도시에 새로운 수학을 들여온 사람은 모스크바 대학 교수 드미트리 예고로프였습니다. 그가 들여온 것은 막 프랑스에서 자라난 실함수론이었습니다. 실함수론은 실수⁠(real number)⁠를 넣으면 실수가 나오는 함수를 다루되, 그래프가 매끈한 함수뿐 아니라 무한히 많은 곳에서 끊기거나 요동치는 함수까지 받아들여, 그런 함수들의 수열이 언제 어떤 뜻으로 수렴⁠(convergence)⁠하는지, 그런 함수 아래의 넓이(적분⁠, integral⁠)를 어떻게 정의하는지를 따지는 분야입니다. 그 토대는 1902년 앙리 르베그가 길이와 적분을 새로 정의한 측도⁠(measure)⁠와 르베그 적분⁠(Lebesgue integral)⁠이었습니다. 측도는 구간의 길이를 훨씬 복잡한 점들의 집합⁠(set)⁠에까지 넓힌 '크기'입니다. 이를테면 유리수⁠(rational number)⁠ 전체는 무한히 많은 점을 담고 있지만 측도는 0이어서, 길이로 치면 없는 것과 같습니다(측도 0⁠(measure zero)⁠). 그래서 어떤 성질이 측도 0인 집합만 빼고 모든 점에서 성립하면 '거의 모든 점⁠(almost everywhere)⁠에서' 성립한다고 말합니다.

년 ·

1911년 예고로프는 오늘날 예고로프 정리⁠(Egorov's theorem)⁠라 불리는 사실을 증명했습니다. 함수 f₁, f₂, f₃, …이 줄지어 있고, 점마다 따로 보면 그 값이 어떤 함수 f의 값에 다가간다고 합시다(점별 수렴⁠, pointwise convergence⁠). 이때 다가가는 빠르기는 점마다 다를 수 있습니다. 구간 [0, 1] 위의 xⁿ은 x = 0.5에서는 금방 0에 붙지만 x = 0.999에서는 한참 걸립니다. 모든 점이 한꺼번에 따라붙는 더 강한 수렴을 균등 수렴⁠(uniform convergence)⁠이라 하는데, 예고로프는 전체의 길이(측도)가 유한한 곳에서라면, 거의 모든 점에서 수렴하기만 해도 원하는 만큼 짧게 정한 '느린 점들의 자리'만 빼면 나머지에서는 언제나 균등 수렴이 일어난다는 것을 보였습니다. xⁿ의 경우 1 바로 앞의 짧은 구간만 빼면 나머지 점들은 모두 함께 0에 다가갑니다. 이 학파는 이런 실함수론에서 출발해 위상수학(늘이고 구부려도 변하지 않는 도형의 성질을 다루는 분야), 확률론, 동역학계(정해진 규칙에 따라 시간이 흐르며 변하는 상태를 다루는 분야)로 뻗어 나갔습니다. 이 페이지는 한 세미나가 어떻게 한 세기의 학파가 되었는지, 그리고 그 학파가 소련이라는 국가와 어떻게 함께 살았는지를 따라갑니다.

예고로프의 제자 니콜라이 루진은 괴팅겐과 파리에서 공부하고 1914년 모스크바로 돌아와, 이듬해 『적분과 삼각급수⁠(trigonometric series)⁠』로 곧바로 박사 학위를 받았습니다. 그의 세미나에 모인 젊은이들은 스승의 이름을 따서 스스로를 '루시타니아'라고 불렀습니다. 세미나의 물음은 두 가지였고, 둘 다 푸리에 급수⁠(Fourier series)⁠에서 나왔습니다. 삼각급수란 $a_0 + a_1\cos x + b_1\sin x + a_2\cos 2x + b_2\sin 2x + \cdots$처럼 사인과 코사인⁠(sine and cosine)⁠에 계수를 붙여 끝없이 더한 식입니다. 푸리에는 웬만한 함수를 모두 이런 합으로 적을 수 있다고 주장했고, 주어진 함수에서 계수를 계산해 얻은 삼각급수를 그 함수의 푸리에 급수라 부릅니다.

첫째 물음은 삼각급수가 함수를 하나로 정하는가였습니다. 두 삼각급수가 모든 점에서 같은 값으로 수렴한다면, 두 급수⁠(series)⁠는 계수까지 모두 같아야 할까요? 두 급수를 빼 보면 이 물음은 '모든 점에서 0으로 수렴하는 삼각급수는 계수가 모두 0뿐인가'와 같습니다. 1870년 게오르크 칸토어가 그렇다고 증명했고, 이어서 수렴하지 않아도 되는 예외의 점을 어디까지 허락해도 이 결론이 살아남는지를 따지다가 무한한 점들의 집합을 연구하기 시작했습니다. 집합론⁠(set theory)⁠은 이 물음에서 태어났습니다. 루진 학파는 예외를 측도 0인 집합까지 넓혀 물었고, 1916년 루진의 제자 드미트리 멘쇼프가 답을 뒤집었습니다. 그는 거의 모든 점에서 0으로 수렴하는데도 계수가 모두 0은 아닌 삼각급수를 만들었습니다. 예외가 길이로는 없는 것과 같아도, 그 예외 집합이 어떤 모양이냐에 따라 급수가 하나로 정해지지 않을 수 있었던 것입니다.

둘째 물음은 칸토어의 집합 가운데 어떤 것들을 '정의할 수 있다'고 말할 수 있는가였습니다. 여기서 집합을 정의한다는 것은, 실수 하나하나에 대해 그것이 집합에 드는지 안 드는지를 가려 주는 규칙을 구체적으로 적어 보인다는 뜻입니다. '0과 1 사이의 수'나 '유리수'는 그렇게 적을 수 있습니다. 그런데 집합론은 무한히 많은 선택을 한꺼번에 했다고 치고 만든 집합, 곧 가려내는 규칙을 아무도 적을 수 없는 집합도 허락했고, 루진은 그런 집합을 믿지 않았습니다. 그래서 그의 학파는 손에 잡히는 집합부터 차례로 쌓아 올렸습니다. 구간에서 시작해, 이미 얻은 집합의 여집합⁠(complement)⁠을 취하거나 그런 집합을 자연수⁠(natural number)⁠로 번호를 붙일 수 있을 만큼(가산 개) 모아 합치거나 겹치는 일을 몇 번이고 되풀이해 얻는 집합을, 프랑스의 수학자 에밀 보렐의 이름을 따 보렐 집합⁠(Borel set)⁠이라 합니다. 보통 떠올리는 집합은 거의 모두 여기에 듭니다. 1917년 학생 미하일 수슬린은 르베그의 1905년 논문에서 오류를 찾아냈습니다. 평면 위의 보렐 집합에 위에서 빛을 비춰 가로축에 그림자를 떨어뜨리면(수학의 말로 사영하면) 그 그림자도 언제나 보렐 집합이라는 르베그의 주장이 틀렸던 것입니다. 그림자에 x가 든다는 것은 '(x, y)가 집합에 드는 y가 적어도 하나 있다'는 뜻인데, 이 '어떤 y가 있다'는 한마디가 보렐 집합의 테두리를 넘어가게 합니다. 수슬린은 보렐 집합의 그림자로 얻는 집합들을 해석적 집합⁠(analytic set)⁠이라 부르고, 그 가운데 보렐 집합이 아닌 것이 있음을 보였습니다. 이렇게 집합을 정의하는 데 드는 말의 복잡함에 따라 집합들을 층층이 나누는 분야가 기술 집합론⁠(descriptive set theory)⁠입니다. 수슬린은 2년 뒤 내전 중 발진티푸스로 세상을 떠났습니다.

혁명과 내전의 굶주림 속에서도 세미나는 이어졌습니다. 수학은 실험실도 장비도 필요 없어 종이와 분필만으로 할 수 있었고, 1920년대의 젊은 소련 정부는 과학자들의 해외 여행과 외국 학술지 발표를 대체로 허락했습니다. 루진의 제자 파벨 알렉산드로프와 파벨 우리손은 위상수학으로 옮겨 가 괴팅겐의 힐베르트와 에미 뇌터, 네덜란드의 브라우어르를 찾아다녔고(괴팅겐), 우리손은 1924년 프랑스 해안에서 헤엄치다 스물여섯에 숨졌습니다. 뒤에 확률론을 이끈 알렉산드르 힌친, 복소함수론과 유체역학의 미하일 라브렌티예프, 위상수학을 변분 문제에 쓴 라자르 류스테르니크와 레프 시니렐만, 삼각급수 연구를 이어 간 니나 바리, 그리고 1920년 대학에 들어온 안드레이 콜모고로프도 이 무리에서 자랐습니다. 콜모고로프는 1922년, 절댓값⁠(absolute value)⁠의 르베그 적분이 유한한(곧 넓이⁠(area)⁠가 멀쩡히 정해지는) 함수인데도 그 푸리에 급수가 거의 모든 점에서 어떤 값에도 다가가지 않는(발산⁠(divergence)⁠하는) 예를 만들었습니다. 함수에서 계수를 뽑아 급수를 만들어도 그 급수가 원래 함수로 돌아오지 않을 수 있다는 뜻이니, 스승들의 물음에 대한 극적인 답이었습니다.

국가와의 동거는 곧 어려워졌습니다. 예고로프는 신앙심 깊은 정교회 신자였고, 그와 가까운 수학자이자 정교회 사제인 파벨 플로렌스키와 함께, 신의 이름을 부르는 일 자체를 신성하게 여기는 종교 운동(이름 찬양파)에 공감했습니다. 이 믿음이 무한 집합에 이름을 주는 일에 대한 그들의 태도에 영향을 주었다는 해석도 있지만, 역사가들 사이에 의견이 갈립니다. 1929–30년 공산당의 수학 이념가 에른스트 콜만 같은 사람들이 예고로프와 수학회를 반동적이라며 공격했고, 1930년 예고로프는 체포되어 카잔으로 유배되었다가 이듬해 단식 끝에 세상을 떠났습니다. 플로렌스키는 1937년 처형되었습니다.

1936년 여름에는 루진 차례였습니다. 7월 『프라우다』는 「소비에트의 가면을 쓴 적들에 대하여」라는 글로 그를 공격했습니다. 가장 좋은 결과는 외국 학술지에 싣고 소련에는 하찮은 것만 낸다는 것, 제자들의 성과를 가로챘다는 것, 외국에 아첨한다는 것이 죄목이었습니다. 과학 아카데미의 위원회가 열렸고, 알렉산드로프를 비롯한 옛 제자 몇몇이 스승을 거세게 비판했습니다. 물리학자 표트르 카피차가 정부 수반인 인민위원회 의장 뱌체슬라프 몰로토프에게 루진을 변호하는 편지를 보냈고, 루진은 공개 비판을 받고 여러 자리에서 물러났지만 체포되지는 않고 아카데미 회원으로 남았습니다. 대숙청이 시작되던 해로서는 드문 결말이었습니다. 이 사건⁠(event)⁠ 뒤로 소련 수학자들은 주요 결과를 주로 러시아어로 소련 학술지에 싣게 되었고, 세계와의 교류는 오랫동안 좁아졌습니다. 위원회의 속기록은 1999년에야 출판되었습니다.

그 한가운데서 콜모고로프와 알렉산드로프는 1929년 볼가강 여행에서 시작된 평생의 우정을 이어 가며, 1935년부터 모스크바 근교 코마로프카의 집에서 함께 지냈습니다. 알렉산드로프는 1932년부터 30년 넘게 모스크바 수학회 회장을 맡았습니다. 1933년 콜모고로프는 『확률론의 기초⁠(basics)⁠ 개념』에서 확률⁠(probability)⁠을 오늘날 표준이 된 공리⁠(axiom)⁠ 위에 세웠습니다. 일어날 수 있는 모든 결과의 집합 $\Omega$(주사위라면 1부터 6까지)를 두고, 사건은 그 부분집합('짝수가 나온다'는 {2, 4, 6}), 확률은 사건마다 수를 하나씩 주는 측도로 봅니다. 공리는 셋뿐입니다. 확률은 0 이상이고, 전체의 확률은 1이며, 서로 겹치지 않는 사건들을 모으면 (가산 개를 모아도) 확률이 더해집니다(공리). 길이를 재던 측도의 언어와 집합 연산이 그대로 확률의 언어가 되어, 확률론이 수학의 한가운데로 들어온 것입니다. 그 전인 1920년대 후반에 콜모고로프는 힌친과 함께, 동전 던지기처럼 서로 영향을 주지 않는 시행을 되풀이할 때 결과의 평균⁠(mean)⁠이 기댓값⁠(expected value)⁠으로 다가간다는 큰 수의 법칙⁠(law of large numbers)⁠이 어떤 조건에서 성립하는지를 밝혔습니다. 1931년에는 다음 상태가 지금 상태에만 기대어 한 걸음씩 옮겨 가는 마르코프 연쇄⁠(Markov chain)⁠를 시간이 끊김 없이 흐르는 경우로 넓혀, 확률이 시간에 따라 변하는 규칙을 미분방정식⁠(differential equation)⁠으로 적었습니다. 무작위 걸음의 보폭과 시간 간격을 함께 한없이 잘게 하면 그 방정식은 열 방정식이 되니, 동전을 던져 좌우로 걷는 사람들이 퍼지는 모습과 막대를 따라 열이 퍼지는 모습이 같은 식을 따르는 셈입니다. 같은 1935년, 모스크바에서는 고등학생을 위한 첫 수학 올림피아드가 열렸습니다.

2차 세계대전은 수학을 전장으로 불러냈습니다. 콜모고로프는 포탄이 흩어지는 방식을 확률로 다루었고, 1941년에는 난류⁠(turbulence)⁠를 연구했습니다. 큰 소용돌이가 작은 소용돌이로 쪼개지며 에너지를 넘겨주는 과정에서, 그 중간 크기의 소용돌이들은 에너지가 흘러내리는 빠르기 ε만 기억한다고 가정해 봅시다. 소용돌이의 크기가 1/k일 때 k를 파수라 합니다. 파수 k 근처의 소용돌이가 (물 1kg당, 파수 한 단위당) 가진 에너지 $E(k)$의 단위는 $\mathrm{m^3/s^2}$, ε의 단위는 $\mathrm{m^2/s^3}$, k의 단위는 $\mathrm{1/m}$이니, 단위가 맞는 조합은 $E(k) = C\,\varepsilon^{2/3} k^{-5/3}$ 하나뿐입니다. 단위만으로 얻은 이 −5/3 법칙은 뒤에 대기와 바다의 관측에서 확인되었습니다. 전쟁 뒤에는 원자폭탄과 로켓의 계산에 수학자들이 동원되어 므스티슬라프 켈디시, 안드레이 티호노프, 이즈라일 겔판트 같은 사람들이 그 일을 맡았습니다. 1948년 유전자의 존재를 부정한 농학자 트로핌 리센코의 주장에 반대한 유전학자들이 숙청될 때 수학과 물리학이 비슷한 운명을 피한 데에는 이런 쓸모가 한몫했다는 견해가 흔합니다. 1956년 앞을 보지 못하던 위상수학자 레프 폰트랴긴과 제자들은 제어 문제의 최적화⁠(optimization)⁠ 조건을 최대 원리⁠(maximum principle)⁠로 정리했습니다. 제어 문제란 로켓의 엔진을 매 순간 어느 방향으로 얼마나 켜야 목표에 가장 빨리 닿는가처럼, 시간에 따라 조종을 골라 결과를 가장 좋게 만드는 문제입니다. 최대 원리는 최선의 조종이 매 순간 어떤 양 하나를 가장 크게 만드는 조종이어야 한다는 조건을 줍니다.

1953년 레닌 언덕에 모스크바 대학의 거대한 새 본관이 들어섰고, 스탈린이 죽은 뒤의 '해빙'과 함께 역학·수학부는 황금기를 맞았습니다. 수십 년 동안 매주 열린 겔판트의 세미나처럼, 교수와 학생이 밤늦도록 문제를 다투는 세미나가 학파의 심장이었습니다. 콜모고로프는 1954년 푸앵카레가 삼체 문제⁠(three-body problem)⁠에서 남긴 물음에 답했습니다. 행성들이 규칙적으로 도는 계에 서로 끌어당기는 작은 힘이 흔들림으로 더해지면 그 규칙이 무너질까 하는 물음인데, 그는 흔들림이 충분히 작으면 규칙적인 궤도⁠(orbit)⁠의 대부분은 모양이 조금 바뀔 뿐 살아남는다는 정리를 내놓았습니다. 아르놀트와 위르겐 모저가 증명을 완성해, 세 사람의 머리글자를 따 KAM 이론⁠(KAM theory)⁠이라 부릅니다. 1957년에는 제자 블라디미르 아르놀트와 함께 힐베르트가 1900년에 내놓은 23개 문제 가운데 13번 문제에 답했습니다. 두 변수 함수 xy는 $xy = \tfrac14\big((x+y)^2 - (x-y)^2\big)$처럼 덧셈과 한 변수 함수(제곱)만을 겹쳐 만들 수 있는데, 두 사람은 여러 변수의 연속 함수라면 무엇이든 한 변수 연속 함수들과 덧셈을 겹쳐 만들 수 있음을 보였습니다. 1958년에는 섀넌의 엔트로피⁠(entropy)⁠를 빌려 동역학계가 새 정보를 만들어 내는 빠르기를 정의했고, 제자 야코프 시나이가 이를 다듬었습니다. 계의 상태를 거친 눈금으로 한 걸음마다 기록할 때, 지난 기록으로는 예측할 수 없는 새 정보가 한 걸음마다 평균 몇 비트씩 생기는지를 재는 양입니다. 규칙적인 운동이면 0이고 혼돈⁠(chaos)⁠이면 0보다 큽니다. 1960년 콜모고로프는 n자리 수 둘을 곱하려면 한 자리 곱셈이 $n^2$번쯤 꼭 필요하리라고 예상했는데, 세미나에 온 학생 아나톨리 카라추바가 곧 뒤집었습니다. 수를 반으로 쪼개 반 크기의 곱셈 셋으로 줄이는 일을 되풀이하면(분할 정복⁠, divide and conquer⁠) 곱셈이 $n^{1.59}$번쯤으로 줄어듭니다. 1965년 콜모고로프는 문자열 하나에 담긴 정보의 양을 그것을 출력하는 가장 짧은 프로그램의 길이로 정의했습니다(콜모고로프 복잡도⁠, Kolmogorov complexity⁠). '01'을 500번 되풀이한 1000자리는 '01을 500번 써라'라는 짧은 프로그램으로 나오지만, 동전을 던져 얻은 1000자리는 대개 그대로 적는 것보다 훨씬 짧게 줄일 수 없습니다.

냉전은 이 학파를 서방의 거울로 만들었습니다. 1957년 스푸트니크 발사에 놀란 미국은 과학 교육에 돈을 쏟았고, 영미의 수학회들은 소련 학술지를 통째로 영어로 번역해 펴내기 시작했습니다. 1959년 영국의 교환 학생 토니 호어는 모스크바 대학 콜모고로프 학파에서 공부하며 러시아어 기계 번역⁠(machine translation)⁠을 거들다가, 사전을 한 번에 훑으려고 낱말을 정렬하는 방법을 궁리하던 끝에 퀵정렬⁠(quicksort)⁠을 떠올렸습니다(정렬 알고리즘⁠(sorting algorithm)⁠, 무작위 알고리즘⁠(randomized algorithm)⁠). 그러나 철의 장막은 사람의 이동을 막았습니다. 1970년 필즈상(4년마다 40세 이하 수학자에게 주는 가장 이름난 상)을 받은 위상수학자 세르게이 노비코프는 시상식이 열린 니스에 가지 못했고, 1978년 수상자 그리고리 마르굴리스도 헬싱키의 시상식에 갈 수 없었습니다.

콜모고로프는 다음 세대를 기르는 일에 말년을 쏟았습니다. 1963년 그는 모스크바 대학 부설 수학·물리 영재 기숙학교를 세웠습니다. 전국의 올림피아드와 여름 학교에서 뽑힌 학생들이 들어왔고, 콜모고로프는 직접 수업을 맡았을 뿐 아니라 학생들을 데리고 음악을 듣고 산행을 다녔습니다. 1970년에는 학생 잡지 『크반트』의 창간에 참여했습니다. 문제 잡지와 경시대회와 학교가 사슬처럼 이어진 모습은 70년쯤 앞선 부다페스트와 꼭 닮았습니다. 1970년대에 그가 이끈 학교 수학 교육과정 개혁은 너무 추상적이라는 거센 비판을 받기도 했습니다.

학파에는 그늘도 짙었습니다. 1970–80년대 역학·수학부의 입학 구술시험에서 유대계 지원자들에게는 유난히 어려운 문제가 따로 주어졌다는 증언과 기록이 여럿 남아 있습니다. 1968년 수학자이자 인권 운동가인 알렉산드르 예세닌볼핀의 정신병원 강제 입원에 항의하는 편지에 서명한 수학자들은 불이익을 받았고, 콜모고로프의 제자 레오니트 레빈처럼 나라를 떠난 사람도 있었습니다. 1991년 소련이 해체되자 연구비가 무너지고 대규모 이주가 뒤따랐습니다. 겔판트는 1990년 미국 러트거스로, 시나이는 1993년 프린스턴으로 갔고, 아르놀트는 파리와 모스크바를 오갔습니다. 같은 1991년 남은 사람들은 모스크바 독립⁠(independence)⁠ 대학을 세웠습니다. 콜모고로프는 1987년, 알렉산드로프는 1982년에 세상을 떠났고, 루시타니아의 후손들은 오늘날 세계 여러 대학의 수학과에 흩어져 있습니다.

이어지는 곳. 알렉산드로프와 우리손이 위상수학을 배우러 찾아간 괴팅겐, 문제 잡지와 경시대회로 인재를 기른 올림피아드 전통의 선배 부다페스트의 수학자들, 리센코 사건이 있던 1948년에 섀넌이 정보 이론을 발표한 벨 연구소(콜모고로프는 뒤에 이 이론을 빌려 동역학계의 엔트로피를 정의했습니다)와 함께 읽어 보세요. 정의할 수 있는 집합과 그렇지 않은 집합을 가르는 루진 학파의 물음은 무한집합을 어디까지 믿을 것인가의 문제이므로 무한을 다루는 법으로, 확률의 공리에서 문자열 하나의 무작위성까지 이르는 콜모고로프의 길은 무작위성으로 이어집니다. 확률이 0인 사건을 조건으로 삼는 조건부 확률⁠(conditional probability)⁠은 콜모고로프의 공리 위에서 처음 제대로 정의되었고, 서로 영향을 주지 않는 값을 많이 더하면 종 모양 분포가 나타나는 조건을 따지는 중심극한정리⁠(central limit theorem)⁠ 연구는 그의 제자 보리스 그네덴코와 함께 쓴 1949년의 책에서 한 매듭을 지었습니다.