부다페스트의 수학자들(The Budapest school)

1900년 무렵의 부다페스트는 유럽에서 가장 빨리 자라는 도시 가운데 하나였습니다. 1867년 오스트리아와의 타협으로 헝가리 왕국이 제국의 절반을 스스로 다스리게 되었고, 1873년 부다와 페스트와 오부다가 합쳐 한 도시가 되었습니다. 1867년 헝가리의 유대인은 법적으로 동등한 시민이 되었고, 상업과 금융과 전문직으로 올라선 새 중산층은 아이들의 교육에 아낌없이 투자했습니다. 그로부터 한 세대 사이에 이 도시에서 폰 노이만과 에르되시, 물리학자 위그너 예뇌와 실라르드 레오와 텔러 에데, 공기역학자 카르만 토도르(테오도어 폰 카르만), 수학자 폴리아 죄르지와 세게 가보르가 자랐습니다(헝가리에서는 성을 이름 앞에 씁니다. 에르되시 팔에서 에르되시가 성입니다). 작은 나라의 한 도시가 어떻게 이런 일을 했는지는 오래된 수수께끼입니다. 이 페이지는 천재 한 사람 한 사람 대신 제도, 곧 잡지와 경시대회와 학교를 따라가고, 그 사람들을 결국 세계로 흩어 놓은 정치를 따라갑니다.

년 ·

1894년에 두 가지가 생겼습니다. 하나는 죄르의 고등학교 교사 어러니 다니엘이 창간한 『중등학교 수학 잡지』(KöMaL)입니다. 잡지는 달마다 문제를 싣고, 전국의 학생들이 우편으로 보낸 풀이 가운데 좋은 것을 풀이한 학생의 이름과 함께 실었습니다. 한 해 동안 꾸준히 푼 학생들은 사진이 실렸으니, 먼 시골의 학생도 자기 이름이 활자로 찍히는 것을 보며 수학자를 꿈꿀 수 있었습니다. 다른 하나는 물리학자 외트뵈시 로란드가 교육부 장관이 된 것을 기념해 수학·물리학회가 연 경시대회입니다. 고등학교를 갓 마친 학생들이 몇 시간 동안 세 문제를 풀었는데, 책과 공책을 가져와도 되었습니다. 외워 둔 공식으로는 풀 수 없고 그 자리에서 새 생각을 해야 풀리는 문제를 낸다는 뜻입니다. 이 대회는 1949년부터 퀴르샤크 대회라는 이름으로 이어졌고 잡지는 지금도 나옵니다. 문제를 받아 혼자 오래 붙잡고, 풀이를 글로 적어 남에게 보이는 습관이 온 나라 학생들에게 배어들었습니다.

잡지를 읽힌 것은 학교였습니다. 부다페스트의 김나지움들은 8년 동안 라틴어와 그리스어, 수학과 물리를 깊이 가르쳤고, 교사 가운데에는 연구 논문을 쓰는 사람이 적지 않았습니다. 폰 노이만과 위그너가 다닌 파소리 루터교 김나지움의 수학 교사 라츠 러슬로는 KöMaL의 편집을 오래 맡은 사람이었습니다. 그는 입학한 지 얼마 안 된 폰 노이만의 재능을 알아보고, 부모를 설득해 대학의 젊은 수학자 세게 가보르 등에게 따로 배우게 했습니다. 카르만의 아버지가 세운 민타(모범) 김나지움은 텔러가 다닌 학교입니다. 한 학교에서 비범한 학생을 알아보고 대학과 이어 주는 사슬이 도시 안에 촘촘히 있었던 셈입니다.

대학에서 이 학생들을 받은 사람은 수학자 페예르 리포트였습니다. 1900년 스무 살의 그는 푸리에 급수⁠(Fourier series)⁠의 오랜 골칫거리를 풀었습니다. 푸리에 급수는 함수⁠(function)⁠를 사인과 코사인⁠(sine and cosine)⁠의 무한한 합으로 적은 것이고, 그 합을 n번째 항까지만 더한 값을 부분합⁠(partial sum)⁠ $S_n$이라 합니다. 그런데 그래프가 끊기지 않는 연속 함수라도 부분합이 어떤 점에서는 원래 값에 다가가지 않을 수 있고(1873년 독일의 수학자 파울 뒤부아레몽이 만든 예), 그래프가 끊기는 점 근처에서는 깁스 현상⁠(Gibbs phenomenon)⁠처럼 부분합이 원래 값보다 튀어 오릅니다. 페예르는 부분합을 그대로 쓰지 말고 평균⁠(mean)⁠을 내자고 했습니다. $\sigma_N = (S_0 + S_1 + \cdots + S_{N-1})/N$으로 두면, 주기⁠(period)⁠가 2π인 연속 함수(한 바퀴 돌아 제자리에 올 때도 끊기지 않는 함수)에서는 이 평균이 언제나 원래 함수로 다가가되 모든 점에서 한꺼번에 다가가고(균등 수렴⁠(uniform convergence)⁠) 튀어 오름도 사라집니다. 부분합의 들쭉날쭉한 진동이 평균 속에서 서로 지워지는 것입니다. 1911년 부다페스트 대학 교수가 된 그의 지도로 폴리아, 리스 마르첼, 에게르바리 예뇌, 투란 팔, 그리고 폰 노이만과 에르되시가 박사 학위를 받았습니다. 폴리아와 세게가 1925년에 함께 낸 『해석학⁠(mathematical analysis)⁠의 문제와 정리』는 이론을 설명하는 대신 잘 고른 문제를 차례로 풀게 해 이론에 이르게 하는 책으로, 잡지의 문제 풀이 전통을 대학 수준으로 옮겨 놓은 것이라 할 만합니다.

1차 세계대전의 패배가 이 세계를 흔들었습니다. 1918년 제국이 무너지고, 1919년 봄 쿤 벨러의 소비에트 공화국이 133일 만에 무너진 뒤, 호르티 미클로시의 반혁명 정권과 '백색 테러'가 뒤따랐습니다. 공산 정권의 지도자 가운데 유대계가 많았다는 이유로 유대인 전체가 원망의 과녁이 되었고, 1920년 의회는 대학 입학생 수를 민족별 인구 비율로 묶는 법을 통과시켜 유대계 학생의 입학을 크게 줄였습니다. 전후 유럽에서 처음 나온 반유대주의 법으로 꼽힙니다. 같은 해 트리아농 조약으로 헝가리는 영토의 3분의 2 가량을 잃었고, 콜로주바르(오늘날 루마니아의 클루지)의 대학은 세게드로 옮겨 가야 했습니다. 그 세게드에서 수학자 리스 프리제시와 하르 알프레드는 1922년 수학 학술지 『Acta Scientiarum Mathematicarum』을 창간해 작은 도시를 해석학(극한⁠(limit)⁠과 수렴⁠(convergence)⁠으로 미적분⁠(calculus)⁠을 엄밀하게 다지고 함수를 연구하는 분야)의 중심으로 만들었습니다. 한편 젊은이들은 나라 밖으로 나가기 시작했습니다. 폰 노이만은 부다페스트에서 박사 과정을 밟으면서 베를린과 취리히에서 화학 공학을 공부했고, 위그너와 실라르드는 베를린으로, 텔러는 독일의 대학들로 갔습니다.

입학 제한 아래에서도 대학에 들어간 유대계 학생들은 스스로 모였습니다. 1929년 무렵부터 수학과 학생 몇이 시립 공원의 '익명의 저자' 동상 아래에서 폴리아와 세게의 문제집을 함께 풀었고, 투란 팔과 클라인 에스테르, 세케레시 죄르지에 이어 1930년 대학에 들어온 에르되시 팔이 합류했습니다. 1932년 에르되시는 1보다 큰 어떤 자연수⁠(natural number)⁠ n을 잡아도 n과 2n 사이에 소수⁠(prime number)⁠가 반드시 있다는 체비쇼프의 정리를 이항계수⁠(binomial coefficient)⁠ $\binom{2n}{n}$의 소인수를 세는 짧은 논증으로 다시 증명해 이름을 알렸습니다. 1933년 무렵 클라인이 관찰 하나를 가져왔습니다. 평면 위에 어느 세 점도 한 직선 위에 있지 않게 다섯 점을 찍으면, 그 가운데 넷은 반드시 볼록 사각형(안쪽으로 파인 곳이 없는 사각형)을 이룬다는 것입니다. 세케레시와 에르되시는 이를 넓혀, 어떤 n에 대해서도 점을 충분히 많이 찍으면 볼록 n각형이 반드시 생기게 하는 개수가 있음을 보였습니다. 그 과정에서 세케레시는 케임브리지의 램지가 1928년에 증명한 정리, 곧 대상이 충분히 크면 어떻게 나누어 칠해도 한 색으로만 된 질서 있는 부분이 반드시 생긴다는 정리를 스스로 다시 찾아냈다고 하며, 1935년의 논문 「기하학의 한 조합 문제」는 램지 이론⁠(Ramsey theory)⁠의 두 번째 출발점이 되었습니다. 문제를 낸 클라인과 풀이에 매달린 세케레시가 1937년 결혼해, 이 문제는 '행복한 결말 문제⁠(happy ending problem)⁠'라 불립니다(긴 글 「완전한 무질서는 없다」).

부다페스트 공과대학에는 점과 그 점들을 잇는 선으로 이루어진 그래프를 독립⁠(independence)⁠된 수학으로 가르친 쾨니그 데네시가 있었습니다. 이분 그래프⁠(bipartite graph)⁠는 점들이 두 무리로 나뉘고 선은 언제나 서로 다른 무리의 점만 잇는 그래프입니다. 일꾼과 일, 지원자와 자리처럼 짝을 지어야 하는 상황이 모두 이분 그래프입니다. 1916년 쾨니그는 모든 점의 차수(점에 붙은 선의 수)가 1 이상의 같은 값인 이분 그래프에는 모든 점을 빠짐없이 짝짓는 완전 매칭⁠(perfect matching)⁠이 있음을 보였고, 1931년에는 이분 그래프에서 끝점을 공유하지 않는 선을 가장 많이 고른 수(최대 매칭⁠, maximum matching⁠)와 모든 선의 한쪽 끝을 덮는 가장 적은 점의 수(최소 덮개⁠, minimum vertex cover⁠)가 같다는 정리를 발표했습니다. 매칭⁠(matching)⁠의 선들은 끝점을 공유하지 않으니 덮개⁠(cover)⁠는 선마다 점을 적어도 하나씩 써야 하고, 그래서 언제나 매칭 ≤ 덮개입니다. 쾨니그는 이분 그래프에서는 이 부등식이 반드시 등식이 된다는 것을 보인 것입니다. 같은 해 공과대학의 동료 에게르바리 예뇌는 이 정리를, 짝마다 점수나 비용 같은 수가 붙어 있어 그 수들을 행렬⁠(matrix)⁠로 적는 경우로 넓혔습니다. 1935년 케임브리지의 필립 홀이 따로 증명한 홀의 정리⁠(Hall's theorem)⁠는 쾨니그의 정리⁠(Kőnig's theorem)⁠와 서로 쉽게 이끌어 낼 수 있고, 20년 뒤 미국에서 나온 최대 흐름 최소 절단 정리⁠(max-flow min-cut theorem)⁠는 두 정리를 특별한 경우로 품습니다. 쾨니그가 1936년 라이프치히에서 낸 『유한 및 무한 그래프의 이론』은 그래프 이론의 첫 교과서였고, 1953년 미국의 해럴드 쿤은 이 책에서 에게르바리의 헝가리어 논문을 알게 되어 사전을 들고 번역한 끝에 배정 문제⁠(assignment problem)⁠, 곧 일꾼 n명과 일 n개를 하나씩 짝지어 비용의 합을 가장 작게 만드는 문제를 푸는 방법을 만들고 두 사람을 기려 '헝가리안 방법⁠(Hungarian method)⁠'이라 불렀습니다(긴 글 「짝을 찾는 알고리즘⁠(algorithm)⁠」).

1930년대가 되자 떠남은 망명이 되었습니다. 폰 노이만은 1930년 프린스턴으로 가서 1933년 새로 생긴 고등연구소의 첫 교수진이 되었고(프린스턴 고등연구소), 위그너도 프린스턴으로, 카르만은 캘리포니아 공과대학으로 갔습니다. 1933년 나치가 독일 대학에서 유대계 학자들을 쫓아내자 베를린과 괴팅겐에 있던 헝가리 사람들도 영국과 미국으로 옮겨 갔습니다. 에르되시는 1934년 박사 학위를 받자 맨체스터로, 1938년에는 프린스턴으로 떠났습니다. 미국의 동료들은 이들을 반쯤 농담으로 '화성인'이라 불렀습니다. 외계 문명이 있다면 왜 아직 여기 오지 않았느냐는 물리학자 엔리코 페르미의 물음에, 실라르드가 이미 와 있고 스스로를 헝가리 사람이라 부를 뿐이라고 답했다는 이야기가 전하는데, 출처가 분명하지 않은 일화입니다. 1939년 8월 루스벨트 대통령에게 원자폭탄의 가능성을 경고한 아인슈타인의 편지는 실라르드가 초안을 쓴 것이고, 실라르드가 아인슈타인을 찾아갈 때 위그너와 텔러가 차례로 동행했습니다. 이어진 맨해튼 계획에서 폰 노이만은 내파 설계, 곧 플루토늄 공을 둘러싼 폭약을 사방에서 동시에 터뜨려 공을 고르게 짓눌러 폭발시키는 방식의 계산을 맡았고, 텔러는 뒷날 수소폭탄 개발을 이끌었습니다.

그들이 들고 간 것은 특정한 이론이라기보다 문제를 다루는 방식이었습니다. 스탠퍼드로 간 폴리아는 1945년 『어떻게 풀 것인가』를 써서 문제 풀이의 요령을 전 세계 교실에 퍼뜨렸습니다. 에르되시는 1947년 동전 던지기로 램지 수⁠(Ramsey number)⁠의 하한⁠(lower bound)⁠을 얻었습니다. 램지 수 R(k)는 점 n개를 모두 선으로 이은 그래프의 선들을 두 색으로 어떻게 칠해도 한 색의 선으로만 서로 이어진 점 k개의 덩어리가 반드시 생기게 하는 가장 작은 n입니다. 하한을 얻는다는 것은 'n이 이만큼 작으면 그런 덩어리를 피하는 칠하기가 있다'를 보이는 일입니다. 선마다 동전을 던져 두 색을 칠하면, 점 k개가 한 색으로만 이어진 덩어리 수의 기댓값⁠(expected value)⁠은 $\binom{n}{k}\,2^{1-\binom{k}{2}}$이고, 이 값이 1보다 작으면 그런 덩어리가 하나도 없는 칠하기가 적어도 하나 있습니다. 덩어리 수는 0, 1, 2, … 같은 정수⁠(integer)⁠이니, 평균이 1보다 작으려면 0인 경우가 반드시 있어야 하기 때문입니다. 이 계산에서 $n \lt 2^{k/2}$이면(k ≥ 3) 그런 칠하기가 있고, 따라서 $R(k) > 2^{k/2}$입니다. 대상을 만들어 보이지 않고 무작위로 골라 존재를 증명하는 이 확률적 방법⁠(probabilistic method)⁠은 헝가리 조합론의 표지가 되었습니다. 폰 노이만은 로스앨러모스에서 폴란드 출신 수학자 스타니스와프 울람과 함께 난수로 중성자의 움직임을 흉내 내는 몬테카를로 방법⁠(Monte Carlo method)⁠을 다듬었는데, 1948년 ENIAC에서 그 계산을 프로그래밍한 사람 가운데 하나가 부다페스트 출신인 그의 아내 단 클라라였습니다.

남은 사람들에게는 더 어두운 시간이 왔습니다. 헝가리는 1938년부터 잇따라 반유대 법을 만들었고, 1944년 3월 독일군이 들어온 뒤 몇 달 사이에 40만 명이 넘는 유대인이 아우슈비츠로 끌려갔습니다. 1944년 10월 극우 화살십자당이 권력을 잡은 며칠 뒤, 쾨니그는 박해를 피해 스스로 목숨을 끊었습니다. 투란은 강제 노동 부대에서 전쟁을 견디며, 점 r개가 모두 이어진 덩어리를 품지 않는 그래프가 가질 수 있는 선의 최대 개수를 구한 투란 정리⁠(Turán's theorem)⁠를 그곳에서 떠올렸습니다. 세케레시와 클라인 부부는 1939년 무렵 비자 없이 들어갈 수 있던 상하이로 피해 전쟁을 넘겼고, 에르되시의 친척 가운데서도 많은 사람이 홀로코스트로 목숨을 잃었습니다.

전쟁 뒤 헝가리는 소련의 영향 아래 공산 국가가 되었지만 수학의 전통은 끊기지 않았습니다. 1950년 레니 얼프레드가 이끄는 응용수학 연구소(지금의 레니 연구소)가 세워졌고, 1959년부터 에르되시와 레니는 점들 사이에 선을 무작위로 하나씩 더해 가는 그래프에서, 한 점에 평균 한 개의 이웃이 생기는 문턱⁠(threshold)⁠을 넘는 순간 거대한 연결 덩어리가 갑자기 나타난다는 것을 보였습니다. 오늘날 좁은 세상⁠(small world)⁠과 감염병 연결망 연구의 출발점입니다. 1956년 혁명이 진압된 뒤의 탄압 속에서 에게르바리는 부당한 기소를 두려워하다 1958년 스스로 목숨을 끊었습니다. 그래도 잡지와 경시대회는 이어졌고, 1975년 세메레디 엔드레는 에르되시와 투란의 1936년 추측을 풀었습니다. 자연수 가운데 일정한 비율 이상을 차지하는 집합(이를테면 1부터 N까지에서 N이 아무리 커져도 늘 1% 이상을 차지하는 집합⁠(set)⁠)에는 3, 7, 11, 15처럼 같은 간격으로 늘어선 수, 곧 등차수열⁠(arithmetic progression)⁠이 원하는 만큼 길게 들어 있다는 정리입니다(반 데르 바르던 정리⁠(van der Waerden's theorem)⁠). 세메레디는 2012년, 그래프 이론과 알고리즘의 로바스 라슬로는 2021년, 수학의 노벨상이라 불리는 아벨상을 받았습니다. 에르되시는 평생 집 없이 세계를 떠돌면서도 부다페스트로 자주 돌아왔고, 그의 여행 가방을 따라 수많은 나라의 수학자가 헝가리의 문제 문화에 이어졌습니다.

이어지는 곳. 폰 노이만이 부다페스트를 떠나 찾아간 곳은 힐베르트의 괴팅겐이었고, 화성인들이 모인 곳은 프린스턴 고등연구소와 로스앨러모스입니다. 램지와 홀의 정리는 20세기 초 케임브리지에서 왔습니다. 경시대회와 영재 학교로 수학자를 길러 낸 또 하나의 전통은 모스크바 수학 학파에 있습니다. 쾨니그와 에게르바리의 등식(최대 매칭 = 최소 덮개), 두 사람이 겨루는 게임에서 각자 최악을 대비해 고른 값이 서로 같아진다는 폰 노이만의 최소최대 정리⁠(minimax theorem)⁠, 최대 흐름⁠(maximum flow)⁠ 최소 절단⁠(cut)⁠은 모두 최대화 문제와 최소화 문제가 같은 답에서 만나는 쌍대성⁠(duality)⁠의 예이고, 동전으로 존재를 보이는 논법은 무작위성을 도구로 삼는 긴 이야기의 한 장입니다. 짝짓기의 뒷이야기는 양쪽이 서로를 고르는 짝짓기인 안정 매칭⁠(stable matching)⁠과, 헝가리안 방법처럼 가능한 모든 짝 가운데 가장 좋은 것을 찾는 가장 좋은 것 고르기에 있습니다. 여섯 명이 모이면 서로 아는 셋이나 서로 모르는 셋이 반드시 있다는 가장 작은 램지 정리는 비둘기집 원리⁠(pigeonhole principle)⁠로 증명됩니다.