게오르크 칸토어(Georg Cantor)

게오르크 칸토어는 1845년 러시아 상트페테르부르크에서 상인의 아들로 태어나, 열한 살에 가족과 함께 독일로 옮겨 그곳에서 평생을 보낸 수학자입니다. 그의 시대 수학자들에게 무한은 '끝없이 계속할 수 있다'는 뜻의 가능성일 뿐, 다 모인 하나의 대상으로 다룰 것이 아니었습니다. 아리스토텔레스 이래의 전통이 그랬고, 가우스도 완성된 무한을 수학적 대상으로 쓰는 데 반대한다고 편지에 적었습니다. 칸토어는 무한한 모임을 하나의 대상으로 놓고 그 크기를 비교했고, 그 결과 무한이 하나가 아니라는 것을 보였습니다.

나이 세 ·

아버지는 그가 공학자가 되기를 바랐지만 결국 수학을 허락했습니다. 그는 취리히를 거쳐 베를린 대학에서 바이어슈트라스, 쿰머, 크로네커에게 배웠고, 1869년부터 할레 대학에서 가르쳤습니다. 베를린으로 옮기기를 평생 바랐지만 이루지 못했습니다. 처음 연구한 것은 삼각급수⁠(trigonometric series)⁠, 곧 사인과 코사인⁠(sine and cosine)⁠을 끝없이 더한 푸리에 급수⁠(Fourier series)⁠ 꼴의 급수⁠(series)⁠였습니다. 그의 질문은 이것이었습니다. 두 삼각급수가 모든 점에서 같은 값으로 수렴⁠(convergence)⁠하면 두 급수는 계수까지 똑같은가? 다시 말해 한 함수⁠(function)⁠를 삼각급수로 나타내는 방법은 하나뿐인가? 1870년 그는 그렇다는 것을 증명했습니다. 이어서 조건을 약하게 했습니다. 몇몇 점에서는 두 급수가 같은 값으로 수렴하는지 모른다고 해도 결론이 그대로일까? 그런 예외 점이 유한 개이면 괜찮다는 것은 곧 보였습니다. 예외 점이 무한히 많으면 그 점들이 어떻게 모여 있느냐가 문제가 됩니다. 그는 한 모임에서 '극한점⁠(limit point)⁠', 곧 아무리 가까이 가도 그 모임의 다른 점이 있는 점만 남기는 조작을 생각했습니다. {1, 1/2, 1/3, 1/4, …}에 이 조작을 하면 극한점 0 하나만 남고, 한 번 더 하면 아무것도 남지 않습니다. 1872년 그는 이 조작을 유한 번 되풀이해 모든 점이 사라지는 모임이라면, 예외 점이 무한히 많아도 표현이 하나뿐이라는 것을 보였습니다. 이렇게 예외 점들의 모임 자체가 연구 대상이 되었고, 집합⁠(set)⁠론은 해석학⁠(mathematical analysis)⁠의 한 질문에서 태어났습니다.

그가 배운 1860년대의 베를린은 독일 수학의 수도였습니다. 바이어슈트라스는 코시의 해석학을 ε과 δ의 엄밀한 문장으로 다시 쓰고 있었고, 쿰머와 크로네커는 정수론⁠(number theory)⁠의 대가였습니다. 칸토어는 1867년 가우스의 『산술 연구』에 나오는 정수⁠(integer)⁠ 방정식에 관한 논문으로 박사 학위를 받았습니다. 프로이센의 교수 자리는 정부가 임명했지만 베를린 원로들의 추천이 크게 작용했으니, 할레 같은 지방 대학에서 베를린으로 옮기려면 그들의 인정이 필요했습니다. 할레에서 삼각급수 문제를 권한 사람은 선배 교수 하이네였고, 칸토어는 리만이 남긴 삼각급수 논문의 방법을 이어받아 1870년 표현이 하나뿐이라는 정리를 증명했습니다.

그의 출발점은 셈의 본질이었습니다. 유한한 것을 셀 때 우리가 하는 일은 대상과 1, 2, 3, …을 짝짓는 것입니다. 칸토어는 두 집합의 원소⁠(element)⁠를 남김없이 짝지을 수 있으면(일대일 대응) 크기가 같다고 정의했습니다. 갈릴레이는 자연수⁠(natural number)⁠와 제곱수⁠(perfect square)⁠가 짝지어진다는 것을 보고 무한에는 '더 많다'는 말이 통하지 않는다며 멈추었지만, 칸토어는 이것을 정의로 받아들였습니다. 그러면 짝수도, 정수도, 분수도 자연수와 크기가 같습니다(가산 집합⁠(countable set)⁠). 1873년 12월 그는 친구 데데킨트에게 실수⁠(real number)⁠는 자연수와 짝지을 수 없다는 증명을 편지로 보냈고, 이듬해 발표했습니다. 같은 논문에서 그는 √2($x^2 - 2 = 0$의 근)처럼 정수 계수 다항식⁠(polynomial)⁠의 근이 되는 수, 곧 대수적 수⁠(algebraic number)⁠는 셀 수 있다는 것도 보였습니다. 셀 수 없이 많은 실수에서 셀 수 있을 만큼만 빼면 여전히 셀 수 없이 남으니, π와 e처럼 어떤 정수 계수 다항식의 근도 아닌 초월수⁠(transcendental number)⁠가 오히려 '대부분'이라는 결론이 따라 나옵니다.

1877년에는 더 놀라운 결과를 얻었습니다. 선분 위의 점과 정사각형 안의 점을 일대일로 짝지을 수 있다는 것, 곧 차원이 달라도 점의 개수는 같다는 것입니다. 착상은 소수 자리를 엮는 것입니다. 정사각형의 점 (0.a₁a₂a₃…, 0.b₁b₂b₃…)에 선분의 점 0.a₁b₁a₂b₂a₃b₃…을 짝지으면, 두 좌표의 정보가 수 하나에 빠짐없이 담깁니다(0.4999… = 0.5처럼 표기가 둘인 수를 다루는 손질은 필요합니다). 그는 데데킨트에게 "보지만, 믿지는 못하겠다"고 프랑스어로 적어 보냈습니다. 1891년에는 오늘날 널리 알려진 대각선 논법⁠(diagonal argument)⁠을 내놓았습니다. 실수를 모두 담았다는 목록이 있다면, 그 목록의 k번째 수와 k번째 자리가 다른 수를 만들면 목록에 없는 수가 생깁니다. 같은 논법으로 그는 어떤 집합이든 그 부분집합⁠(subset)⁠ 전체의 모임, 곧 멱집합⁠(power set)⁠이 원래 집합보다 엄격히 크다는 것을 보였습니다. 무한은 끝없는 사다리가 되었고, 그는 그 크기들을 기수⁠(cardinal number)⁠라 부르며 가장 작은 무한을 히브리 문자로 $\aleph_0$이라 적었습니다. 실수의 크기 $2^{\aleph_0}$이 $\aleph_0$ 바로 다음 크기인지 묻는 연속체 가설⁠(continuum hypothesis)⁠은 그가 끝내 풀지 못한 문제입니다.

1883년 논문에서 다룬 칸토어 집합⁠(Cantor set)⁠도 그의 무한론의 한 장면입니다. 구간의 가운데 3분의 1을 끝없이 지우고 남은 점들은 길이가 0이지만(길이가 0인 집합), 셀 수 없이 많아 구간 전체와 크기가 같습니다. 남는 점은 3진법⁠(ternary)⁠으로 1을 쓰지 않고 적을 수 있는 수들입니다(1/3 = 0.0222…₃처럼). 그 자리의 2를 모두 1로 바꿔 2진법⁠(positional notation)⁠으로 읽으면 0과 1 사이의 모든 수가 빠짐없이 얻어지니, 남은 점이 구간보다 적을 수 없습니다. 그 위에서만 오르는 칸토어 함수⁠(Cantor function)⁠는 길이 0인 집합 위에서만 오르면서도 연속으로 0에서 1까지 올라갑니다. 같은 해의 『일반 집합론의 기초⁠(basics)⁠』에서 그는 모순만 없다면 수학은 새 개념을 자유롭게 만들어도 된다며 "수학의 본질은 그 자유에 있다"고 썼습니다.

그의 논문들이 걸어간 길에서도 그 시대가 보입니다. 1874년 실수가 셀 수 없다는 논문은 그 결과를 제목에 내세우지 않고 「모든 실수 대수적 수의 모임이 갖는 한 성질에 대하여」라는 온건한 제목을 달았는데, 역사가들은 크로네커가 영향력을 가진 크렐레의 학술지에서 반발을 피하려 한 것으로 봅니다. 1877년 선분과 정사각형에 관한 논문의 게재가 늦어지자 칸토어는 크로네커가 막는다고 의심했고, 이 논문이 나온 뒤로는 그 학술지에 다시 논문을 보내지 않았습니다. 크로네커가 실제로 얼마나 개입했는지는 분명하지 않습니다. 새 발견을 먼저 편지로 확인해 준 사람은 브라운슈바이크의 데데킨트였습니다. 두 사람은 1872년 스위스에서 처음 만나 오랫동안 편지를 주고받았고, 그 편지들은 집합론이 태어나는 과정을 가장 가까이서 보여 주는 기록으로 남았습니다.

반대는 거셌습니다. 베를린의 크로네커는 유한한 단계로 만들 수 있는 대상만 인정해야 한다며 그의 방법을 받아들이지 않았고, 스톡홀름의 미타그레플레르는 그의 논문을 프랑스어로 옮겨 『악타 마테마티카』에 실어 유럽에 알렸지만 1885년에는 새 논문의 발표를 미루라고 권해 그를 실망시켰습니다. 그는 1884년 처음 심한 우울증을 겪었고, 1899년 무렵부터는 여러 차례 요양원에 입원했습니다. 학계의 반대가 병의 원인이었는지는 역사가들 사이에서도 의견이 갈립니다. 독실한 루터교 신자였던 그는 초한수⁠(transfinite number)⁠가 신의 절대적 무한과 충돌하지 않는다고 신학자들과 편지로 논했고, 셰익스피어 작품의 저자가 베이컨이라는 주장에도 오래 몰두했습니다. 1890년 독일수학회 초대 회장이 되었고, 1918년 1월 1차 세계대전 막바지의 궁핍 속에 할레의 요양원에서 세상을 떠났습니다.

그렇다고 그가 고립된 채 싸우기만 한 것은 아닙니다. 베를린 중심의 학계에 맞서 1890년 독일수학회를 세우는 데 앞장섰고, 나라를 넘는 국제 수학자 대회를 열자고 꾸준히 제안했습니다. 1897년 취리히에서 열린 첫 대회에서 수학자 후르비츠와 아다마르가 집합론이 해석학에 쓰이는 예를 소개하면서, 그의 이론은 공개적인 인정을 받았습니다. 젊은 세대는 그의 언어를 곧바로 받아들였습니다. 르베그의 적분⁠(integral)⁠과 측도(르베그 적분⁠(Lebesgue integral)⁠), 독일의 하우스도르프가 정의한 위상 공간(위상수학⁠, topology⁠)은 모두 점들의 집합을 다루는 그의 방법 위에서 자랐고, 괴팅겐의 힐베르트는 1900년 파리 대회에서 발표한 23개 문제의 첫째로 그의 연속체 가설을 올렸습니다.

그의 집합론은 20세기 수학의 공용어가 되었습니다. 동시에 모든 집합의 집합 같은 모임에서 역설이 나온다는 것이 드러나(러셀의 역설⁠, Russell's paradox⁠) 공리적 집합론⁠(axiomatic set theory)⁠이 세워졌고, 연속체 가설은 괴델과 미국의 폴 코언에 의해 표준 공리⁠(axiom)⁠로는 증명도 반증도 할 수 없음이 밝혀졌습니다. 힐베르트는 1925년 강연에서 칸토어가 만든 낙원에서 아무도 우리를 쫓아내지 못할 것이라고 말했습니다.

칸토어 자신도 역설을 알고 있었습니다. 1899년 데데킨트에게 보낸 편지에서 그는 모든 기수의 모임처럼 하나의 집합으로 묶으면 모순이 생기는 '일관되지 않은 다수'가 있다고 적었습니다. 이 문제를 정면으로 다룬 것은 다음 세대였습니다. 1908년 체르멜로가 집합을 만들어도 되는 규칙을 공리로 적었고, 완성된 무한을 받아들이지 않는 브라우어르의 직관주의⁠(intuitionism)⁠는 힐베르트와 긴 논쟁을 벌였습니다(수학 기초론 논쟁⁠, debate on the foundations of mathematics⁠). 대각선 논법은 수학 밖으로도 나갔습니다. 1936년 튜링은 같은 논법으로 어떤 기계도 모든 기계의 행동을 미리 판정할 수는 없음을 보였고, 이것은 같은 해 처치의 결과와 함께 계산의 한계를 그은 최초의 정리들로 꼽힙니다. 끝없는 목록을 가정한 뒤 대각선에서 목록에 없는 것을 만들어 내는 이 한 수는 자기 참조⁠(self-reference)⁠와 대각선의 뿌리이고, 무한을 크기로 비교한 그의 일은 무한을 다루는 법의 한가운데 있습니다.

이어지는 곳. 무한을 세는 방법, 곧 짝짓기로 크기를 비교하는 생각은 일대일 대응, 자연수와 짝지어지는 가산 집합, 크기 자체를 수로 다루는 기수로 이어집니다. 무한의 사다리는 실수가 더 많음을 보인 대각선 논법, 늘 한 칸 더 큰 무한을 만드는 멱집합, 그 사다리의 첫 칸 사이에 다른 칸이 있는지 묻는 연속체 가설로 이어집니다. 길이가 0인데 셀 수 없이 많은 그의 이상한 집합은 칸토어 집합과 칸토어 함수에 있습니다. 목록의 대각선에서 목록에 없는 것을 만드는 같은 논법이 모든 프로그램의 행동을 판정할 수 없음을 보인 정지 문제⁠(halting problem)⁠와 참이지만 증명할 수 없는 문장을 만든 불완전성 정리⁠(incompleteness theorem)⁠에서 다시 쓰이고, 그 이야기는 앨런 튜링과 쿠르트 괴델, 집합론의 역설을 찾은 버트런드 러셀로 이어집니다.

관계.

• 논쟁 아리스토텔레스 — 『일반 집합론의 기초』(1883)에서 그는 완성된 무한을 거부한 아리스토텔레스의 논변을 직접 반박했습니다.
• 영향을 줌 다비트 힐베르트 — 힐베르트는 1900년 23개 문제의 첫째로 연속체 가설을 올렸고, 1925년에는 칸토어가 만든 낙원에서 아무도 우리를 쫓아내지 못할 것이라고 말했습니다.
• 영향을 줌 쿠르트 괴델 — 괴델은 1938–40년 연속체 가설이 표준 공리와 모순되지 않음을 보였고, 1947년 「칸토어의 연속체⁠(continuum)⁠ 문제란 무엇인가」를 썼습니다.
• 영향을 줌 앨런 튜링 — 튜링은 1936년 논문에서 칸토어의 대각선 논법⁠(Cantor's diagonal argument)⁠을 기계에 적용해, 계산할 수 있는 것의 한계를 그었습니다.

연표.

• 1863년 베를린 대학에서 바이어슈트라스와 크로네커에게 배우다
• 1867년 정수 방정식에 관한 논문으로 박사 학위를 받다
• 1869년 할레 대학에서 가르치기 시작하다
• 1870년 삼각급수 표현이 하나뿐이라는 정리를 증명하다
• 1872년 삼각급수 논문을 쓰고 데데킨트를 처음 만나다
• 1874년 실수가 셀 수 없음을 발표하다
• 1877년 선분과 정사각형의 점이 같은 개수임을 발견하다
• 1879년 할레 대학 정교수가 되다
• 1883년 『일반 집합론의 기초』를 펴내다
• 1884년 처음으로 심한 우울증을 앓다
• 1890년 독일수학회 초대 회장이 되다
• 1891년 대각선 논법과 멱집합 정리를 발표하다
• 1895년 알레프⁠(aleph)⁠ 기호로 무한의 크기를 적은 논문을 내다
• 1897년 취리히의 첫 국제 수학자 대회에 참석하다
• 1899년 데데킨트에게 '일관되지 않은 다수'에 관한 편지를 보내다