무한에도 크기가 있다

자연수⁠(natural number)⁠와 짝수 중 어느 쪽이 더 많을까요? 짝수는 자연수의 절반뿐인 것 같습니다. 그런데 하나씩 짝을 지어 보면 어느 쪽도 남지 않습니다. 칸토어는 이 이상한 결과를 무한을 세는 방법으로 받아들였고, 그 방법으로 무한이 하나가 아니라는 것을 보였습니다.

이 글의 처럼 점선이 그어진 숫자는 좌우로 끌 수 있고(키보드 ←/→도 됩니다), 색이 칠해진 같은 말은 눌러서 바꿀 수 있습니다. 밑줄 친 말에 마우스를 올리면 그림에서 그 부분이 빛납니다. 휴대폰에서는 마우스를 올리는 대신 누르면 됩니다.

유한한 것들은 세어서 비교합니다. 사과 7개와 배 5개면 사과가 많습니다. 또 부분은 전체보다 작습니다. 사과 7개 가운데 빨간 사과만 모으면 7개보다 적습니다. 이 두 가지는 너무 당연해서 따로 말할 필요도 없어 보입니다. 그런데 모은 것이 끝없이 많아지면 이 둘이 서로 부딪칩니다.

이 글의 물음은 이것입니다. 끝없이 많은 것들끼리도 "어느 쪽이 더 많다"고 말할 수 있을까? 말할 수 있다면, 무한에도 서로 다른 크기가 있을까? 이 글은 두 원리가 부딪치는 곳에서 시작해, 무한을 비교하는 방법 하나와 그 방법이 드러낸 뜻밖의 풍경을 따라갑니다. 필요한 도구는 '짝짓기' 하나뿐이고, 새 기호와 말은 나올 때마다 뜻을 풀어 두겠습니다.

1 · 갈릴레이의 역설제곱수⁠(perfect square)⁠는 자연수보다 적은가

이 절의 물음은 이것입니다. 자연수(1, 2, 3, …)와 그 일부인 제곱수 가운데 어느 쪽이 더 많을까? 당연해 보이는 두 셈법이 서로 다른 답을 낸다는 것을 봅니다.

1638년 갈릴레오 갈릴레이는 『새로운 두 과학』을 펴냈습니다. 세 사람이 여러 날에 걸쳐 나누는 대화 형식의 책인데, 첫째 날 대화에 이런 문제가 나옵니다. 1, 4, 9, 16, …처럼 어떤 자연수를 제곱한 수, 곧 제곱수는 자연수 전체보다 적을까요?

언뜻 보면 적어 보입니다. 제곱수는 자연수의 일부이고, 그 사이에 제곱수가 아닌 수가 점점 더 많이 끼어듭니다. 1부터 10까지에는 제곱수가 1, 4, 9의 세 개뿐이고, 11부터 20까지에는 16 하나뿐입니다.

하지만 책 속에서 갈릴레이의 생각을 대변하는 인물 살비아티는 다른 쪽도 보라고 말합니다. 자연수를 하나씩 제곱수와 짝지어 봅시다.

(↔는 '짝을 이룬다'고 읽습니다.) 자연수 $n$마다 제곱수 $n^2$이 꼭 하나 있고, 제곱수마다 그 제곱근인 자연수가 꼭 하나 있습니다. 16의 짝은 4이고, 4의 짝은 16입니다. 어느 쪽에도 짝 없이 남는 수가 없으니 개수가 같아야 합니다.

아래 그림에서 두 셈법을 나란히 봅니다. 그림 아래 문장의 M을 좌우로 끌어 범위를 넓혀 보세요. 볼 것은 두 가지입니다. 아래 줄에서 분홍 점(짝이 된 수)이 얼마나 드문지, 그리고 위 줄의 수 가운데 짝을 잃은 수가 있는지입니다.

짝짓는 방법은 입니다. 1부터 까지 보면, 짝이 된 아래 줄의 수는 로 전체의 입니다. M을 키울수록 제곱수의 비율은 0에 가까워집니다.

까닭은 이렇습니다. $\sqrt{M}$('루트 M')은 제곱해서 M이 되는 수입니다. 1부터 M까지의 제곱수는 $1^2, 2^2, \ldots, k^2$이고, 마지막 제곱수가 M을 넘지 않으려면, 곧 $k^2 \le M$이려면 $k \le \sqrt{M}$이어야 합니다. 그래서 1부터 M까지에는 제곱수가 대략 $\sqrt{M}$개뿐입니다. M이 100이면 $\sqrt{100} = 10$개로 10%, 10000이면 100개로 1%입니다. M을 한없이 키우면 비율은 0에 한없이 가까워지고, 이것을 비율의 극한⁠(limit)⁠이 0이라고 말합니다. 비율로 보면 제곱수는 "거의 없는" 셈입니다.

그런데 그림을 다시 보세요. 분홍 선에서 짝을 잃은 수는 하나도 없습니다. 위 줄에서 짝이 범위 밖에 있는 의 수도 짝이 없는 것이 아니라 오른쪽 멀리 있을 뿐입니다. M을 아무리 키워도 이 사정은 같습니다. 범위를 잘라서 보면 제곱수가 적고, 끝까지 보면 짝이 딱 맞습니다.

정리하면, 두 당연한 원리가 서로 다른 답을 냅니다. '부분은 전체보다 작다'로 재면 제곱수가 적고, '짝이 남김없이 맞으면 개수가 같다'로 재면 같습니다. 무한에서는 둘 가운데 하나를 내려놓아야 합니다.

갈릴레이의 결론은 신중했습니다. 둘 중 어느 쪽도 틀렸다고 하지 않고, 비교하는 말 자체를 무한에서는 거두어들였습니다.

'같다', '더 크다', '더 작다'는 성질은 무한한 양에는 맞지 않고, 유한한 양에만 해당한다.— 갈릴레오 갈릴레이, 『새로운 두 과학』(1638), 첫째 날 살비아티의 말

책이 나온 사정부터 예사롭지 않습니다. 갈릴레이는 1633년 로마의 종교재판에서 지동설(지구가 태양 둘레를 돈다는 주장)을 옹호했다는 이유로 유죄 판결을 받고, 피렌체 남쪽 언덕 아르체트리의 집에 연금된 채 여생을 보냈습니다. 『새로운 두 과학』은 그곳에서 완성한 책입니다. 이탈리아에서는 그의 책을 낼 길이 막혀 있었으므로 원고는 알프스 너머로 보내져, 교회의 검열이 미치지 않는 네덜란드 공화국 레이던의 엘제비르 출판사에서 인쇄되었습니다.

무한 이야기가 나오는 자리도 뜻밖입니다. 첫째 날의 주제는 고체가 왜 쉽게 부서지지 않는가였습니다. 물체가 무한히 많은 작은 부분과 그 사이의 빈틈으로 되어 있다는 생각을 따지던 중에 "그러면 한 무한이 다른 무한보다 크다는 말이냐"는 반론이 나옵니다. 제곱수 이야기는 그 반론에 답하는 대목입니다.

같은 역설에서 반대쪽을 내려놓은 사람도 있습니다. 수십 년 뒤 독일의 라이프니츠는 갈릴레이를 읽고, 무한에서는 전체가 부분보다 크지 않다고 보든지 무한한 것은 하나의 전체가 아니라고 보든지 둘 중 하나라고 정리했습니다. 그는 뒤쪽을 골랐습니다. '부분은 전체보다 작다'는 원리는 지키고, '모든 수'를 다 모인 하나의 전체로 보는 생각을 버린 것입니다. 그러니 그에게 '모든 수의 개수', 곧 무한한 수라는 말은 모순을 품은 말이었습니다. 2절에서 칸토어는 이와 거꾸로, 짝짓기를 남기고 부분과 전체의 원리를 내려놓습니다.

2 · 짝짓기로 세기빈방이 없는 호텔에 손님 받기

이 절의 물음은 이것입니다. 끝까지 셀 수 없는 것들의 크기는 무엇으로 비교할까? 1절의 두 원리 가운데 어느 쪽을 남기면 무한에서도 모순 없이 "같다"와 "더 크다"를 말할 수 있을까?

갈릴레이가 멈춘 곳에서 2백여 년 뒤 게오르크 칸토어는 반대쪽으로 한 걸음을 내디뎠습니다. 짝이 딱 맞으면 크기가 같다고 정의해 버리자는 것입니다. 사실 우리가 유한한 것을 셀 때 하는 일도 이것입니다. 사과를 "하나, 둘, 셋"이라고 세는 것은 사과들과 자연수 1, 2, 3을 짝짓는 일입니다. 셈을 끝낼 수 없는 무한에서는 셈을 버리고 짝짓기만 남기면 됩니다.

'빠짐도 겹침도 없는 짝짓기'가 무슨 뜻인지 자연수와 짝수로 확인해 봅시다. 1 ↔ 2, 2 ↔ 4, 3 ↔ 6, …처럼 자연수 n을 짝수 2n과 짝짓습니다. 빠짐이 없다는 것은 어느 쪽에도 짝 없이 남는 원소⁠(element)⁠가 없다는 뜻입니다. 자연수는 모두 짝(자기의 두 배)이 있고, 짝수도 모두 짝(자기의 절반)이 있습니다. 겹침이 없다는 것은 두 원소가 한 짝을 나눠 갖지 않는다는 뜻입니다. 서로 다른 두 자연수의 두 배는 서로 다릅니다.

이제 말을 정확히 하겠습니다. 어떤 것들의 모임을 집합⁠(set)⁠이라 하고, 집합에 든 것 하나하나를 원소라 합니다. $f: A \to B$는 'A에서 B로 가는 함수⁠(function)⁠ f'라고 읽고, 집합 A의 원소 하나하나에 B의 원소를 하나씩 정해 주는 규칙을 뜻합니다. 위의 예에서는 A가 자연수 전체, B가 짝수 전체, 규칙은 f(n) = 2n입니다.

이런 규칙이 빠짐도 겹침도 없는 짝짓기일 때 전단사⁠(bijective)⁠ 함수라 부르고, 두 집합 $A$와 $B$ 사이에 전단사 함수⁠(bijective function)⁠가 있으면 두 집합의 크기가 같다고 합니다.

이 "크기가 같다"는 관계에는 세 성질이 있습니다. 어느 집합이든 자기 자신과 크기가 같습니다(각 원소를 자기 자신과 짝지으면 됩니다). 한 집합이 다른 집합과 크기가 같으면 거꾸로도 같습니다(짝짓기를 거꾸로 읽으면 됩니다). 첫째 집합이 둘째와, 둘째가 셋째와 크기가 같으면 첫째와 셋째도 같습니다(두 짝짓기를 이어 붙이면 됩니다. 자연수 n ↔ 짝수 2n ↔ 4의 배수⁠(multiple)⁠ 4n처럼요). 이 세 성질을 가진 관계를 동치관계⁠(equivalence relation)⁠라 부릅니다. 동치관계가 있으면 서로 관계된 것끼리 한 묶음으로 모을 수 있으므로, 집합들을 '크기가 같은 것끼리' 묶을 수 있습니다.

유한집합에서는 부분이 전체와 짝지어질 수 없습니다. 비둘기 5마리를 4칸에 넣으면 어느 칸엔가는 둘이 들어가듯이, 원소가 더 많은 쪽에서는 반드시 두 원소가 같은 짝을 나눠 가져야 합니다(비둘기집 원리⁠, pigeonhole principle⁠). 무한에서는 부분이 전체와 빠짐없이 짝지어질 수 있어서, 이 원리로 부분과 전체를 가를 수 없습니다.

흔히 '짝수는 자연수의 일부이니 당연히 더 적다'고 생각하지만, '일부이다'와 '더 적다'가 같은 말인 것은 유한할 때뿐입니다. 짝짓기로 크기를 정한 이상, 무한에서는 일부가 전체와 크기가 같을 수 있습니다. 이 차이를 가장 생생하게 보여 주는 이야기가 다비트 힐베르트의 호텔입니다.

방이 1호, 2호, 3호, …로 끝없이 있는 호텔이 있고, 모든 방에 손님이 있습니다. 그런데 손님이 더 왔습니다. 새로 온 것은 입니다. 여러 명이라면 명입니다. 지배인은 방송으로 한 가지 규칙을 알립니다. 옮겨 주십시오. ▶ 손님 옮기기 처음으로

새 손님의 수를 고르고 '손님 옮기기'를 눌러 보세요. 옮긴 뒤에 방을 잃은 손님이 있는지, 어느 방이 비는지를 보면 됩니다.

모든 손님이 동시에 옮기므로 누구도 방을 잃지 않고, 두 손님이 한 방에 들어가지도 않습니다. 그리고 빈방이 생깁니다. 새 손님이 한 명이면 1호가, $k$명이면 1호부터 $k$호까지가 빕니다. 끝없이 긴 버스가 오면 원래 손님을 모두 짝수 방으로 보내고(1호 → 2호, 2호 → 4호, …), 비게 된 홀수 방을 버스 승객에게 줍니다(1번 승객 → 1호, 2번 승객 → 3호, …). 이것이 1절의 $n \leftrightarrow 2n$ 짝짓기입니다.

버스가 끝없이 많이 와도 됩니다. 원래 손님은 $2^n$호로, 첫째 버스의 $j$번 승객은 $3^j$호로, 둘째 버스의 승객은 $5^j$호로, 이렇게 버스마다 다른 소수⁠(prime number)⁠의 거듭제곱을 방 번호로 줍니다. 여기서 소수는 2, 3, 5, 7, 11, …처럼 1과 자기 자신으로만 나누어떨어지는 수이고, 소수는 끝없이 많으므로 버스마다 새 소수가 하나씩 돌아갑니다. 예를 들면 원래의 3호 손님은 $2^3 = 8$호로, 첫째 버스의 2번 승객은 $3^2 = 9$호로, 둘째 버스의 2번 승객은 $5^2 = 25$호로 갑니다.

두 사람이 같은 방을 받는 일은 없습니다. 모든 자연수는 소수의 곱으로 단 한 가지 방법으로 나뉘므로(소인수분해⁠, prime factorization⁠), 방 번호가 8 = 2 × 2 × 2이면 그 방의 주인은 '소수 2를 세 번 곱한 번호를 받은 사람', 곧 원래의 3호 손님 한 사람뿐입니다. 6호(= 2 × 3)나 10호(= 2 × 5)처럼 서로 다른 두 소수가 섞인 번호의 방은 아무도 받지 않아 방이 많이 남는 게 흠이지만, 다음 절에서 방을 하나도 남기지 않는 방법을 봅니다.

정리하면, 짝짓기로 크기를 재면 무한집합은 한 원소를 더하든, 끝없이 많은 원소를 더하든 크기가 그대로일 수 있습니다.

이제 무한집합을 이렇게 말할 수 있습니다. 자기 자신이 아닌 자기의 일부와 크기가 같은 집합. 자연수 전체는 자기의 일부인 짝수 전체와 크기가 같으니 무한집합입니다. 원소가 5개인 집합은 비둘기집 원리 때문에 자기의 일부와 짝지어질 수 없으니 무한집합이 아닙니다. 1888년 독일의 수학자 리하르트 데데킨트는 이것을 아예 "무한"의 정의로 삼았습니다. 갈릴레이를 당황하게 한 성질이 무한을 가려내는 표지가 된 것입니다.

자연수 전체와 크기가 같은 집합, 곧 원소에 1번, 2번, 3번, …으로 빠짐없이 겹침없이 번호를 붙일 수 있는 집합을 가산 집합('셀 수 있는 집합')이라 부릅니다. 번호를 붙이는 일이 곧 자연수와 짝짓는 일이기 때문입니다. 짝수, 제곱수, 소수가 모두 가산입니다. 정수⁠(integer)⁠ 전체(…, −2, −1, 0, 1, 2, …)도 가산입니다. 0, 1, −1, 2, −2, …로 번갈아 부르며 1번, 2번, 3번, 4번, 5번, …을 붙이면 됩니다. 음수 쪽이 끝없이 이어진다고 해서 번호가 모자라지 않습니다.

이 호텔은 힐베르트가 1924–25년 겨울 학기에 괴팅겐에서 한 강의 「무한에 대하여」에 처음 나온 것으로 알려져 있습니다. 1925년 뮌스터 강연도 같은 제목을 달았습니다. 강의록은 오랫동안 출판되지 않다가 2013년에야 힐베르트의 기초론 강의 모음에 실렸습니다. 그사이 이 이야기를 널리 퍼뜨린 사람은 러시아 출신의 미국 물리학자 조지 가모프입니다. 우주의 대폭발 이론으로 알려진 그가 『하나, 둘, 셋, 그리고 무한』(1947)에 이 호텔을 실었습니다. 힐베르트가 이런 비유를 들던 무렵은, 7절에서 볼 것처럼 그가 무한을 다루는 수학을 지키려고 싸우던 때였습니다.

데데킨트가 앞의 정의에 이른 것은 무한 자체를 따지기 위해서가 아니었습니다. 그는 책 『수란 무엇이며 무엇이어야 하는가』에서 자연수와 그 산술을 "모임"과 "대응"이라는 논리의 말만으로 세우려 했고, 그러려면 "끝없이 이어지는 수"가 있다는 것부터 정확한 말로 적어야 했습니다. 자기의 일부와 짝지어진다는 성질은 셈이나 자연수를 미리 쓰지 않고도 적을 수 있어서 이 목적에 맞았습니다.

3 · 빽빽해도 셀 수 있다분수를 한 줄로 세우기

이 절의 물음은 이것입니다. 어떤 두 수 사이에도 또 수가 끼어 있을 만큼 빽빽한 분수들에도 1번, 2번, 3번, … 번호를 빠짐없이 붙일 수 있을까?

분수는 사정이 달라 보입니다. 정수들은 1씩 떨어져 있지만, 분수는 어떤 두 분수 사이에도 또 분수가 있습니다. 두 분수의 평균⁠(mean)⁠이 그 사이에 있기 때문입니다. 예를 들어 1/3과 1/2의 평균 $(\tfrac13 + \tfrac12) \div 2 = \tfrac{5}{12}$는 둘 사이에 있고, 1/3과 5/12 사이에는 또 그 평균이 있습니다. 그래서 0과 1 사이에만도 분수가 끝없이 많습니다. 1 다음 정수는 2이지만 "1/2 다음 분수"라는 것은 없으니, 크기 순서대로 번호를 붙일 수는 없어 보입니다.

방법은 크기 순서를 포기하는 것입니다. 양의 분수 $p/q$를 격자에 늘어놓습니다. 분자 $p$는 위에서 아래로 몇 번째 줄인지, 분모 $q$는 왼쪽에서 몇 번째 칸인지를 정합니다. 그러면 3/5는 셋째 줄 다섯째 칸에 있고, 모든 양의 분수가 이 격자 어딘가에 있습니다.

이 격자를 한 줄씩 가로로 세면 실패합니다. 첫 줄 1/1, 1/2, 1/3, …이 끝나지 않으니 둘째 줄에 영영 가지 못합니다. 대신 분자와 분모의 합 $p + q$가 같은 칸들을 한 묶음으로 봅니다. 이 칸들은 격자에서 짧은 대각선 하나를 이룹니다. $p + q = 2$인 칸은 1/1 하나, $p + q = 3$인 칸은 2/1과 1/2 둘, 합이 4인 칸은 1/3, 2/2, 3/1 셋입니다. 이 대각선들을 차례로 지그재그로 훑습니다.

이렇게 하면 어떤 칸이든 유한한 걸음 안에 도착합니다. 합이 $s$인 대각선에는 칸이 $s - 1$개뿐이기 때문입니다. 예를 들어 3/5는 합이 8인 대각선에 있고, 그 앞의 대각선들(합이 2부터 7까지)에는 칸이 1 + 2 + 3 + 4 + 5 + 6 = 21개뿐이고 합이 8인 대각선에는 칸이 7개이니, 늦어도 21 + 7 = 28번째 칸에서 3/5를 만납니다.

아래 왼쪽 그림에서 이 순서를 따라가 봅니다. 그림 아래의 ▶|(다음 단계) 단추를 누를 때마다 번호가 하나씩 붙고, ▶를 누르면 저절로 이어집니다. 볼 것은 두 가지입니다. 번호가 대각선을 따라 지그재그로 나아간다는 것, 그리고 빗금 친 칸은 번호를 받지 않는다는 것입니다. 오른쪽 그림은 조금 뒤에 설명합니다.

지금 번째 분수 까지 셌습니다. 지나온 칸 가운데 은 빗금 친 칸이라 건너뛰었습니다. 예를 들어 $2/4$는 이미 센 $1/2$과 같은 수이기 때문입니다. 분자와 분모를 함께 나누는 수가 1뿐인 분수, 곧 더 약분할 수 없는 기약분수⁠(irreducible fraction)⁠만 번호를 받습니다(분자와 분모의 최대공약수⁠(greatest common divisor)⁠가 1인 칸입니다). 그래서 같은 수가 두 번 번호를 받는 일은 없습니다.

번호를 받은 분수를 차례로 적으면 아래와 같습니다. 처음 열한 개는 1, 2, 1/2, 1/3, 3, 4, 3/2, 2/3, 1/4, 1/5, 5입니다(2/1은 2로 적었습니다). 크기는 뒤죽박죽이지만 번호는 빠짐없이 이어집니다.

이 목록에는 모든 양의 유리수(분수로 적을 수 있는 수)가 정확히 한 번씩 나옵니다. 모든 칸에 언젠가 도착하니 빠짐이 없고, 약분되는 칸을 건너뛰니 겹침이 없습니다. 그러니 양의 유리수⁠(rational number)⁠는 가산입니다. 여기에 0과 음수를 2절의 정수처럼 번갈아 끼워 넣으면(0, 1, −1, 2, −2, 1/2, −1/2, …) 유리수 전체도 가산입니다.

2절 끝에서 미뤄 둔 버스 문제도 이 지그재그로 풉니다. 격자의 첫째 줄에는 원래 손님을, 둘째 줄에는 첫째 버스의 승객을, 셋째 줄에는 둘째 버스의 승객을 놓습니다. 줄 번호가 버스, 칸 번호가 승객 번호입니다. 이번에는 약분되는 칸도 건너뛰지 않고, 지그재그로 만나는 차례를 그대로 방 번호로 줍니다. 1/1 칸의 사람은 1호로, 2/1 칸의 사람은 2호로, 1/2 칸의 사람은 3호로 갑니다. 모든 칸에 언젠가 도착하니 모든 사람이 방을 받고, 차례는 1, 2, 3, …으로 하나도 건너뛰지 않으니 빈방이 남지 않습니다.

어떤 두 수 사이에도 또 그 집합의 수가 있다는 성질을 조밀⁠(dense)⁠하다고 합니다. 흔히 조밀하면 그만큼 더 많을 것이라고 생각하지만, 유리수는 조밀한데도 정수와 크기가 같습니다. 정리하면, 조밀하다는 것과 많다는 것은 다른 이야기입니다.

덧붙이면, 분수 $1/2, 2/4, 3/6, \ldots$를 모두 "같은 수"로 묶는 기준('$a/b$와 $c/d$는 $ad = bc$일 때 같다', 예를 들어 1 × 4 = 2 × 2이니 1/2과 2/4는 같다)도 2절에서 본 세 성질을 가진 동치관계이고, 유리수 하나는 이런 묶음 하나입니다.

오른쪽 그림은 유리수에 번호를 붙일 수 있다는 사실에서 나오는 뜻밖의 결과를 보여 줍니다. 물음은 이것입니다. 수직선 어디에나 빽빽이 있는 유리수들은 수직선에서 길이를 얼마나 차지할까?

번호를 이용해 덮개⁠(cover)⁠를 씌웁니다. $\varepsilon$('엡실론')은 우리가 마음대로 정하는 양수이고, 흔히 아주 작은 수를 가리킬 때 씁니다. 목록의 1번 분수를 길이 $\varepsilon/2$인 구간으로, 2번을 $\varepsilon/4$, 3번을 $\varepsilon/8$인 구간으로 덮어 나갑니다. 번호가 하나 늘 때마다 덮개 길이는 절반이 됩니다. 지금 $\varepsilon =$ 입니다. 위의 단계 단추로 번호를 늘리고 ε을 끌어 줄여 보세요. 보라색 덮개의 길이를 모두 더한 값()은 $\varepsilon$를 넘지 못합니다(겹친 곳을 한 번만 세면 ).

덮개를 끝없이 늘려도 합이 ε을 넘지 못하는 까닭은 등비급수⁠(geometric series)⁠ $\tfrac12 + \tfrac14 + \tfrac18 + \cdots = 1$에 있습니다. 앞의 몇 항만 더해 보면 $\tfrac12 + \tfrac14 = \tfrac34$, $\tfrac12 + \tfrac14 + \tfrac18 = \tfrac78$처럼 늘 1에 마지막 항만큼 모자랍니다. $k$개를 더하면 $1 - 1/2^k$이니, 아무리 더해도 1을 넘지 않고 1에 한없이 다가갑니다. 덮개 길이는 여기에 ε을 곱한 것이므로 총합은 ε을 넘지 않습니다.

그러니 유리수 전체를, 원하는 만큼 짧은 총길이로 덮을 수 있습니다. ε을 0.01로 잡으면 총길이 0.01 이하, 0.0001로 잡으면 0.0001 이하입니다. 어떤 양수보다도 작거나 같은 길이는 0뿐이므로, 유리수 전체가 차지하는 "길이"는 0입니다. 같은 논증이 번호를 붙일 수 있는 모든 집합에 통하므로, 가산 집합⁠(countable set)⁠의 길이는 0입니다.

이렇게 원하는 만큼 짧은 덮개로 덮이는 집합을 측도⁠(measure)⁠가 0인 집합이라고 부릅니다. 측도는 길이·넓이⁠(area)⁠·부피를 더 복잡한 집합에까지 넓힌 "크기"이고(르베그 적분과 측도⁠(Lebesgue integral and measure)⁠), 측도가 0이라는 말은 수직선에서 차지하는 길이가 0이라는 뜻입니다. 한마디로, 유리수는 수직선 어디에나 있지만 길이로는 아무 자리도 차지하지 않습니다.

4 · 목록에서 빠지는 수대각선 논법⁠(diagonal argument)⁠

이 절의 물음은 이것입니다. 짝수도, 정수도, 분수도 모두 가산이었습니다. 그렇다면 무한은 결국 한 가지뿐일까? 수직선 위의 수 전체에도 1번, 2번, 3번, … 번호를 빠짐없이 붙일 수 있을까?

여기서 실수⁠(real number)⁠는 수직선 위의 모든 점에 하나씩 대응하는 수, 곧 유리수와 무리수⁠(irrational number)⁠를 모두 합친 것입니다(수 체계⁠(number system)⁠). 무리수는 $\sqrt{2} = 1.41421\ldots$처럼 분수로 적을 수 없는 수입니다. 1873년 11월 말 할레의 칸토어는 브라운슈바이크의 데데킨트에게 보낸 편지에서 바로 이 질문을 던졌습니다. 실수 전체를 자연수와 짝지을 수 있는가? 답은 "없다"이고, 오늘날 가장 널리 알려진 증명이 1891년에 칸토어가 내놓은 대각선 논법입니다. 아래에서 직접 해 봅니다.

증명의 틀부터 말해 두겠습니다. 누군가 0과 1 사이의 실수를 모두 담은 목록, 곧 번호 매기기를 가져왔다고 가정합니다. 그리고 그 목록에 없는 수를 하나 만들어 보입니다. '모두 담았다'는 가정과 '빠진 수가 있다'는 사실이 부딪치므로, 가정이 틀렸다는 결론이 나옵니다. 이런 증명을 귀류법⁠(proof by contradiction)⁠이라 합니다.

재료는 소수 전개입니다. 0과 1 사이의 실수는 무한히 이어지는 진법⁠(positional notation)⁠ 전개, 예컨대 소수 전개⁠(decimal expansion)⁠ $0.d_1d_2d_3\ldots$로 적을 수 있습니다. 여기서 소수는 소수점 아래 자리를 뜻하는 小數이고, $d_1$('디 일')은 소수점 아래 첫째 자리 숫자, $d_2$는 둘째 자리 숫자입니다. $1/4 = 0.25000\ldots$처럼 0이 끝없이 이어져도 되고, $1/3 = 0.333\ldots$처럼 다른 숫자가 끝없이 이어져도 됩니다.

작은 예로 방법을 먼저 봅시다. 목록이 1/2, 1/3, 2/3, 1/4, 3/4, …로 시작한다고 합시다. 소수로 적으면 1번은 0.5000…, 2번은 0.3333…, 3번은 0.6666…, 4번은 0.2500…, 5번은 0.75000…입니다. 굵게 적은 숫자, 곧 k번째 수의 k번째 자리를 차례로 읽으면 5, 3, 6, 0, 0입니다. 이것을 대각선이라 부릅니다. 이제 새 수의 k번째 자리에, 대각선의 k번째 숫자가 5이면 4를, 5가 아니면 5를 적습니다. 그러면 새 수는 0.45555…로 시작합니다.

이 새 수는 1번 수(0.5000…)와 첫째 자리가 다르고(4와 5), 2번 수(0.3333…)와 둘째 자리가 다르고(5와 3), 3번 수와 셋째 자리가 다릅니다. 목록의 어느 수와도 적어도 한 자리가 다릅니다.

이제 그림에서 같은 일을 해 봅니다. 목록은 로 만든 것의 앞부분입니다. 우리는 이 목록에 없는 수 $x^*$('엑스 스타')를 한 자리씩 만들 겁니다. 그림 아래의 ▶| 단추를 누를 때마다 한 자리가 생기고, 그 아래 문장이 이번 자리를 왜 그렇게 적었는지 알려 줍니다.

지금까지 $x^* =$ 입니다. 새 무작위 목록

규칙은 간단합니다. 대각선의 $k$번째 숫자와 다른 숫자를 $x^*$의 $k$번째 자리에 적습니다. 그러면 $x^*$는 1번째 수와 첫째 자리에서, 2번째 수와 둘째 자리에서, $k$번째 수와 $k$번째 자리에서 다릅니다. 목록이 아무리 길어도, 어떤 순서로 적혀 있어도, 그 목록의 어느 수와도 같지 않습니다. 0과 1 사이의 실수를 모두 담았다던 목록이 0과 1 사이의 수 $x^*$를 빠뜨렸습니다. 가정과 어긋났으니, 그런 목록은 처음부터 없습니다. 이처럼 어떤 번호 매기기도 전부를 담지 못하는 무한을 셀 수 없는 무한, 곧 비가산⁠(uncountable)⁠이라 합니다. 0과 1 사이의 실수가 비가산이니 실수 전체도 비가산입니다. 실수 전체의 목록이 있다면, 거기서 0과 1 사이의 수만 차례로 골라 적어 0과 1 사이의 목록을 만들 수 있기 때문입니다(칸토어의 대각선 논법⁠(Cantor's diagonal argument)⁠).

흔히 '빠진 x*를 목록 맨 앞에 끼워 넣으면 되지 않나' 하고 생각하지만, 그렇게 고친 목록에도 같은 방법으로 빠진 수를 또 만들 수 있습니다. 논증이 보인 것은 '이 목록에는 빠진 수가 있다'가 아니라 '어떤 목록에도 빠진 수가 있다'입니다. 2절의 호텔이 새 손님을 늘 받아들였던 것과 달리, 이번에는 방을 어떻게 옮겨도 모두를 들일 수 없습니다.

4와 5만 쓰는 데는 이유가 있습니다. $0.1999\ldots$와 $0.2000\ldots$는 같은 수입니다. 둘의 차이는 0.01보다도, 0.0001보다도, 어떤 양수보다도 작으니 0일 수밖에 없습니다($1/3 = 0.333\ldots$의 양변에 3을 곱하면 $1 = 0.999\ldots$인 것과 같은 이치입니다). 그래서 숫자가 한 자리 다르다고 해서 곧바로 수가 다르다고 말할 수는 없습니다. 이런 일은 0이나 9가 끝없이 이어질 때만 생기므로, 4와 5만으로 된 $x^*$에는 걱정이 없습니다.

이제 "더 크다"의 뜻도 정확히 할 수 있습니다. 집합 A가 B의 일부와는 크기가 같지만 B 전체와는 크기가 같지 않을 때, A가 B보다 작다고 합니다. 자연수 n을 실수 $1/(n+1)$과 짝지으면(1 ↔ 1/2, 2 ↔ 1/3, …) 자연수 전체는 0과 1 사이 실수의 일부와 크기가 같고, 대각선 논법에 따라 0과 1 사이의 실수 전체와는 크기가 같지 않습니다. 그러니 0과 1 사이의 실수만 해도 자연수보다 많습니다. 7절에서 보듯 이 구간의 실수는 실수 전체와 크기가 같으므로, 실수 전체도 자연수보다 많습니다. 정리하면, 무한에도 크기가 다른 것이 있습니다.

목록을 "0과 1 사이의 분수들"로 두면 더 흥미롭습니다. 이 목록을 끝까지 늘이면 0과 1 사이의 모든 유리수가 들어 있고(3절에서 본 대로 셀 수 있으니까요), $x^*$는 그 어느 것과도 다릅니다. 그러니 $x^*$는 분수가 아닌 수, 곧 무리수입니다. 대각선 논법은 무리수를 하나 만들어 내는 방법이기도 합니다.

무리수는 셀 수 없이 많습니다. 만약 무리수에 번호를 붙일 수 있다면, 유리수의 목록과 무리수의 목록을 2절의 정수처럼 번갈아 합쳐 실수 전체에 번호를 붙일 수 있을 텐데, 방금 그럴 수 없다는 것을 보았습니다. 길이로 재도 마찬가지입니다. 3절의 덮개로 재면 유리수의 길이가 0이므로, 0과 1 사이에서 무리수가 차지하는 길이는 1 전부입니다.

칸토어가 "실수 전체"를 하나의 대상으로 놓고 물을 수 있었던 것은, 바로 그 무렵에야 실수가 무엇인지를 정확히 말할 수 있게 되었기 때문입니다. 그전까지 미적분⁠(calculus)⁠은 "수직선에는 빈틈이 없다"는 그림에 기대고 있었습니다. 데데킨트는 1858년 취리히 연방 공과대학에서 미적분을 가르치다가 여기에 불만을 느꼈습니다. 증가하면서 위로 막힌 수열(계속 커지지만 어떤 수를 넘지는 않는 수들의 줄)은 반드시 어떤 수에 다가간다는 기본 사실조차 결국 그림에 기대어 설명할 수밖에 없었기 때문입니다. 그해 11월 24일 그는 유리수를 두 무리로 가르는 방법(데데킨트 절단⁠(Dedekind cut)⁠, 7절의 인물 상자)으로 실수를 정의하는 착상을 얻었고, 이를 1872년 『연속성⁠(continuity)⁠과 무리수』로 펴냈습니다. 같은 1872년 칸토어도 삼각급수(사인과 코사인⁠(sine and cosine)⁠을 끝없이 더한 급수⁠(series)⁠, 6절 끝에서 다시 나옵니다)에 관한 논문에서 한없이 서로 가까워지는 유리수의 수열로 실수를 정의했고, 할레의 동료 에두아르트 하이네가 그 방식을 교과서 식으로 정리했습니다. 베를린의 카를 바이어슈트라스도 강의에서 자기 방식의 정의를 가르치고 있었습니다. 칸토어의 1873년 질문은 이렇게 막 정의된 대상을 향한 것이었습니다.

칸토어는 1873년 12월 초에 짝지을 수 없다는 증명을 데데킨트에게 보냈습니다. 이듬해 1874년에 발표된 논문의 증명은 대각선 논법이 아니라 구간을 계속 좁혀 가는 방식이었습니다. 목록이 주어지면 목록의 수를 차례로 피해 가며 구간을 점점 좁히고, 그렇게 좁아진 구간들이 끝까지 공유하는 점이 목록에 없는 수라는 것을 보이는 방법입니다. 위에서 본 더 간단한 대각선 논법은 1891년에 나왔습니다. (1874년의 구간 논증은 두 사람이 번갈아 구간을 좁히는 게임으로 다시 읽을 수 있습니다. 「이기는 쪽이 존재한다」 7절이 그 이야기입니다.)

1874년 논문의 제목은 「모든 실수 대수적 수⁠(algebraic number)⁠들의 모임이 가진 한 성질에 대하여」였습니다. 논문에는 두 결과가 들어 있었습니다. 정수 계수 다항식⁠(polynomial)⁠의 근이 되는 수(대수적 수), 예컨대 $x^2 - 2 = 0$을 만족하는 $\sqrt{2}$ 같은 수는 셀 수 있다는 것과, 실수는 셀 수 없다는 것입니다. 앞의 것은 3절과 같은 방법으로 증명됩니다. 정수 계수 다항식은 3절의 분수처럼 한 줄로 세울 수 있고, 다항식마다 근은 유한 개뿐입니다. 그런데 제목은 앞의 것만 내세웠습니다. 칸토어는 1873년 12월 말 옛 스승 바이어슈트라스에게 결과를 이야기했는데, 바이어슈트라스가 반긴 것은 대수적 수를 셀 수 있다는 쪽이었습니다. 칸토어는 그 무렵 데데킨트에게 보낸 편지에, 발표본에 둔 제약은 "부분적으로는 이곳 사정 때문"이라고만 적었습니다. 역사가들은 이 말을 크로네커를 조심한 것으로 읽습니다. 크로네커는 논문이 실릴 『크렐레 저널』(순수 및 응용 수학 저널)에 영향력이 컸습니다. 셀 수 없다는 쪽을 덜 드러내려 했다는 것은 이렇게 편지에서 끌어낸 해석입니다.

논문에는 적히지 않은 이름도 있습니다. 1873년 11월 29일 칸토어가 편지로 이 질문을 던지자, 데데킨트는 곧 보낸 답장에서 대수적 수를 한 줄로 세우는 증명을 알렸고, 12월 7일 칸토어가 실수는 셀 수 없다는 증명을 알리자 이튿날 그것을 더 간단히 다듬은 판도 보냈습니다. 칸토어의 논문은 이 증명들을 거의 그대로 쓰면서 데데킨트를 밝히지 않았고, 두 사람의 편지는 한동안 끊겼습니다. 데데킨트가 남긴 메모로 이 사정이 알려진 것은 1937년 에미 뇌터와 장 카바예스가 두 사람의 편지를 펴내면서였습니다.

누구의 공이든, 두 결과를 합치면 곧바로 대수적이지 않은 수, 곧 초월수⁠(transcendental number)⁠가 어느 구간에나 있다는 결론이 나옵니다. 아무리 짧은 구간이라도 그 안의 실수는 셀 수 없고, 그중 대수적 수는 셀 수 있을 만큼뿐이므로, 대수적 수를 모두 빼도 셀 수 없이 많은 수가 남기 때문입니다. 초월수의 구체적인 예는 1844년 무렵 프랑스의 수학자 조제프 리우빌이 이미 만들어 보였습니다. 칸토어의 논증이 새로 보여 준 것은 초월수가 드물기는커녕 오히려 대부분이라는 사실입니다.

5 · 끝없는 사다리어떤 집합보다도 큰 집합

이 절의 물음은 이것입니다. 실수가 자연수보다 크다면, 실수보다 더 큰 무한도 있을까? 있다면 그 위에 또 더 큰 무한이 있을까?

1891년 논문에서 칸토어는 같은 대각선 논법으로 훨씬 일반적인 사실을 보였습니다. 먼저 필요한 말을 정합니다. 집합 A의 원소를 몇 개(하나도 안 고르거나 전부 골라도 됩니다) 골라 만든 집합을 A의 부분집합⁠(subset)⁠이라 하고, 부분집합을 모두 모은 집합을 A의 멱집합⁠(power set)⁠이라 하며 $\mathcal{P}(A)$('피 에이')로 적습니다. 예를 들어 A = {1, 2}이면 부분집합은 ∅, {1}, {2}, {1, 2}의 네 개입니다. ∅는 원소가 하나도 없는 집합, 곧 공집합입니다. 그러니 $\mathcal{P}(\{1, 2\}) = \{\varnothing, \{1\}, \{2\}, \{1, 2\}\}$입니다.

칸토어가 보인 정리는 이것입니다. 어떤 집합 $A$든, 그 멱집합 $\mathcal{P}(A)$는 $A$보다 엄격히 큽니다. '엄격히 크다'는 4절에서 정한 뜻입니다. A는 멱집합의 일부와 크기가 같지만(원소 x를 한 원소짜리 부분집합 {x}와 짝지으면 됩니다), 멱집합 전체와는 크기가 같지 않습니다.

원소가 개인 집합 $A = \{1, \ldots, n\}$에서 확인해 봅시다. 부분집합은 각 원소를 넣을지 뺄지 정하면 하나 정해집니다. 원소마다 두 가지 선택이 있으니 {1, 2, 3}이면 2 × 2 × 2 = 8개이고, 지금은 가 있습니다(파스칼의 삼각형⁠(Pascal's triangle)⁠의 한 줄을 모두 더한 값입니다). 원소는 뿐이니 유한할 때는 당연히 멱집합이 큽니다. 칸토어의 증명이 좋은 점은 개수를 세지 않는다는 것입니다. 그래서 무한에서도 그대로 통합니다.

증명의 틀은 4절과 같습니다. A의 원소마다 부분집합을 하나씩 짝지은 규칙 f가 무엇이든, 짝을 받지 못한 부분집합이 반드시 있음을 보입니다. 아래 그림에서 가로 x번째 줄은 원소 x와 짝지은 부분집합 f(x)를 보여 줍니다. 파란 칸의 번호가 f(x)에 든 원소입니다. 칸을 눌러 f를 마음대로 바꾸면서, 맨 아래 빨간 줄 D가 위의 어느 줄과도 같아지지 않는다는 것을 확인해 보세요.

원소 $x$마다 부분집합 $f(x)$ 하나를 짝지어 봅니다. 칸을 눌러 마음대로 바꿔 보세요. 무작위 f f(x) = {x} 그리고 대각선, 곧 x번째 줄의 x번째 칸을 읽어 뒤집은 집합 D를 만듭니다. 기호로는 이렇게 적습니다.

읽으면 'A의 원소 x 가운데, x가 f(x)에 들어 있지 않은 것들의 집합'입니다. ∈는 '~에 속한다', ∉는 '~에 속하지 않는다'로 읽고, 세로 막대 | 는 '가운데 ~인 것'으로 읽습니다.

처음 그림의 f(원소 4개)로 해 봅시다. f(1) = {2, 3}, f(2) = {1}, f(3) = {1, 3, 4}, f(4) = {4}입니다. 1은 f(1)에 없으니 D에 넣고, 2는 f(2)에 없으니 넣고, 3은 f(3)에 있으니 빼고, 4는 f(4)에 있으니 뺍니다. 그래서 D = {1, 2}입니다. 이 D는 f(1) = {2, 3}과 원소 1에서 다르고(1은 D에만 있습니다), f(2)와 원소 2에서, f(3)과 원소 3에서, f(4)와 원소 4에서 다릅니다. 네 줄 가운데 D와 같은 줄은 없습니다.

지금 $D =$ 입니다. D의 줄은 어느 가로줄과도 같지 않습니다. $x$번째 줄과는 $x$번째 칸에서 반드시 다르기 때문입니다. $x$가 $f(x)$에 들어 있으면 $D$에서는 빠지고, 빠져 있으면 $D$에는 들어갑니다. 그러니 어떤 $f$를 골라도 $D$는 짝을 받지 못한 부분집합입니다. 'f(x) = {x}' 단추를 누르면 모든 x가 자기 짝 f(x)에 들어 있으니 D는 공집합⁠(empty set)⁠ ∅가 되고, ∅는 원소 하나짜리인 어느 줄과도 다릅니다.

이 논증은 원소가 몇 개인지를 한 번도 쓰지 않았습니다. 그래서 A가 자연수 전체여도, 실수 전체여도 그대로 통합니다. 곧 어떤 집합도 자기의 멱집합 전체와는 짝지어지지 않습니다.

4절의 그림과 똑같은 모양이지요. 4절의 목록을 0과 1만으로 적었다고 해 보면, 그 한 줄 한 줄은 "자연수 $k$를 넣을지 뺄지"를 적은 표, 곧 자연수의 부분집합입니다. 그러니 두 논증은 같은 논증입니다. 집합의 연산⁠(set operations)⁠으로 말하면 $D$는 "자기가 짝지어진 부분집합에 들어 있지 않은 원소"만 골라낸 집합입니다.

이 정리 덕분에 무한은 끝없는 사다리가 됩니다. 자연수 전체의 집합을 $\mathbb{N}$('엔')으로 적으면, $\mathbb{N}$보다 그 멱집합 $\mathcal{P}(\mathbb{N})$이 크고, 그보다 멱집합의 멱집합 $\mathcal{P}(\mathcal{P}(\mathbb{N}))$이 크고, 이렇게 끝이 없습니다. 어느 집합을 가져와도 그 멱집합이 더 크니, 가장 큰 무한은 없습니다.

첫 단의 $\mathcal{P}(\mathbb{N})$은 사실 실수와 크기가 같습니다. 자연수의 부분집합 하나는 "k가 들어 있으면 k번째 자리에 1, 없으면 0"인 0과 1의 무한한 줄로 적힙니다. 예컨대 짝수 전체는 1이 빠지고 2가 들어 있고 3이 빠지고 …이므로 0101…입니다. 이 줄 앞에 "0."을 붙여 이진 전개⁠(binary expansion)⁠로 읽으면 0과 1 사이의 실수가 됩니다. 이진 전개는 0과 1 두 숫자만 쓰고, 소수점 아래 자리가 차례로 1/2, 1/4, 1/8, …을 나타내는 방식입니다. 예를 들어 이진법⁠(binary)⁠의 0.11은 1/2 + 1/4 = 3/4이고, 0.0101…은 1/4 + 1/16 + 1/64 + … = 1/3입니다. 0.0111…과 0.1000…처럼 두 가지로 적히는 수가 있어 짝을 조금 손봐야 하지만 결론은 같습니다(0과 1 사이의 실수가 실수 전체와 크기가 같다는 것은 7절에서 봅니다).

칸토어는 집합의 크기⁠(cardinality)⁠를 가리키는 이 새 수들을 기수라 불렀습니다. 가장 작은 무한인 자연수의 크기를 히브리 문자로 $\aleph_0$('알레프⁠(aleph)⁠ 영'), 그 바로 다음 크기를 $\aleph_1$('알레프 일')이라 적었습니다. 원소가 $n$개인 집합의 멱집합에는 원소가 $2^n$개이므로, 이 모양을 빌려 $\mathcal{P}(\mathbb{N})$, 곧 실수의 크기를 $2^{\aleph_0}$('2의 알레프 영 제곱')으로 씁니다. 정리하면, 크기의 사다리는 $\aleph_0 \lt 2^{\aleph_0} \lt 2^{2^{\aleph_0}} \lt \cdots$로 끝없이 이어집니다($\lt$는 '보다 작다'). 실수의 크기 $2^{\aleph_0}$이 바로 다음 칸인 $\aleph_1$과 같은지는 8절의 물음입니다.

같은 모양의 논증을 "모든 집합의 집합"에 적용하면 곤란해집니다. 1901년 버트런드 러셀은 "자기 자신을 원소로 갖지 않는 집합들의 집합"이 스스로를 원소로 갖는지 물어 모순을 끌어냈습니다(러셀의 역설⁠, Russell's paradox⁠). 러셀이 이 모순에 이른 것도 칸토어를 읽으면서였습니다. 가장 큰 기수⁠(large cardinal)⁠는 없다는 칸토어의 증명을 "모든 모임의 모임"에 적용해 보다가 찾았다고 그는 회고했습니다. 이듬해 6월 그는 이 모순을 예나 대학의 논리학자 고틀로프 프레게에게 편지로 알렸습니다. 산술 전체를 논리에서 이끌어 내려던 프레게의 『산술의 기본 법칙』 둘째 권이 인쇄되던 때였고, 프레게는 자기 체계의 토대가 흔들렸다고 인정하는 부록을 서둘러 덧붙였습니다. 프레게의 어느 법칙이 정확히 어디서 무너졌는지는 「틀린 증명이 만든 수학」 6절에서 표를 직접 채워 가며 볼 수 있습니다.

해결책은 규칙이었습니다. 이 역설들은 "이런 성질을 가진 것들을 모두 모은 집합"을 아무렇게나 만들 수는 없다는 것을 보여 주었습니다. 1908년 독일의 수학자 에른스트 체르멜로는 어떤 집합을 만들어도 되는지를 몇 개의 공리⁠(axiom)⁠, 곧 증명 없이 받아들이고 출발하는 기본 규칙으로 적었습니다. 예를 들어 "이미 있는 집합에서 어떤 성질을 가진 원소만 골라낸 것은 집합이다"는 허용하지만, "모든 것 가운데 어떤 성질을 가진 것을 모은 것"은 허용하지 않습니다. 러셀의 모순은 뒤의 방식에서 나오므로 이렇게 막힙니다. 러셀 자신은 다른 길을 택했습니다. 그는 대상에 층을 매기고, 집합은 자기보다 낮은 층의 것만 원소로 가질 수 있게 했습니다. 이 유형 이론⁠(type theory)⁠이 오늘날의 타입 이론으로 이어졌습니다(「증명은 프로그램이다」).

1920년대에는 독일 태생의 수학자 아브라함 프렝켈 등이 대체공리⁠(axiom of replacement)⁠를 보탰습니다. 집합의 원소마다 어떤 규칙으로 대상을 하나씩 대응시키면, 그렇게 얻은 대상들도 다시 집합을 이룬다는 공리입니다. 노르웨이의 토랄프 스콜렘도 1922년 같은 공리를 따로 제안했습니다. 이렇게 완성된 것이 오늘날 표준으로 쓰는 공리 체계 ZFC입니다. Z와 F는 체르멜로와 프렝켈의 머리글자이고, C는 선택공리(Axiom of Choice)의 머리글자입니다. 선택공리는 비어 있지 않은 집합들이 아무리 많이(무한히 많이라도) 있어도, 각 집합에서 원소를 하나씩 골라 모은 집합이 있다는 공리입니다. 고르는 규칙을 적어 보일 수 없을 때에도 이것을 허용한다는 점이 논란이 되었지만, 선택공리는 체르멜로의 체계에 처음부터 들어 있었습니다.

선택공리가 들어간 사연은 공리 체계보다 4년 앞섭니다. 1900년 힐베르트의 첫째 문제는 연속체 가설⁠(continuum hypothesis)⁠과 함께, 실수 전체를 "어떤 부분을 골라도 맨 앞 원소가 있는" 순서로 늘어세울 수 있느냐(정렬 가능성)도 물었습니다. 자연수는 보통의 순서가 이미 그렇지만, 실수의 보통 순서에서는 "0보다 큰 수들" 가운데 맨 앞이 없습니다. 1904년 체르멜로는 모든 집합을 그렇게 늘어세울 수 있다는 정렬 정리⁠(well-ordering theorem)⁠를 증명했고, 그 증명에 쓴 원리가 선택공리였습니다. 같은 해 하이델베르크 국제수학자대회에서 헝가리의 쾨니그 줄러는 반대로 실수는 정렬할 수 없다는 "증명"을 발표해 큰 화제가 되었지만, 그가 기댄 정리가 주장만큼 일반적이지 않다는 것이 곧 드러났습니다. 흔히 체르멜로가 이튿날 빈틈을 찾았다고 전합니다. 한편 체르멜로의 증명은 프랑스에서 거센 반발을 샀습니다. 1905년 『프랑스 수학회보』에 실린 다섯 통의 편지에서 자크 아다마르는 그 원리를 받아들였고, 에밀 보렐, 르네 베르, 앙리 르베그는 규칙 없이 무한히 고르는 일을 의심했습니다. 체르멜로가 1908년 공리 체계를 내놓은 데에는 자기 증명의 근거를 분명히 하려는 뜻도 있었습니다.

선택공리는 뜻밖의 결과도 낳았습니다. 1905년 이탈리아의 주세페 비탈리는 이 공리를 쓰면 길이를 매길 수 없는 실수의 부분집합이 생긴다는 것을 보였습니다. 여기서 길이는 세 규칙을 지켜야 합니다. 구간에는 제 길이를 줍니다. 옮겨도 길이가 변하지 않습니다. 서로 겹치지 않는 조각들의 길이는, 조각이 셀 수 있을 만큼 많아도 더해집니다. 비탈리의 집합에는 이 세 규칙을 모두 지키는 어떤 길이를 매겨도 모순이 생깁니다. 3절의 덮개로 재는 "길이"가 모든 집합에 통하지는 않는다는 뜻입니다. 1924년 폴란드의 스테판 바나흐와 알프레트 타르스키는 공 하나를 유한 개의 조각으로 나누어 옮기기만 해서 같은 크기의 공 두 개를 만들 수 있다는 정리를 증명했습니다(조각들은 부피를 매길 수 없는 집합입니다). 그래도 선택공리는 버려지지 않았습니다. 1938년 괴델은 나머지 공리에 모순이 없다면 선택공리를 더해도 모순이 생기지 않음을, 1963년 코언은 선택공리의 부정을 더해도 모순이 생기지 않음을 보였습니다. 곧 선택공리는 나머지 공리로 증명할 수도 반박할 수도 없습니다(8절). 잴 수 있다는 것이 당연하지 않다는 이야기는 「재는 순간 바뀐다」 2절에, 선택공리가 무한한 게임의 승패를 흔드는 이야기는 「이기는 쪽이 존재한다」 7절에 있습니다.

6 · 길이가 0인 무한칸토어 집합

이 절의 물음은 이것입니다. 3절에서 셀 수 있는 집합은 길이가 0이라는 것을 봤습니다. 그렇다면 거꾸로, 길이가 0인 집합은 모두 셀 수 있을까? 칸토어가 1883년 논문에서 다룬 집합이 "아니다"라는 답을 줍니다.

만드는 법은 이렇습니다. 구간 $[0, 1]$(0 이상 1 이하의 수 전체)에서 가운데 3분의 1을 지웁니다. 그러면 $[0, \tfrac13]$과 $[\tfrac23, 1]$의 두 조각이 남습니다. 남은 두 조각에서 또 가운데 3분의 1씩을 지우면 $[0, \tfrac19]$, $[\tfrac29, \tfrac13]$, $[\tfrac23, \tfrac79]$, $[\tfrac89, 1]$의 네 조각이 남습니다. 이것을 끝없이 되풀이한 뒤 남는 점들이 칸토어 집합입니다. 지금 단계까지 지웠습니다. 이 수를 끌어 단계를 바꾸면 왼쪽 그림에서 조각이 둘씩 갈라지는 모습을 볼 수 있습니다.

먼저 길이를 잽니다. 매 단계 조각마다 3분의 1을 지우니 남은 길이가 $2/3$배가 됩니다. 1단계 뒤에 2/3, 2단계 뒤에 4/9, 3단계 뒤에 8/27이고, 지금 남은 길이는 입니다. 10단계면 약 0.017로, 단계를 거듭할수록 0에 한없이 가까워집니다. 지운 길이로 보면 같은 이야기입니다. 1단계에 1/3, 2단계에 2/9, 3단계에 4/27을 지우고, 그 합은 등비급수 $\tfrac13 + \tfrac29 + \tfrac{4}{27} + \cdots = 1$입니다($n$단계까지 지운 길이는 $1 - (2/3)^n$이니까요). 처음 구간의 길이 전부를 지운 셈이므로, 남은 칸토어 집합의 길이는 0입니다.

그런데 남은 점은 적지 않습니다. 이것을 보려면 3진법⁠(ternary)⁠이 필요합니다. 3진법은 0, 1, 2 세 숫자만 쓰고 소수점 아래 자리가 차례로 1/3, 1/9, 1/27, …을 나타내는 방식입니다. 예컨대 3진법의 0.2는 2/3이고 0.02는 2/9입니다. 1/4은 3진법으로 0.0202…입니다($\tfrac29 + \tfrac{2}{81} + \cdots = \tfrac14$).

3진법으로 보면 지우는 규칙이 단순해집니다. 첫째 자리가 0이면 수가 [0, 1/3]에, 1이면 가운데 [1/3, 2/3]에, 2이면 [2/3, 1]에 있습니다. 그러니 가운데 3분의 1을 지우는 일은 첫째 자리가 1인 수를 지우는 일입니다. 다음 단계는 둘째 자리가 1인 수를 지우고, 이렇게 계속됩니다. 곧 3진 전개의 어느 자리에든 1이 있는 수가 결국 모두 지워집니다(1/3 = 0.1000…처럼 끝점은 0.0222…로도 적을 수 있어서 남습니다). 끝까지 남는 점은 0과 2만으로 적히는 수입니다. 1/4 = 0.0202…는 1이 없으니 끝까지 남습니다.

노란 점 $x$를 끌어 보세요. $x$를 3진법으로 적으면 입니다. 이 점은

이제 남는 점을 셉니다. 남는 점의 3진 전개에서 2를 1로 바꾸면 0과 1만으로 된 줄이 되고, 이것을 이진 전개로 읽습니다. 1/4 = 0.0202…₃은 0.0101…₂, 곧 1/3이 됩니다. 지금의 $x$라면 입니다. 오른쪽 계단 그림에서 이 $x$ 위의 높이는 입니다. 이 높이는 지금 단계까지 지운 조각으로 그린 근사여서, 단계를 올릴수록 이진 전개가 나타내는 값에 다가갑니다.

이 바꾸기는 칸토어 집합의 점들과 '0과 1로 된 무한한 줄' 전체를 빠짐도 겹침도 없이 짝짓습니다. 0과 2로 된 줄마다 칸토어 집합의 점이 꼭 하나 있기 때문입니다. 그런데 0과 1로 된 무한한 줄은 5절에서 본 대로 자연수의 부분집합과 같은 것이고, 그 전체는 셀 수 없습니다. 그러니 칸토어 집합은 셀 수 없습니다. 더 나아가 칸토어 집합은 $[0, 1]$ 전체와 크기가 같습니다(5절의 이진 전개 짝짓기를 조금 손보면 됩니다). 정리하면, 길이는 0인데 개수는 실수만큼인 집합이 있습니다. 길이가 0이라고 해서 셀 수 있는 것은 아닙니다.

이 바꾸기를 함수로 보고 그래프로 그린 것이 오른쪽의 칸토어 함수입니다. 칸토어 집합의 점 x에서는 방금의 이진 값을 F(x)로 삼고, 지워진 구간에서는 그 양 끝의 값(둘이 같습니다)을 그대로 이어 줍니다. 예를 들어 지워진 가운데 구간 [1/3, 2/3]에서는 F가 1/2로 평평합니다. 그래서 그래프는 지워진 구간에서는 평평하고, 칸토어 집합 위에서만 오릅니다. 그림은 지금 단계까지 지운 조각들로 그린 근사입니다.

길이가 0인 집합 위에서만 오르는데도, F는 0에서 1까지 한 번도 뛰지 않고 연속으로 올라갑니다. 연속이라는 것은 x를 조금 움직이면 F(x)도 조금만 움직인다는 뜻, 곧 그래프가 끊기거나 갑자기 뛰는 곳이 없다는 뜻입니다. 단계를 올리면 계단이 점점 잘게 쪼개지는 것을 볼 수 있습니다. 왼쪽 아래 3분의 1 조각을 가로로 3배, 세로로 2배 늘리면 전체와 똑같아집니다. 이처럼 부분을 늘리면 전체가 되는 모양을 프랙털⁠(fractal)⁠이라 부르고, 복소평면⁠(complex plane)⁠의 망델브로 집합⁠(Mandelbrot set)⁠에서도 비슷한 자기 닮음⁠(self-similarity)⁠을 볼 수 있습니다.

이 집합은 길이로 재면 0이고 개수로 세면 실수만큼입니다. 그 사이를 재는 자가 프랙털 차원⁠(fractal dimension)⁠입니다. 선분을 3분의 1로 줄이면 원래 선분을 채우는 데 3개가 들고, 정사각형은 $9 = 3^2$개, 정육면체는 $27 = 3^3$개가 듭니다. 이 지수 1, 2, 3이 차원입니다. 칸토어 집합은 3분의 1로 줄인 조각 2개로 전체가 채워지므로, 차원 $d$는 $3^d = 2$를 만족합니다. 이 식을 풀면(로그 log는 '몇 제곱인가'를 구하는 연산입니다) 칸토어 집합의 차원은 $\log 2/\log 3 \approx 0.631$입니다. 점(0차원)보다는 크고 선분(1차원)보다는 작은 차원입니다. 이 자가 해안선의 길이를 재려던 20세기의 시도에서 어떻게 나왔는지는 「재는 순간 바뀐다」 1–2절에 있습니다.

비슷한 집합은 옥스퍼드 대학의 수학자 헨리 스미스가 1875년에 먼저 다루었습니다. 스미스는 리만의 적분⁠(integral)⁠이 어떤 함수에 통하는지를 따지다가, 어디에도 빽빽하지 않은데(어느 구간을 잡아도 그 안에 점이 하나도 없는 더 작은 구간이 있는데) 길이는 0이 아닌 점들의 모임을 만들었습니다. 그래도 이 집합은 널리 알린 칸토어의 이름으로 불립니다.

칸토어가 이런 집합을 들여다본 까닭은 그의 출발점에 있습니다. 1870년대 초 그는 한 함수를 나타내는 삼각급수(푸리에 급수⁠, Fourier series⁠)가 하나뿐인지를 연구하면서, 급수에 대해 아무것도 가정하지 않는 예외 점이 무한히 많아도 되는지를 따졌습니다(「원에서 파동으로」 7절). 그러려고 점들의 모임 $P$에서 "다른 점들이 한없이 가까이 몰려드는 점"만 모은 집합 $P'$(도함수 집합⁠, derived set⁠)을 만들고, 이것을 되풀이해 $P''$, $P'''$, …을 만들었습니다. 1872년 논문의 결론은, 이 되풀이가 유한 번 만에 빈 집합에 이르는 모임이라면 예외 점이 무한히 많아도 급수는 하나뿐이라는 것이었습니다.

되풀이가 끝나지 않으면 어떻게 될까요? 칸토어는 1880년 무렵 모든 $P^{(n)}$의 공통 부분을 $P^{(\infty)}$로 적고 거기서 다시 되풀이를 이어 갔습니다. "무한 번째 다음"을 세는 이 첨자가 1883년 『기초⁠(basics)⁠』에서 독립⁠(independence)⁠된 수, 곧 초한 순서수⁠(ordinal number)⁠가 됩니다(7절). 칸토어 집합은 1883년 논문의 주석에 예로 나옵니다. 칸토어 집합에서는 어느 점에나 다른 점들이 한없이 몰려들고, 그렇게 몰려드는 점은 모두 칸토어 집합 안에 있습니다. 그래서 $P'$을 만들어도 조금도 줄어들지 않습니다. 이런 집합을 "완전 집합⁠(perfect set)⁠"이라 합니다. 칸토어 집합은 완전 집합이면서도 어떤 구간도 통째로 품지 않는 예였습니다.

7 · 낙원과 반대자들칸토어가 걸은 길

이 절은 수학보다 사람들의 이야기입니다. 물음은 이것입니다. 지금까지 본 내용은 오늘날 대학 1학년 교재에 나오지만, 처음에는 수학자들 사이에서 크게 논란이 된 생각이었습니다. 왜 그랬을까?

한마디로 답하면, 무한을 "끝없이 계속되는 과정"이 아니라 "다 모여 있는 하나의 대상"으로 다루는 것 자체가 아리스토텔레스 이래 오래 피해 온 일이었기 때문입니다.

그 구별을 처음 분명히 한 사람이 아리스토텔레스입니다. 『자연학』 3권에서 그는 무한이 가능적으로만 있다고 보았습니다. 선분은 얼마든지 더 나눌 수 있고 수는 얼마든지 더 셀 수 있지만, 그 과정이 끝나 무한한 것이 한꺼번에 주어지는 일, 곧 실무한⁠(actual infinity)⁠은 없다는 것입니다. 아리스토텔레스는 수학자에게도 실무한은 필요 없고, 원하는 만큼 긴 유한한 선분이면 충분하다고 했습니다. 실제로 유클리드의 『원론』 9권은 소수가 "무한히 많다"고 하지 않고 "주어진 어떤 개수보다도 많다"고 말합니다(유클리드의 증명은 「소수를 세는 사람들」 1절에서 따라가 볼 수 있습니다).

이 구별은 기원전 5세기 그리스 철학자 엘레아의 제논의 역설에 내놓은 답이기도 했습니다. 제논의 역설에 따르면, 아킬레우스가 거북을 따라잡으려면 먼저 거북이 있던 곳에 가야 하고, 그동안 거북은 조금 더 나아가 있으니 또 그곳에 가야 하고, 이렇게 무한히 여러 번 거북이 있던 곳에 먼저 가야 합니다. 그러니 영영 따라잡지 못한다는 것입니다. 아리스토텔레스는 선분 속의 무한한 분할점은 가능성으로만 있을 뿐이라고 답했습니다. 오늘날의 답은 그 무한히 많은 구간의 길이가 등비급수를 이루어, 끝없이 더해도 유한한 값에 다가간다는 것, 곧 수렴⁠(convergence)⁠한다는 것입니다. 예컨대 구간이 1, 1/2, 1/4, …로 줄면 모두 더해도 2입니다(제논의 역설과 등비급수는 「한 점에서 전부를」 3절에도 나옵니다).

끝없는 나누기를 따진 사람이 그리스에만 있었던 것은 아닙니다. 중국 전국 시대(기원전 5–3세기)의 변론가들, 흔히 명가라 불리는 사람들이 남긴 말 가운데 "한 자 길이의 막대에서 날마다 절반을 잘라 내면 만 대가 지나도 다 없어지지 않는다"는 명제가 『장자』의 「천하」 편에 전합니다. 제논이 '끝없이 나뉘니 끝까지 갈 수 없다'를 따졌다면, 이 명제는 '끝없이 나뉘어도 바닥나지 않는다'를 봅니다. 날마다 남는 길이는 1/2, 1/4, 1/8, …로 0에 한없이 다가갈 뿐 0이 되지 않고, 잘라 낸 길이를 모두 더하면 1에 다가갑니다. 두 역설은 같은 등비급수를 양쪽에서 본 것입니다.

이 구별은 중세 내내 신학과 얽혀 권위를 누렸습니다. 12세기에 『자연학』이 그리스어와 아랍어에서 라틴어로 옮겨졌고, 13세기에는 파리 대학의 필수 교재가 되었습니다. 그러면서 아리스토텔레스는 스콜라 학자들, 곧 중세 대학에서 철학과 신학을 가르친 학자들 사이에서 그냥 "그 철학자"로 불리게 되었습니다. 파리 대학의 신학자 토마스 아퀴나스는 『신학대전』에서 실제로 무한히 많은 것들의 모임은 있을 수 없다고 논했습니다. 온전한 뜻에서 무한한 것은 크기나 개수가 아니라 신뿐이었습니다.

다른 목소리도 있었습니다. 5세기 초 북아프리카 히포의 주교 아우구스티누스는 『신국론』에서 신은 무한히 많은 수를 모두 한꺼번에 안다고 썼습니다. 9세기 후반 바그다드에서는 그리스 문헌을 아랍어로 옮기던 번역 운동⁠(translation movement)⁠의 한가운데 있던 수학자 타비트 이븐 쿠라가, 아리스토텔레스와 달리 실제로 무한한 것들이 있다고 보았습니다. 그는 무한한 수라는 것은 없다고 하면서도, 수들의 무한한 모임끼리는 크기가 다를 수 있다고 논했습니다. 이를테면 홀수와 짝수는 저마다 수 전체의 절반이라는 것입니다. '부분은 전체보다 작다'를 무한에까지 밀고 간 셈이니, 짝짓기로 재는 칸토어와는 다른 길입니다. 독일 출신의 철학자로 뒷날 추기경이 된 니콜라우스 쿠자누스는 1440년 『박학한 무지』에서, 원에 내접한 다각형의 변을 아무리 늘려도 원이 되지는 않듯 유한한 지성은 무한에 다가갈 뿐 닿지 못한다고 했습니다. 무한은 오랫동안 수학보다 신학이 다루는 주제였습니다.

기원전 5세기부터 17세기까지. 주황 선은 아리스토텔레스의 『자연학』이 아테네에서 바그다드와 톨레도를 거쳐 파리 대학의 교과서가 된 길, 그리고 연금된 갈릴레이의 원고가 레이던으로 간 길입니다. 철학·종교 줄에서 무한을 신의 속성으로 본 사람들, 그리고 무한한 모임끼리도 크기가 다르다고 본 바그다드의 타비트 이븐 쿠라를 찾아보세요.

근대에 실무한을 정면으로 다룬 첫 사람 가운데 하나가 프라하의 신부이자 수학자 베른하르트 볼차노입니다. 프라하 대학에서 종교학을 가르치던 그는 강의와 설교가 불온하다는 의심을 샀고, 1819년 오스트리아 정부는 그를 교수직에서 쫓아내고 출판도 금지했습니다. 말년에 쓴 『무한의 역설』은 그가 죽은 뒤 1851년 제자의 손으로 출판되었습니다. 볼차노는 무한집합이 자기 일부와 짝지어지는 예들을 모았지만, 그것을 크기가 같다는 뜻으로 받아들이지는 않았습니다. 그 한 걸음을 내디딘 사람이 칸토어입니다.

1840년부터 1970년까지. 파랑·보라 선은 칸토어와 데데킨트, 러셀과 프레게가 주고받은 편지와 선택공리를 둘러싼 논쟁이 오간 길, 분홍·노랑 선은 1930년대에 자리를 옮긴 사람들입니다. 무한을 둘러싼 논쟁의 무대가 할레·베를린·괴팅겐에서 빈을 거쳐 프린스턴으로 옮겨 가는 것을 볼 수 있습니다.

1877년 선분과 정사각형이 같은 크기라는 것을 알았을 때, 칸토어 자신도 놀랐습니다. 그는 데데킨트에게 보낸 편지에 프랑스어로 이렇게 적었습니다.

나는 그것을 보지만, 믿지는 못하겠습니다!— 게오르크 칸토어, 데데킨트에게 보낸 편지(1877)

한 변이 1인 정사각형의 점은 가로 위치와 세로 위치, 곧 0과 1 사이의 수 두 개로 정해집니다. 정사각형의 점 $(0.a_1a_2a_3\ldots,\ 0.b_1b_2b_3\ldots)$에 두 전개의 숫자를 번갈아 끼운 수 $0.a_1b_1a_2b_2\ldots$를 짝지어 주는 것이 핵심 착상입니다. 예컨대 점 (0.12…, 0.34…)는 0.1324…와 짝이 됩니다(엄밀히 하려면 앞의 $0.1999\ldots$ 문제를 손봐야 합니다). 거꾸로 0.1324…의 홀수째 자리와 짝수째 자리를 떼어 읽으면 점 (0.12…, 0.34…)로 돌아옵니다. 그러니 정사각형은 선분과 크기가 같습니다.

실수 직선 전체도 선분과 크기가 같습니다. 예를 들어 실수 x를 $x/(1+|x|)$로 보내면($|x|$는 x의 부호를 뗀 값입니다) 실수 직선 전체가 −1과 1 사이의 구간과 빠짐도 겹침도 없이 짝지어집니다. x = 1은 1/2로, x = 3은 3/4로, x = −3은 −3/4로 가고, x가 커질수록 1에 다가가기만 할 뿐 닿지는 않습니다. 끝점 몇 개의 차이는 2절의 호텔처럼 한 칸씩 밀어서 메울 수 있습니다. 그러니 평면 전체, 곧 모든 복소수⁠(complex number)⁠의 집합도 실수 직선과 크기가 같습니다. 차원이 달라도 짝짓기로 재면 크기가 같습니다.

이 결과는 차원이 무엇인가를 흔들었습니다. 당시 수학자들은 평면의 점을 정하려면 수가 둘, 공간의 점에는 셋이 필요하다는 것을 차원의 뜻으로 여겼는데, 칸토어의 짝짓기는 수 하나로도 평면의 점을 빠짐없이 가리킵니다. 데데킨트는 답장에서 이 짝짓기가 가까운 점을 먼 점으로 흩뜨린다는 데 주목했습니다. 가까운 점을 가까운 점으로 보내는 연속인 짝짓기라면 차원이 다른 두 공간을 이을 수 없을 것이라는 추측이었습니다. 이 "차원의 불변성⁠(invariance of dimension)⁠"을 빈틈없이 증명한 사람은 1911년 암스테르담의 라위트전 브라우어르였습니다. 뒤에서 볼 것처럼, 뒷날 칸토어식 무한을 가장 강하게 비판한 바로 그 수학자입니다(위상수학⁠, topology⁠). 논문의 앞날도 순탄하지 않았습니다. 1877년 『크렐레 저널』에 보낸 논문은 게재가 늦어졌고, 칸토어는 크로네커가 막는다고 의심했습니다. 논문은 이듬해 실렸지만, 칸토어는 그 뒤 다시는 이 학술지에 논문을 보내지 않았습니다.

크로네커의 생각은 대수학자 하인리히 베버가 전한 한 문장에 잘 드러납니다. 크로네커가 1886년 강연에서 한 말이라고 합니다.

정수는 하느님이 만드셨고, 그 밖의 모든 것은 사람이 만든 것이다.— 레오폴트 크로네커, 하인리히 베버의 추도문(1893)이 전하는 말

칸토어는 수학이 모순만 없다면 새로운 개념을 자유롭게 만들어도 된다고 반박했습니다. 1883년 『일반 집합론⁠(set theory)⁠의 기초』에는 "수학의 본질은 그 자유에 있다"는 문장이 있습니다.

새 생각이 유럽에 널리 알려진 데에는 스웨덴의 도움이 컸습니다. 스톡홀름의 수학자 괴스타 미타그레플레르가 막 창간한 학술지 『악타 마테마티카』가 1883년 칸토어의 논문들을 프랑스어로 옮겨 실었습니다. 그러나 1885년에는 그 미타그레플레르조차 시대를 너무 앞선다며 새 논문의 발표를 미루라고 권해 칸토어를 크게 실망시켰습니다.

칸토어에게 무한은 신학의 문제이기도 했습니다. 그는 무한집합의 크기($\aleph_0$ 같은 기수⁠(cardinal number)⁠)와 무한히 이어지는 순서의 자리를 나타내는 새로운 수들을 만들고 초한수⁠(transfinite number)⁠, 곧 "유한을 넘어선 수"라고 불렀습니다. 독실한 루터교 신자였던 그는 자기의 초한수가 신의 무한을 넘보는 것이 아님을 해명하려고 가톨릭 신학자들과 편지를 주고받았습니다. 1886년 로마의 예수회 신학자 요한 바프티스트 프란첼린 추기경과 나눈 편지가 잘 알려져 있습니다. 칸토어는 얼마든지 더 늘릴 수 있는 무한, 곧 초한수와, 더는 늘릴 수 없는 절대적 무한을 구별하고 절대적 무한은 신에게만 속한다고 설명했습니다. 처음에 범신론(신과 세계를 같은 것으로 보는 생각)으로 흐를 위험을 걱정하던 프란첼린은 이 구별을 받아들여, 초한수가 신앙과 충돌하지 않는다고 답한 것으로 전해집니다.

이 대화는 앞에서 본 중세의 논의로 이어집니다. 칸토어는 아우구스티누스의 『신국론』에서 수의 무한을 다룬 대목을 자기편으로 인용하기도 했습니다. 아퀴나스가 "실제로 무한한 것은 신뿐"이라고 했다면, 칸토어는 신의 무한 아래에도 실제로 있는 무한들의 사다리가 있다고 말한 셈입니다.

칸토어의 생각을 가장 강하게 옹호한 사람은 힐베르트였습니다. 그는 집합론의 역설들 때문에 무한을 버리자는 목소리에 맞서, 무한을 다루는 방법을 튼튼한 기초 위에 세우자고 주장했습니다.

칸토어가 우리에게 만들어 준 낙원에서 아무도 우리를 쫓아내지 못할 것이다.— 다비트 힐베르트, 「무한에 대하여」(1925년 뮌스터 강연, 1926년 출판)

"무한을 버리자는 목소리"의 대표는 암스테르담 대학의 네덜란드 수학자 브라우어르였습니다. 그의 직관주의⁠(intuitionism)⁠는 수학의 대상은 사람이 한 걸음씩 구성할 수 있는 것뿐이라고 보았고, 무한집합에 대해서는 "참이거나 거짓이거나 둘 중 하나"라는 배중률⁠(law of excluded middle)⁠을 함부로 쓰지 말자고 했습니다. 아리스토텔레스의 가능적 무한⁠(potential infinity)⁠이 새 옷을 입고 돌아온 셈입니다.

힐베르트는 반대로 수학 전체를 기호 규칙으로 적은 형식 체계⁠(formal system)⁠로 만들고, 그 체계에 모순이 없음을 유한한 방법으로 증명하려 했습니다(형식주의⁠, formalism⁠). 이 대립은 수학이 무엇 위에 서 있는가를 두고 벌어진 1920년대의 "기초 논쟁"으로 번졌고, 1928년 힐베르트는 브라우어르를 자신이 이끌던 학술지 『수학 연보』의 편집진에서 빼 버렸습니다.

결말은 힐베르트가 공부한 도시 쾨니히스베르크에서 왔습니다. 1930년 9월 7일 그곳의 학회에서 빈 대학의 젊은 논리학자 쿠르트 괴델이 불완전성 정리⁠(incompleteness theorem)⁠를 처음 알렸습니다. 바로 다음 날 같은 도시에서 힐베르트는 "우리는 알아야 한다. 우리는 알게 될 것이다"로 끝나는 연설을 했습니다. 괴델의 정리에 따르면, 공리를 기계적으로 늘어놓을 수 있고 자연수의 산술을 담을 만큼 강하며 모순이 없는 체계는 그 체계 안에서 자기의 무모순성⁠(consistency)⁠을 증명할 수 없습니다. 힐베르트가 바란 방식의 증명은 이렇게 가로막혔습니다. 괴델은 철학자와 과학자들의 모임인 빈 학파에 드나들었지만, 그들과 달리 수학적 대상이 사람과 독립적으로 있다고 믿는 쪽이었습니다.

8 · 풀리지 않는 질문연속체 가설

이 절의 물음은 이것입니다. 자연수의 크기 $\aleph_0$와 실수의 크기 사이에 다른 크기가 있을까요? 다시 말해, 자연수보다는 크고 실수보다는 작은 집합이 있을까요? 3절과 6절에서 본 집합들은 모두 둘 중 한쪽이었습니다. 유리수는 자연수와, 칸토어 집합은 실수와 크기가 같았습니다.

칸토어는 1878년 무렵 그 사이의 크기는 없다고 추측했고, 이것을 연속체 가설이라 부릅니다(실수 직선을 연속체⁠(continuum)⁠라고도 부르기 때문입니다). 5절의 기호로 적으면 실수의 크기 $2^{\aleph_0}$이 자연수 바로 다음 크기 $\aleph_1$과 같으냐는 물음입니다. 칸토어는 오랫동안 증명하려 애썼지만 끝내 성공하지 못했습니다.

1900년 파리 국제수학자대회에서 힐베르트는 새 세기의 수학자들이 풀어야 할 23개의 문제를 내놓으면서 이 문제를 첫 번째로 꼽았습니다. 답은 뜻밖의 모양으로 왔습니다. 1938년에 발표하고 1940년에 책으로 낸 연구에서 쿠르트 괴델은 연속체 가설을 ZFC 공리에 더해도 모순이 생기지 않음을 보였습니다. 여기서 ZFC는 5절 끝에서 본, 오늘날 수학자들이 표준으로 쓰는 집합의 공리들입니다. 괴델의 결과에서 ZFC로는 연속체 가설이 틀렸다고 증명할 수 없다는 결론이 나옵니다. 만약 ZFC로 "연속체 가설은 틀렸다"를 증명할 수 있다면, 연속체 가설을 더한 체계에서는 그것이 옳다는 가정과 틀렸다는 증명이 함께 있어 모순이 생길 텐데, 괴델은 모순이 생기지 않음을 보였기 때문입니다. 1963년 미국의 수학자 폴 코언은 반대로, 연속체 가설이 틀렸다고 더해도 모순이 생기지 않음을 보였습니다. 같은 이치로 ZFC로는 옳다고 증명할 수도 없습니다. 두 결과 모두 ZFC 자체에 모순이 없다는 전제 아래에서입니다.

그러니 연속체 가설은 우리가 보통 쓰는 공리로는 증명도 반증도 할 수 없는 명제입니다. 흔히 이것을 "답이 없다"는 뜻으로 받아들이지만, 정확히는 지금의 공리가 이 질문을 결정하기에는 부족하다는 뜻입니다. 5절 끝에서 본 선택공리도 같은 처지였습니다. 새 공리를 더해 답을 정하자는 연구와, 이 질문에 정해진 답이 있기는 한가를 두고 벌이는 논쟁은 지금도 이어지고 있습니다. 코언은 이 업적으로 1966년 필즈상⁠(Fields Medal)⁠을 받았습니다. 필즈상은 4년마다 40세 미만의 수학자에게 주는, 수학에서 가장 이름난 상 가운데 하나입니다.

칸토어가 연속체 가설의 증명에 가장 가까이 간 결과는 6절에서 본 도함수 집합의 되풀이에서 나왔습니다. 1883–84년 칸토어와 스웨덴의 학생이던 이바르 벤딕손은, 닫힌 집합⁠(closed set)⁠, 곧 그 점들이 한없이 다가가는 점을 모두 품는 집합(구간이나 칸토어 집합 같은 것)은 셀 수 있거나 실수 전체와 크기가 같다는 것을 보였습니다. 닫힌 집합 가운데에는 연속체 가설의 반례가 없다는 뜻입니다. 1916년 모스크바의 파벨 알렉산드로프와 독일의 펠릭스 하우스도르프는 같은 결론을 훨씬 넓은 보렐 집합(구간에서 출발해 합집합⁠(union)⁠, 교집합⁠(intersection)⁠, 여집합⁠(complement)⁠을 셀 수 있을 만큼 되풀이해 얻는 집합)으로 넓혔습니다. 반례가 있다면 이보다도 복잡한 집합이어야 합니다. 이 질문들이 기술 집합론⁠(descriptive set theory)⁠이라는 분야로 자랐습니다.

괴델의 연구는 유럽이 무너지던 시기와 겹칩니다. 1933년 나치 정권이 유대계 학자들을 공직에서 몰아내자 괴팅겐의 수학은 순식간에 무너졌습니다. 힐베르트와 함께 증명론⁠(proof theory)⁠, 곧 증명 자체를 수학의 대상으로 삼아 연구하는 분야를 세우던 파울 베르나이스도 자리를 잃고 취리히로 떠났습니다.

괴델 자신의 길도 흔들렸습니다. 1938년 3월 오스트리아가 독일에 병합된 뒤에도 괴델은 빈과 프린스턴을 오갔고, 그해 가을 프린스턴 고등연구소에서 연속체 가설에 관한 결과를 강의했습니다. 전쟁이 시작되자 그는 1940년 초 시베리아 횡단 철도와 일본을 거쳐 미국으로 건너가 프린스턴에 자리 잡았습니다. 무한에 관한 연구의 중심도 이렇게 대서양을 건넜습니다.

정작 괴델은 연속체 가설이 참이라고 믿지 않았습니다. 1947년 글 「칸토어의 연속체 문제란 무엇인가」에서 그는, 연속체 가설은 참이나 거짓이 정해져 있는 질문이고 지금의 공리가 부족할 뿐이며, 새 공리가 찾아지면 아마 거짓으로 판정될 것이라고 썼습니다. 그가 보인 것은 "모순이 생기지 않는다"까지였고, 그 너머는 믿음으로 남겨 둔 것입니다.

"셀 수 있다"는 말조차 어느 세계에서 하는 말인지에 따라 달라질 수 있다는 것은 일찍부터 알려져 있었습니다. 1915년 독일의 레오폴트 뢰벤하임과 1920–22년 노르웨이의 토랄프 스콜렘이 증명한 정리가 있습니다. 1차 논리⁠(first-order logic)⁠는 '모든 ~'과 '어떤 ~'을 세계 안의 대상에만 쓰고, 대상들의 임의의 성질에는 쓰지 않는 논리이고, ZFC도 이 논리로 적습니다. 정리에 따르면, 셀 수 있는 개수의 기호로 적은 1차 논리의 공리 체계에 모형(공리를 모두 만족하는 대상들의 세계)이 하나라도 있으면, 원소가 셀 수 있을 만큼뿐인 모형도 있습니다. ZFC도 이런 체계이니, 모형이 있다면 셀 수 있는 모형이 있고, 그 안에서도 "실수는 셀 수 없다"는 정리는 성립합니다. 모순 같지만 그렇지 않습니다. 그 모형의 "실수"들을 밖에서 세어 주는 짝짓기가 그 모형 안에 원소로 들어 있지 않을 뿐입니다. 스콜렘은 1922년 헬싱키의 스칸디나비아 수학자대회 강연에서 이것을 집합론 개념의 "상대성"이라고 불렀습니다. (스콜렘이 논리의 다른 도구를 만든 이야기는 「이기는 쪽이 존재한다」 3절에 있습니다.)

코언의 강제법⁠(forcing)⁠은 바로 이런 모형을 손으로 짓는 기술입니다. 셀 수 있는 모형 하나에서 출발해, 그 안에 없던 자연수의 부분집합, 곧 새 실수들을 $\aleph_2$개($\aleph_1$ 바로 다음 크기만큼) 덧붙인 더 큰 모형을 지으면서도 ZFC의 공리가 모두 살아남게 합니다. 그 세계에서는 실수가 $\aleph_1$개보다 많으니 연속체 가설이 거짓입니다. 코언은 원래 논리학자가 아니었습니다. 1958년 시카고 대학에서 안토니 지그문트의 지도로 쓴 박사 논문의 주제는 삼각급수⁠(trigonometric series)⁠의 유일성, 곧 90년 가까이 전에 칸토어를 집합론으로 이끈 바로 그 문제였습니다. 1961년 스탠퍼드에 자리 잡은 뒤 논리로 관심을 돌려, 1938–39년 프린스턴 고등연구소 강의를 정리한 괴델의 책에서 출발했습니다. 결과는 1963–64년 『미국 국립과학원 회보』에 실렸고, 괴델은 1963년 그에게 보낸 편지에서 본질적인 면에서 가능한 가장 좋은 증명이라고 평했습니다.

9 · 이어지는 길셀 수 있음과 없음이 만나는 곳

짝짓기로 잰 집합의 크기, 가산 집합과 비가산의 구별, 목록에서 빠지는 수를 만드는 대각선 논법과 그것을 일반화한 멱집합 정리는 집합론 밖에서 더 자주 쓰입니다. 이 절은 앞의 내용이 다른 분야와 만나는 곳들을 짧게 모은 것이고, 더 궁금한 항목만 골라 읽어도 됩니다.

• 확률⁠(probability)⁠: 0과 1 사이에서 실수 하나를 고르게 무작위로 고를 때(어느 구간에 떨어질 확률이 그 구간의 길이와 같도록 고를 때), 그 수가 유리수일 확률은 0입니다(확률이 태어난 이야기는 「도박판에서 온 편지」에 있습니다). 3절에서 본 것처럼 유리수 전체를 총길이가 얼마든지 작은 덮개로 덮을 수 있기 때문입니다. 무작위로 고른 실수는 확률 1로 무리수입니다. 다만 확률 0이 '일어날 수 없다'는 뜻은 아닙니다. 1/2도 고를 수 있는 수이지만, 특정한 수 하나가 뽑힐 확률은 어느 수든 0입니다. 더 나아가 1909년 프랑스의 수학자 에밀 보렐은 확률 1로 그 수의 십진 전개(소수점 아래 숫자들)에 0부터 9까지의 숫자가 모두 같은 비율(10분의 1씩)로 나타난다는 것을 보였습니다. 숫자 하나하나를 서로 독립인 열 면 주사위의 눈처럼 본 큰 수의 법칙⁠(law of large numbers)⁠입니다.
• 적분: 유리수에서 1, 무리수에서 0인 함수를 생각해 봅시다. 보통의 적분은 구간을 잘게 나누고 조각마다 (폭 × 그 조각에서 고른 함수값)을 더한 리만 합⁠(Riemann sum)⁠으로 넓이를 잽니다. 그런데 이 함수는 구간을 아무리 잘게 나누어도 모든 조각에 유리수와 무리수가 함께 있어서, 조각마다 유리수를 고르면 합이 구간의 길이 전체가 되고 무리수를 고르면 0이 됩니다. 리만 합이 하나의 값으로 모이지 않습니다. 1902년 프랑스의 앙리 르베그는 정적분⁠(definite integral)⁠을 다시 정의했습니다(적분 자체의 이야기는 「거리를 되찾기」에서 시작합니다). 가로축을 잘게 나누는 대신 "함수값이 이만큼인 점들의 집합은 길이가 얼마인가"를 재어 값 × 길이를 더하는 방식이고, 길이가 0인 집합 위에서 함수가 무슨 값을 갖든 적분에는 영향이 없습니다(르베그 적분⁠, Lebesgue integral⁠). 이 함수는 유리수에서만 1인데 유리수 전체의 길이가 0이므로, 새 정의로는 적분이 1 × 0 = 0입니다. 3절의 덮개가 바로 그 "길이 0"의 뜻입니다.
• 미분⁠(differentiation)⁠: 6절의 칸토어 함수는 거의 모든 곳, 곧 길이가 0인 칸토어 집합을 뺀 모든 곳에서 평평하므로 미분계수⁠(derivative)⁠가 거의 모든 곳에서 0인데, 값은 0에서 1까지 오릅니다(미분 이야기는 「순간의 속도」에서 시작합니다). 도함수⁠(derivative function)⁠를 적분하면 원래 함수가 돌아온다는 미적분의 기본정리⁠(fundamental theorem of calculus)⁠가 이 함수에서는 성립하지 않습니다. 이런 예들이 해석학(미적분의 극한 논리를 엄밀하게 다지는 수학 분야)에서 어떤 함수에 기본정리를 쓸 수 있는지를 정확히 따지게 만들었습니다.
• 수의 성질: 대각선 논법으로 만든 수는 무리수였습니다. 무리수는 연분수로 쓰면 끝나지 않습니다. 그중 가장 "분수에서 먼" 수가 연분수 $[1; 1, 1, \ldots]$인 황금비⁠(golden ratio)⁠입니다. 분수로 근사하기 가장 어려운 수가 무엇인지 묻는 질문은 셀 수 있는 분수와 셀 수 없는 실수 사이의 관계를 정밀하게 묻는 질문입니다.
• 계산의 한계: 컴퓨터 프로그램은 유한한 글자로 적히므로 모두 셀 수 있고, 따라서 프로그램으로 계산할 수 있는 실수도 가산 개뿐입니다. 실수는 셀 수 없으니, 어떤 프로그램으로도 소수 전개를 계산할 수 없는 실수가 셀 수 없이 많습니다. 1936년 케임브리지의 앨런 튜링이 계산 가능성⁠(computability)⁠을 튜링 기계⁠(Turing machine)⁠로 정의한 논문에서 대각선 논법을 다시 쓴 것은 우연이 아닙니다. 그 논문은 어떤 명제가 주어진 공리에서 증명되는지를 기계적으로 판정하는 일반적인 방법이 있느냐는 힐베르트의 결정 문제⁠(decision problem)⁠에 "없다"고 답했습니다. 튜링은 곧 프린스턴으로 건너가 공부했고, 2차 세계대전 동안에는 블레츨리 파크에서 독일군 암호 해독에 핵심 역할을 했습니다(「나머지로 지키는 비밀」).
• 문학: 아르헨티나 작가 호르헤 루이스 보르헤스는 무한을 소설로 옮겼습니다. 「바벨의 도서관」(1941)의 도서관에는 25가지 기호로 적은 410쪽짜리 책이 가능한 모든 조합으로 꽂혀 있습니다. 한 쪽이 40줄, 한 줄이 80자 안팎이니 책의 종류는 대략 $25^{1312000}$가지로, 엄청나지만 유한합니다. 그래서 화자는 끝이 없어 보이는 도서관이 같은 책들을 주기적으로 되풀이한다는 가설을 내놓습니다. 길이 제한을 없애면 가능한 책은 무한히 많아지지만, 유한한 글자열은 길이 순으로 줄 세울 수 있으므로 여전히 가산입니다.
• 소설 속 알레프: 보르헤스의 「알레프」(1945)에서는 부에노스아이레스의 한 집 지하실에 우주의 모든 곳을 한꺼번에 담은 점 하나가 있습니다. 그 점의 이름 알레프는 히브리 문자의 첫 글자이자 칸토어가 무한의 크기에 붙인 기호입니다. 보르헤스는 작품 끝의 덧붙임에서 집합론의 알레프가 "전체가 부분보다 크지 않은" 무한의 기호라는 것을 짚었습니다. 2절에서 본 데데킨트의 정의가 소설 속으로 들어간 것입니다.
• 무한 속의 질서: 2절의 비둘기집 원리는 무한에서도 한 가지 모양으로 살아남습니다. 무한히 많은 비둘기를 유한한 칸에 넣으면 어느 칸엔가는 무한히 많이 들어갑니다. 1928년 프랭크 램지는 이것을 거듭 써서 무한 램지 정리⁠(infinite Ramsey theorem)⁠를 증명했습니다. 서로 다른 두 자연수의 쌍 {m, n}마다 유한 가지 색 가운데 하나를 칠한다고 합시다. 그러면 어떻게 칠하든, 자연수를 무한히 많이 골라 그중 어느 두 수의 쌍도 모두 같은 색이 되게 할 수 있다는 정리입니다(램지 이론⁠(Ramsey theory)⁠, 「완전한 무질서는 없다」 3절).
• 증명할 수 없다는 증명: 연속체 가설이 ZFC 공리에서 독립이라는 사실은, 평행선 공준⁠(parallel postulate)⁠이 나머지 공리와 독립이라는 19세기의 발견과 같은 모양입니다. 「평행선의 반란」에서 그 앞선 이야기를 볼 수 있습니다. 1963년 폴 코언이 강제법으로 보인 이 독립성을, 1972년 마일스 티어니는 연속체 가설이 거짓인 '집합의 세계'를 층(공간의 조각마다 자료를 붙이고, 겹치는 곳에서 맞는 자료끼리 이어 붙인 것)으로 짓는 방법으로 다시 증명했습니다. 이런 세계를 토포스⁠(topos)⁠라 합니다. 토포스 안의 논리는 일반적으로 7절에서 본 브라우어르의 직관주의 논리이지만, 티어니의 세계는 배중률이 성립하도록 골라 지은 것이라 보통의 수학이 그대로 통합니다. 토포스를 낳은 범주론⁠(category theory)⁠이 집합과 논리를 원소 대신 화살표로 다시 쓴 과정은 「화살표만으로 본 수학」 7절에 있습니다.
• 게임으로: 4절에서 칸토어가 1874년에 쓴 구간 좁히기는, 한 사람이 목록의 수를 피해 구간을 고르는 게임에서 이기는 전략⁠(winning strategy)⁠으로 읽을 수 있습니다. 거꾸로 선택공리를 쓰면 어느 쪽에도 이기는 전략이 없는 무한 게임을 만들 수 있고, 그래서 "모든 무한 게임은 승패가 정해져 있다"는 결정성 공리⁠(axiom of determinacy)⁠는 선택공리와 함께 쓸 수 없습니다. 「이기는 쪽이 존재한다」 7절에서 이어집니다.
• 없다는 것의 증명으로: 이 글의 두 도구, 곧 세기(대수적 수는 셀 수 있으니 초월수가 남는다)와 대각선(목록에서 빠지는 수)은 각의 삼등분, 압축, 투표 규칙의 불가능성 증명에서도 그대로 쓰입니다. 「불가능의 증명」은 불변량⁠(invariant)⁠까지 세 가지 무기로 그 증명들을 한 줄에 세웁니다.
• 유한한 셈으로: 5절의 "부분집합은 $2^n$개"는 원소마다 넣을지 뺄지를 고르는 곱의 법칙⁠(rule of product)⁠이고, 그 수를 크기별로 나누면 파스칼의 삼각형의 한 줄이 됩니다. 인도의 운율학자들이 긴 음과 짧은 음의 배열을 세던 데서 시작된 이 셈의 역사는 「세지 않고 세기」에 있습니다.
• 프랙털로: 6절의 칸토어 집합은 길이는 0이지만 프랙털 차원은 약 0.631인 도형의 첫 예입니다. 해안선의 길이가 자에 따라 달라지는 이야기는 「재는 순간 바뀐다」에, 혼돈계의 끌개⁠(attractor)⁠를 자른 단면이 칸토어 집합을 닮는 이야기는 「나비의 날갯짓」에 있습니다.
• 증명과 프로그램으로: 러셀의 역설 뒤에 나온 처방 가운데 체르멜로의 공리가 아닌 쪽, 곧 러셀의 층(타입⁠, type⁠)과 브라우어르의 직관주의 논리⁠(intuitionistic logic)⁠는 반세기 뒤 프로그래밍 언어의 타입과 증명 보조기⁠(proof assistant)⁠로 이어졌습니다. 칸토어의 정리와 러셀의 역설과 정지 문제⁠(halting problem)⁠가 모두 한 줄짜리 고정점⁠(fixed point)⁠ 정리의 모습이라는 로베어의 관찰도 「증명은 프로그램이다」 6절에 있습니다.
• 계산할 수 없는 것: 대각선 논법은 튜링의 손에서 "어떤 프로그램이 멈출지 판정하는 기계는 없다"는 정리(정지 문제)가 되었습니다. 러셀과 괴델과 튜링의 이야기는 「기계가 풀 수 없는 문제」에서 이어집니다.