연속체 가설(Continuum hypothesis)

끝없이 많은 것들의 크기는 어떻게 견줄까요? 두 집합의 원소⁠(element)⁠를 남김없이 하나씩 짝지을 수 있으면(일대일 대응⁠, one-to-one correspondence⁠) 두 집합의 크기가 같다고 합니다. 자연수 1, 2, 3, …과 짝수 2, 4, 6, …은 n과 2n을 짝지으면 양쪽 모두 남는 것이 없으니 크기가 같습니다. 자연수 전체의 크기, 다시 말해 가산 집합⁠(countable set)⁠의 크기를 $\aleph_0$(알레프⁠(aleph)⁠ 0)라 적습니다. $\aleph$는 히브리 문자입니다. 이것이 가장 작은 무한입니다.

실수 전체는 그보다 큽니다(대각선 논법⁠, diagonal argument⁠). 얼마나 큰지 적으려면 부분집합⁠(subset)⁠을 세는 셈이 쓸모 있습니다. 원소가 셋인 집합 {1, 2, 3}의 부분집합은 원소마다 넣을지 말지를 정해 2 × 2 × 2 = 8개입니다. 원소가 n개면 $2^n$개입니다. 이것을 본떠 자연수의 부분집합 전체(멱집합⁠, power set⁠)의 크기를 $2^{\aleph_0}$('2의 알레프 0 제곱')라 적습니다. 0과 1 사이의 실수를 이진 전개⁠(binary expansion)⁠로 적고 1이 있는 자리들을 모으면 자연수의 부분집합 하나가 나옵니다. 예를 들어 $0.101_2$는 {1, 3}입니다. $0.1_2 = 0.0111\ldots_2$처럼 두 가지로 적히는 수가 있어 이 짝짓기가 정확히 일대일은 아니지만, 그런 수는 가산 개뿐입니다. 셀 수 없는 집합에 가산 개를 더하거나 빼도 크기는 바뀌지 않으므로, 실수의 크기는 $2^{\aleph_0}$입니다.

그렇다면 둘 사이에 다른 크기가 있을까요? 자연수보다 크고 실수보다 작은 집합이 있을까요? 칸토어는 1878년 무렵 없다고 추측했습니다. 이것이 연속체 가설입니다. 실수 직선을 연속체⁠(continuum)⁠라고 부르기 때문에 붙은 이름입니다.

유한집합에서는 이 질문이 싱겁습니다. 원소가 $n =$ 개인 집합의 부분집합은 $2^n$개이고, 그 사이의 크기는 얼마든지 만들 수 있습니다. 예를 들어 원소가 $k =$ 개 이하인 부분집합만 모으면 입니다. 왼쪽 그림은 부분집합 $2^n$개를 원소 수별로 쌓은 것이고(기둥의 높이가 파스칼의 삼각형⁠(Pascal's triangle)⁠의 한 줄입니다), 노란 점이 지금 모은 부분집합입니다.

같은 일을 자연수 전체 $\mathbb{N}$에서 해 봅시다. $\mathbb{N}$의 부분집합 가운데 만 모으면 오른쪽 사다리의 노란 점이 그 모임의 크기입니다. 무한에서는 중간을 노린 시도가 번번이 한쪽 끝으로 미끄러집니다. 예를 들어 유한한 부분집합만 모으면 아래 끝 $\aleph_0$에 머물고, 무한한 부분집합만 모으면 절반쯤일 것 같지만 크기는 위 끝 $2^{\aleph_0}$ 그대로입니다.

1880년대 칸토어와 스웨덴 수학자 이바르 벤딕손의 연구로, 실수 안의 닫힌 집합⁠(closed set)⁠은 가산이거나 실수 전체와 크기가 같다는 것이 알려졌습니다. 닫힌 집합은 가장자리 점까지 모두 품은 집합입니다. 정확히는 집합 안의 점들이 어떤 점에 한없이 다가가면 그 점도 반드시 집합 안에 있는 집합입니다. 구간 $[0, 1]$은 닫혀 있고, 끝점을 뺀 $(0, 1)$은 닫혀 있지 않습니다(0.1, 0.01, 0.001, …이 다가가는 0이 빠져 있으니까요). 이런 개념은 위상수학⁠(topology)⁠에서 다룹니다. 칸토어 집합⁠(Cantor set)⁠처럼 길이가 0인 닫힌 집합도 셀 수 없으면 곧바로 $2^{\aleph_0}$입니다. 적어도 닫힌 집합 가운데에는 사이에 끼는 크기가 없습니다. 이처럼 정의가 단순한 집합들부터 차례로 연속체 가설이 성립하는지 따지는 일은 기술 집합론⁠(descriptive set theory)⁠의 출발점이 되었습니다.

1900년 힐베르트는 파리 국제수학자대회에서 제시한 23개 문제의 첫째로 이 질문을 꼽았습니다. $\aleph_0$ 바로 다음의 무한 크기를 $\aleph_1$이라 하면, 연속체 가설은 $2^{\aleph_0} = \aleph_1$이라는 한 줄로 적힙니다. 답은 뜻밖의 모양이었습니다.

오늘날 수학의 표준 공리 체계는 ZFC입니다. 체르멜로와 아브라함 프렝켈(독일 출신 이스라엘 수학자)의 공리(Z, F)에 선택공리(C)를 더한 것으로, 집합을 만드는 규칙을 모은 목록입니다. 괴델은 1940년에 책으로 낸 연구(1938년 발표)에서 ZFC에 연속체 가설을 더해도 모순이 생기지 않음을 보였습니다. 방법은 이렇습니다. ZFC의 공리를 모두 만족하는 집합들의 모음을 모형이라 하고, 여기서는 '세계'라 부르겠습니다. 괴델은 그런 세계 안에서, 앞서 만든 것들로 차례로 정의할 수 있는 집합만 모은 좁은 세계를 만들었습니다. 이 좁은 세계도 ZFC를 모두 만족하는데, 거기서는 연속체 가설이 참이었습니다. 1963년 미국의 폴 코언은 그 부정을 더해도 모순이 생기지 않음을 보였습니다. 둘 다 ZFC 자체에 모순이 없다는 전제 아래서입니다. 그러니 연속체 가설은 ZFC로 증명할 수도, 반증할 수도 없습니다(ZFC에 모순이 없다면).

코언이 쓴 방법은 강제법⁠(forcing)⁠으로, ZFC를 만족하는 세계에 새 집합을 조심스럽게 덧붙여 공리는 그대로 지키면서 다른 세계를 만드는 기술입니다. 이 방법으로는 $2^{\aleph_0}$가 $\aleph_1$보다 한 단계 큰 $\aleph_2$인 세계도 만들 수 있습니다.

공리로 증명도 반증도 할 수 없는 문장이 있다는 사실은 괴델의 불완전성 정리⁠(incompleteness theorem)⁠가 이미 예고한 일이었습니다. 연속체 가설은 그런 문장의 가장 유명한 구체적인 예입니다. 흔히 '증명도 반증도 할 수 없다'를 '참도 거짓도 아니다'로 읽지만, 두 말은 다릅니다. 앞의 말은 ZFC라는 규칙 목록이 이 물음을 가르기에 모자란다는 뜻일 뿐입니다. 그렇다면 연속체 가설은 정말 참도 거짓도 아닌가, 아니면 새 공리를 찾아 답해야 하는가를 두고는 지금도 의견이 갈립니다. 공리가 무엇을 보장하는지를 둘러싼 더 큰 논쟁은 수학 기초론 논쟁⁠(debate on the foundations of mathematics)⁠에서 이어집니다.

코언의 독립성 결과는 범주론(수학의 구조를 대상과 화살표로 다루는 틀)의 언어로도 다시 증명되었습니다. 1972년 마일스 티어니는 연속체 가설이 거짓인 수학의 세계를 층들로 지어 보였습니다. 층은 공간의 각 부분마다 집합을 하나씩 붙이되 겹치는 부분에서 서로 맞도록 붙여 둔 구조입니다. 이런 층들이 이루는 세계는 집합의 세계처럼 수학을 펼칠 수 있는 무대가 되는데, 이런 무대를 토포스⁠(topos)⁠라 합니다. 강제법으로 만든 모형도 이 틀로 읽을 수 있습니다.

이어지는 곳.

• 사다리의 칸마다 익숙한 집합이 들어 있습니다. 대수적 수⁠(algebraic number)⁠는 $\aleph_0$칸에, 무리수⁠(irrational number)⁠와 복소평면⁠(complex plane)⁠ 전체는 $2^{\aleph_0}$칸에 있습니다(평면도 직선과 크기가 같습니다).
• 실수에서 실수로 가는 연속함수는 유리수⁠(rational number)⁠에서의 값만으로 정해지므로 그 전체도 $2^{\aleph_0}$입니다. 실수에서 실수로 가는 함수⁠(function)⁠를 아무것이나 모두 모으면 그림의 사다리에서 한 칸 위인 $2^{2^{\aleph_0}}$로 올라갑니다. 다만 그림에서 두 칸이 이웃해 있다고 해서 그 사이에 다른 크기가 없다는 뜻은 아닙니다. $2^{\aleph_0}$과 $2^{2^{\aleph_0}}$ 사이에 다른 크기가 있는지도 같은 종류의 물음(일반 연속체 가설)이고, ZFC에 모순이 없다면 역시 ZFC로는 결정되지 않습니다.
• 크기와 길이는 다른 잣대입니다. 셀 수 있는 집합은 모두 길이로 재면 0, 다시 말해 측도 0⁠(measure zero)⁠이지만, 측도 0인 집합이 모두 셀 수 있는 것은 아닙니다. 위의 칸토어 집합이 길이 0이면서 셀 수 없는 예입니다.