기술 집합론(Descriptive set theory)

칸토어의 집합론에 따르면 실수의 부분집합⁠(subset)⁠은 멱집합⁠(power set)⁠의 크기만큼, 곧 실수보다도 많습니다. 그런데 유한한 글자로 적을 수 있는 규칙은 셀 수 있을 만큼뿐이니, 그 대부분은 어떤 규칙으로도 적어 보일 수 없는 이름 없는 집합입니다. 19세기 말과 20세기 초 프랑스의 에밀 보렐, 르네 베르, 앙리 르베그는 반대쪽에서 물었습니다. 우리가 실제로 '이런 점들의 모임'이라고 적어 낼 수 있는 집합은 어떤 것들이고, 그런 집합에서는 길이(측도)나 크기에 관한 물음에 답할 수 있는가? 이 물음을 다루는 분야가 기술 집합론입니다. '기술(記述)'은 적어서 나타낸다는 뜻입니다.

열린 집합⁠(open set)⁠과 닫힌 집합⁠(closed set)⁠. 출발점은 구간입니다. 실수의 집합 U가 열린 집합이라는 것은, U의 어느 점에서나 양옆으로 조금은 움직여도 U 안에 머문다는 뜻입니다. 정확히는 U의 각 점 x마다 어떤 r > 0이 있어서 구간 (x − r, x + r)가 통째로 U에 들어 있습니다. (0, 1)은 열린 집합입니다. 0.999에서도 0.0005만큼은 움직일 수 있습니다. [0, 1]은 아닙니다. 끝점 1에서는 오른쪽으로 조금만 가도 밖입니다. 여집합이 열린 집합인 집합을 닫힌 집합이라 하는데, 이것은 '집합의 점들이 어느 한 곳으로 모여들면 그 모이는 곳도 집합 안에 있다'는 것과 같습니다. [0, 1]과 칸토어 집합⁠(Cantor set)⁠이 닫힌 집합입니다. 유리수⁠(rational number)⁠ 전체는 둘 다 아닙니다. 모든 열린 집합은 셀 수 있는 개수의 열린 구간의 합집합이라서, 열린 집합과 닫힌 집합은 구간들의 목록 하나로 적어 낼 수 있습니다.

보렐 집합⁠(Borel set)⁠: 셀 수 있는 번의 조작. 1898년 보렐은 열린 구간에서 출발해 여집합을 취하고 셀 수 있는 개수의 집합을 합치는 일을 되풀이해 얻는 집합들을 생각했습니다. 오늘날 보렐 집합이라 부르는 것들입니다. 층으로 세면 이렇습니다. 열린 집합(Σ⁰₁)과 닫힌 집합(Π⁰₁)이 맨 아래 층입니다. 닫힌 집합을 셀 수 있는 개수만큼 합친 것이 Fσ(Σ⁰₂), 열린 집합을 셀 수 있는 개수만큼 겹친(교집합⁠, intersection⁠) 것이 Gδ(Π⁰₂)입니다. 유리수 전체는 한 점짜리 닫힌 집합들을 셀 수 있는 번 합친 것이니 Fσ이고, 무리수⁠(irrational number)⁠ 전체는 '$q_1$이 아니고, $q_2$가 아니고, …'인 점들, 곧 열린 집합 $\mathbb{R} \setminus \{q_n\}$들의 교집합이니 Gδ입니다. 한 층 올라갈 때마다 정말로 새 집합이 생긴다는 것은 1905년 르베그가 증명했고, 층은 유한 번에서 끝나지 않고 셀 수 있는 모든 단계(서수⁠, ordinal⁠)를 거쳐 이어집니다. 예를 골라 층에서 자리를 찾아보세요:

집합을 적어 내는 조작과 논리의 말은 짝을 이룹니다. '모든 k에 대해'는 교집합, '어떤 N이 있어서'는 합집합, '아니다'는 여집합입니다. 그래서 정의에 나오는 '모든'과 '어떤'이 몇 겹인지를 세면 집합이 몇 층에 있는지 가늠할 수 있습니다. 연속함수열이 수렴⁠(convergence)⁠하는 점들의 집합이 Π⁰₃에 있다는 것이 그 예입니다(점별 수렴과 균등 수렴⁠(pointwise and uniform convergence)⁠). 보렐 집합은 모두 르베그 측도⁠(Lebesgue measure)⁠를 가지고, 1916년 루진 세미나의 학생 파벨 알렉산드로프와 독일의 펠릭스 하우스도르프는 각각 셀 수 없는 보렐 집합에는 칸토어 집합을 닮은 부분(완전 집합⁠, perfect set⁠)이 들어 있어 크기가 반드시 실수 전체와 같다는 것을 보였습니다. 보렐 집합에 한해서는 연속체 가설⁠(continuum hypothesis)⁠이 참인 것입니다.

그림자 하나가 만든 분야. 평면의 집합 B가 있을 때, 위에서 빛을 비춰 가로축에 드리우는 그림자를 B의 사영이라 합니다. 점 x가 그림자 안에 있다는 것은 '(x, y)가 B에 들어가는 y가 어떤 것이 있다'는 뜻입니다. 그림자를 드리우는 일은 곧 논리의 '어떤 y가 존재한다'입니다. 집합 에서 세로선 $x =$ 을 움직여 보세요.

세 집합 모두 평면의 닫힌 집합입니다. 그런데 쌍곡선⁠(hyperbola)⁠의 그림자 $\{x : x \ne 0\}$은 닫힌 집합이 아닙니다. 0에 한없이 가까운 x들은 그림자 안에 있는데 0은 빠져 있습니다. 가지가 위아래로 한없이 달아나면서 0 위에는 끝내 닿지 않기 때문입니다. 그림자를 드리우면 집합이 한 층 복잡해질 수 있다는 뜻입니다. 닫힌 집합의 그림자는 그래도 Fσ에 머물지만(평면을 유계인 조각으로 나누면 조각마다 그림자가 닫힌 집합입니다), 보렐 집합 일반의 그림자는 어떨까요?

르베그는 1905년 논문에서 보렐 집합의 그림자는 늘 보렐 집합이라고 적었습니다. 1916년 무렵 모스크바에서 니콜라이 루진의 세미나에 있던 학생 미하일 수슬린이 이 논문을 읽다가 증명의 잘못을 찾아냈습니다. 르베그는 점점 줄어드는 집합들을 셀 수 있는 번 겹칠 때 겹친 것의 그림자가 그림자들을 겹친 것과 같다고 여겼는데, 그렇지 않습니다. 세로 반직선 $B_n = \{(0, y) : y \ge n\}$은 n이 커질수록 줄어들고 모두에 공통으로 든 점이 없어서 교집합의 그림자는 비어 있지만, 그림자는 하나하나가 모두 {0}이라 그림자들의 교집합은 {0}입니다. 수슬린은 보렐 집합의 그림자들을 새로운 부류로 보고 해석적 집합(Σ¹₁)이라 불렀으며, 1917년 보렐 집합이 아닌 해석적 집합⁠(analytic set)⁠이 있다는 것과 함께 결정적인 정리를 발표했습니다. 수슬린 정리: 어떤 집합이 보렐 집합인 것은 그 집합과 여집합이 모두 해석적 집합인 것과 같습니다. 루진은 같은 호의 『콩트 랑뒤』에 해석적 집합의 성질을 함께 실었고, 뒤에 연분수⁠(continued fraction)⁠ 전개의 항들 가운데 각 항이 다음 항을 나누는 무한 부분열을 고를 수 있는 무리수들의 집합이라는, 해석적이지만 보렐이 아닌 구체적인 예를 들었습니다(연분수). 수슬린은 내전 중이던 1919년 발진티푸스로 스물넷에 세상을 떠났습니다.

해석적 집합도 여전히 순하게 행동합니다. 루진과 수슬린은 해석적 집합이 모두 르베그 측도를 가지고, 셀 수 없으면 크기가 실수 전체와 같다는 것을 보였습니다. 틀린 증명 하나가 새 분야를 연 셈입니다. 르베그는 1930년에 나온 루진의 책 『해석적 집합 강의』에 서문을 써서, 이 이론의 출발점이 자신의 잘못이었다고 스스로 밝혔습니다.

사영 집합⁠(projective set)⁠과 답할 수 없는 물음. 1925년 루진과 폴란드의 바츠와프 시에르핀스키는 여집합과 그림자를 번갈아 취해 사다리를 계속 올라갔습니다. 해석적 집합의 여집합(여해석적, Π¹₁), 그것의 그림자(Σ¹₂), 또 그것의 여집합(Π¹₂), …. 이것들을 모두 사영 집합이라 합니다. '어떤 실수 y가 있어서, 모든 실수 z에 대해, …'처럼 실수를 두고 '어떤'과 '모든'을 번갈아 붙인 식으로 정의되는 집합이 바로 이것들입니다. 그런데 한 층만 올라가도 물음에 답이 나오지 않았습니다. 셀 수 없는 Π¹₁ 집합은 크기가 실수 전체와 같은가? Σ¹₂ 집합은 모두 측도를 가지는가? 루진은 1925년 이런 물음에 대해 '우리는 모르며, 앞으로도 모를 것'이라는 뜻의 말을 남겼습니다.

그 예언은 뜻밖의 방식으로 맞았습니다. 1938년 괴델은 집합론⁠(set theory)⁠의 공리(ZFC)와 모순 없이 측도를 갖지 않는 Σ¹₂ 집합이 있을 수 있음을 보였고, 1970년 미국의 로버트 솔로베이는 (도달 불가능한 기수⁠(cardinal number)⁠라는 큰 무한이 있다고 가정하면) 사영 집합이 모두 측도를 가지는 것도 공리와 모순이 없음을 보였습니다. 이 물음들은 (ZFC에 모순이 없다면) ZFC만으로는 증명도 반증도 할 수 없는 것이었습니다. 괴델의 불완전성 정리⁠(Gödel's incompleteness theorems)⁠처럼 공리 체계의 한계를 보여 주지만, 이 경우는 공리를 모두 만족하는 모형을 직접 지어 보이는 방법으로 얻었습니다(수학 기초론 논쟁⁠, debate on the foundations of mathematics⁠). 1980년대 말 도널드 마틴, 존 스틸, 휴 우딘 등은 아주 큰 무한(큰 기수⁠, large cardinal⁠)이 있다고 가정하면 모든 사영 집합이 측도를 가진다는 것을 증명했습니다. 오늘날 기술 집합론은 이런 큰 무한의 가정들을 서로 견주는 잣대이면서, 동역학계⁠(dynamical system)⁠와 해석학⁠(mathematical analysis)⁠에서 '이 분류 문제는 얼마나 어려운가'를 재는 도구로도 쓰입니다.

이어지는 곳. 이 분야의 뿌리는 삼각급수⁠(trigonometric series)⁠와 푸리에 급수⁠(Fourier series)⁠가 어디서 수렴하는가라는 물음이었고, 칸토어가 무한 집합을 연구하기 시작한 것도 삼각급수가 함수⁠(function)⁠를 하나로 정하는지를 묻다가였습니다(가산 집합⁠(countable set)⁠, 대각선 논법⁠(diagonal argument)⁠). 측도에 대해서는 르베그 적분과 측도⁠(Lebesgue integral and measure)⁠와 측도 0⁠(measure zero)⁠을, 그 무대였던 세미나에 대해서는 모스크바 수학 학파와 드미트리 예고로프를 보세요. 열린 집합의 개념을 실수 너머로 넓힌 것이 위상수학⁠(topology)⁠입니다. 논리의 '어떤'과 '모든'이 집합의 층이 되는 모습은 튜링 기계⁠(Turing machine)⁠와 정지 문제⁠(halting problem)⁠에서 계산 가능성⁠(computability)⁠의 층을 세는 방식과도 닮았으며, 둘 다 자기 참조⁠(self-reference)⁠와 대각선과 무한을 다루는 법으로 이어집니다.