토포스: 집합을 닮은 우주(Topos)

집합 X의 부분집합⁠(subset)⁠ S는 X의 각 원소⁠(element)⁠에 '들어 있다(참)' 또는 '들어 있지 않다(거짓)'를 붙이는 함수 $\chi_S: X\to\{\text{참}, \text{거짓}\}$와 정확히 하나씩 대응합니다. 그래서 원소가 n개인 집합의 부분집합은 $2^n$개입니다(멱집합⁠, power set⁠). 범주론⁠(category theory)⁠의 말로 하면, 두 원소 집합 Ω = {참, 거짓}은 '부분집합을 분류하는 대상'입니다. X에서 Ω로 가는 함수를 하나 고르는 것이 곧 X의 부분집합을 하나 고르는 것이기 때문입니다. 이제 집합이 시간에 따라 바뀌는 세계를 생각해 봅시다. 가장 작은 예로 '오늘'과 '내일' 두 시점만 있고, 오늘의 것은 저마다 내일의 어떤 것이 됩니다. 과제 다섯 개가 있고 S는 '제출된 과제'라고 합시다. 한 번 제출한 과제는 내일도 제출된 상태입니다. 그러면 오늘 본 과제 하나에 대해 '제출되었는가'의 답은 둘이 아니라 셋입니다. 이미 제출됨, 오늘은 아니지만 내일은 제출됨, 내일도 제출되지 않음.

볼 부분 대상: .

이 세계를 정확히 적어 봅시다. 대상은 두 집합 $X_0$(오늘), $X_1$(내일)과 함수 $x: X_0\to X_1$(오늘의 것이 내일 무엇이 되는지)의 묶음이고, 화살표는 두 시점의 함수 쌍으로서 '오늘 옮긴 뒤 내일로 가든, 내일로 간 뒤 옮기든 같은' 것입니다(자연 변환⁠(natural transformation)⁠의 사각형). 이 범주는 순서 {오늘 ≤ 내일}에서 집합의 범주로 가는 함자⁠(functor)⁠들의 범주입니다. 부분 대상은 $S_0\subseteq X_0$, $S_1\subseteq X_1$이면서 오늘 S에 든 것은 내일도 S에 드는 것입니다. 그러면 오늘의 원소 a에 붙는 진릿값은 셋 가운데 하나입니다. a가 $S_0$에 있으면 '참', 아니지만 내일의 모습이 $S_1$에 있으면 '내일 참', 그것도 아니면 '끝내 거짓'. 내일의 원소에는 '참'과 '거짓' 둘뿐입니다. 이렇게 진릿값 대상 Ω는 오늘 원소 셋, 내일 원소 둘을 가지고, 그 사이의 함수는 참 ↦ 참, 내일 참 ↦ 참, 끝내 거짓 ↦ 거짓입니다. 그리고 집합에서와 똑같이 X의 부분 대상은 X에서 Ω로 가는 화살표와 정확히 하나씩 대응합니다. 이런 Ω를 부분 대상 분류자(subobject classifier)라 합니다.

진릿값이 셋이면 논리가 달라집니다. 오늘의 진릿값을 끝내 거짓 = 0, 내일 참 = ½, 참 = 1로 적으면 '그리고'는 최솟값, '또는'은 최댓값이고, 부정 ¬a는 'a가 앞으로도 결코 참이 되지 않는다'입니다. 그래서 ¬1 = 0, ¬0 = 1이지만 ¬½ = 0입니다. '내일 참'인 것은 '결코 참이 되지 않는다'가 거짓이니까요. 그러면

$$\tfrac12\vee\lnot\tfrac12 = \tfrac12\vee 0 = \tfrac12\ne 1,\qquad \lnot\lnot\tfrac12 = \lnot 0 = 1\ne\tfrac12$$

입니다. 배중률 $a\vee\lnot a = 1$도, 이중 부정 제거 $\lnot\lnot a = a$도 성립하지 않습니다. 모순율⁠(law of contradiction)⁠ $\lnot(a\wedge\lnot a) = 1$은 여전히 성립합니다. 이 세 진릿값은 불 대수⁠(Boolean algebra)⁠가 아니라 헤이팅 대수⁠(Heyting algebra)⁠이고, 이것이 직관주의 논리의 진릿값입니다. 그림에서 'S ∨ ¬S'를 골라 보세요. '오늘 제출함'과 '앞으로도 제출하지 않음'을 합쳐도 '내일 제출할 과제'가 빠집니다. 오해하기 쉬운 점이 하나 있습니다. 처음 상태에서 과제 2는 오늘 제출되지 않았고 내일 제출되는 과제인데, 바깥에서 보면 오늘 제출되지 않은 것이 분명합니다. 이 세계가 모호한 것이 아니라, 이 세계 안에서 말할 수 있는 '아니다'가 시간이 지나도 유지되는 '앞으로도 아니다'뿐이라서, 그 부정과 원래 명제를 합쳐도 모든 경우를 덮지 못하는 것입니다.

토포스(topos)는 이런 구조를 갖춘 범주입니다. 1969–70년 로베어와 마일스 티어니가 내놓은 정의에 따르면, 유한 극한(곱과 동등자⁠(equalizer)⁠, 끝 대상⁠(terminal object)⁠)이 있고, 지수 대상⁠(exponential object)⁠이 있어 데카르트 닫힌 범주⁠(cartesian closed category)⁠이며, 부분 대상 분류자 Ω를 가진 범주가 (기본) 토포스입니다. 이것만으로 멱집합에 해당하는 대상 $\Omega^X$가 생기고, 유한 쌍대극한⁠(colimit)⁠도 따라 나온다는 것이 뒤에 밝혀졌습니다(로버트 파레, 1974). 집합의 범주, 유한 집합의 범주, 위의 '오늘과 내일'의 세계, 아무 작은 범주에서 집합의 범주로 가는 함자들의 범주(방향 그래프 전체의 범주도 여기에 듭니다), 그리고 위상 공간⁠(topological space)⁠ 위의 층 전체의 범주가 모두 토포스입니다. 실수⁠(real number)⁠ 직선 위의 층의 세계에서 전체에 걸친 진릿값은 열린 집합⁠(open set)⁠들이고, 그 논리는 데카르트 닫힌 범주 페이지에서 본 '열린 집합의 헤이팅 대수'입니다.

역사는 두 갈래입니다. 그로텐디크는 1960년대 초 대수기하학의 코호몰로지⁠(cohomology)⁠를 위해 '공간 위의 층들의 범주'를 공간 대신 연구하자고 제안했고, 1963–64년 세미나(SGA 4)에서 이런 범주를 토포스라 불렀습니다. 공간이 아닌 것 위에서도 층의 범주는 만들 수 있으니, 토포스는 공간 개념을 넓힌 것입니다. 로베어는 다른 쪽에서 왔습니다. 그는 1964년 집합론⁠(set theory)⁠을 원소와 ∈ 대신 함수와 합성의 공리⁠(axiom)⁠로 적은 ETCS(집합 범주의 기본 이론)를 발표했고, 그로텐디크의 토포스가 집합의 범주를 닮았다는 데 주목해 티어니와 함께 그 공통 구조를 공리로 뽑았습니다. 모든 그로텐디크 토포스는 기본 토포스⁠(elementary topos)⁠이지만 거꾸로는 아닙니다. 유한 집합의 범주는 기본 토포스이지만 무한한 합을 갖지 않아 그로텐디크 토포스가 아닙니다.

모든 토포스 안에서는 수학을 할 수 있습니다. 원소 대신 화살표로, 부분집합 대신 부분 대상으로, 참·거짓 대신 Ω의 화살표로 말하면 됩니다. 그 안에서 직관주의 논리의 법칙은 어느 토포스에서나 성립하지만, 배중률은 토포스에 따라 성립하기도 하고 깨지기도 합니다. 집합의 세계는 Ω가 '참'과 '거짓' 둘로 이루어진 불 토포스라서 고전 논리가 성립하는 특별한 경우입니다. 집합론의 공리 하나가 논리를 바꾸기도 합니다. 1975년 라두 디아코네스쿠는 토포스에서 선택공리⁠(axiom of choice)⁠가 성립하면 배중률도 성립한다는 것을 증명했습니다(공리). 그래서 선택공리는 순수하게 '집합에 관한' 공리가 아니라 논리를 고전적으로 만드는 공리이기도 합니다. 각 토포스는 서로 다른 수학의 우주이고, 한 토포스에서 참인 문장이 다른 토포스에서는 거짓일 수 있습니다.

그래서 토포스는 '가능한 수학 세계'를 비교하는 도구가 됩니다. 1963년 폴 코언은 강제법⁠(forcing)⁠으로 연속체 가설⁠(continuum hypothesis)⁠이 거짓인 집합론의 모형을 지어, 연속체 가설을 기존 공리로 증명할 수 없음을 보였습니다. 1972년 티어니는 연속체 가설이 거짓인 토포스를 층으로 지어 같은 결과를 다시 증명했습니다. 1982년 마틴 하일랜드가 지은 유효 토포스(effective topos) 안에서는 '자연수⁠(natural number)⁠에서 자연수로 가는 모든 함수는 계산 가능하다'가 참인 문장입니다(처치–튜링 논제⁠(Church–Turing thesis)⁠). 로베어가 1967년 강의에서 제안하고 앤더스 코크가 1981년 책으로 정리한 합성 미분 기하⁠(synthetic differential geometry)⁠에서는 제곱하면 0인 '무한소⁠(infinitesimal)⁠' d들의 대상이 원소 0 하나만의 대상이 아니어서, $f(x + d) = f(x) + f'(x)\,d$가 근사가 아니라 등식으로 성립합니다(미분⁠(differentiation)⁠, 국소 선형성⁠(local linearity)⁠). 이런 무한소는 배중률과 함께 있을 수 없습니다. 'd = 0이거나 d ≠ 0'을 쓰면 모순이 나오기 때문입니다.

토포스 안에서 '국소적으로 참이다'를 뜻하는 연산을 따로 둘 수도 있습니다. 화살표 $j: \Omega\to\Omega$가 참을 참으로 보내고, 두 번 적용해도 한 번과 같고($jj = j$), '그리고'를 지키면 로베어–티어니 위상(Lawvere–Tierney topology)이라 합니다. 그로텐디크가 넓힌 '덮개⁠(cover)⁠'를 토포스 안의 연산 하나로 적은 것이고, 이 연산에 대한 붙이기 조건으로 '층'을 정의할 수 있습니다. 이중 부정 ¬¬가 그 예입니다. 위의 세계에서 ¬¬는 '내일 참'을 '참'으로 올리고, ¬¬에 대해 붙이기 조건을 만족하는 대상만 모으면 '내일'만 보는 세계, 곧 고전 논리가 성립하는 보통의 집합의 세계가 남습니다. 그림에서 ¬¬S가 S보다 커지는 것이 이 연산이 하는 일입니다. 강제법으로 지은 집합론의 모형도 이렇게 ¬¬로 거른 층의 토포스로 읽을 수 있습니다.

이어지는 곳. 부분집합과 참·거짓 함수의 대응은 멱집합과 집합에서 출발하고, 진릿값이 늘어난 논리는 직관주의 논리의 헤이팅 대수이며, 진릿값이 둘인 특별한 경우가 불 대수입니다. 토포스가 되기 위한 지수 대상은 데카르트 닫힌 범주에서, 공간 위의 대표적인 토포스는 층에서 볼 수 있습니다. 로베어가 집합론을 화살표로 다시 쓴 일은 로베어와 수학의 기초⁠(basics)⁠에서, 공간 개념을 넓힌 일은 그로텐디크에서 이어집니다. 선택공리와 배중률의 관계는 공리로, 연속체 가설의 독립성은 연속체 가설로 이어지고, 토포스의 내부 언어가 고차 직관주의⁠(intuitionism)⁠ 타입 이론⁠(type theory)⁠이라는 점에서 타입 이론과 호모토피 타입 이론⁠(homotopy type theory)⁠이 같은 이야기를 다른 쪽에서 합니다.