틀린 증명이 만든 수학

1889년 스톡홀름에서, 이미 인쇄를 마친 수상 논문이 회수되었습니다. 편집자의 질문을 따라가던 저자가 더 깊은 오류를 스스로 찾아냈기 때문입니다. 그런데 고쳐 쓴 논문은 혼돈⁠(chaos)⁠이라는 새 세계를 처음 보여 주었습니다. 틀린 증명은 흔합니다. 드물게, "정확히 어디가 틀렸는가"라는 물음이 수학의 한 분야를 낳습니다.

이 글의 처럼 점선이 그어진 숫자는 좌우로 끌 수 있고(키보드 ←/→도 됩니다), 색이 칠해진 같은 말은 눌러서 바꿀 수 있습니다. 밑줄 친 말에 마우스를 올리면 그림에서 그 부분이 빛납니다. 그림 속의 점과 칸은 대부분 누르거나 끌 수 있습니다. 휴대폰에서는 마우스를 올리는 대신 누르면 됩니다.

1889년 11월 말, 파리의 앙리 푸앵카레가 스톡홀름의 수학자 예스타 미타그레플레르에게 급히 전보를 쳤습니다. 그해 1월 스웨덴 왕 오스카르 2세의 이름으로 주는 수학상을 받은 자신의 논문에 중대한 오류가 있다는 소식이었습니다. 미타그레플레르가 펴내던 학술지 『악타 마테마티카』는 그 논문을 실은 호를 이미 찍어 일부를 보낸 뒤였습니다. 그는 나간 부수를 조용히 거두어들였고, 인쇄본은 폐기되었습니다. 미타그레플레르 연구소에 남은 한 부에는 "판 전체를 폐기함"이라는 그의 메모가 적혀 있다고 합니다. 푸앵카레는 첫 인쇄 비용으로 3,500크로나 남짓을 물었습니다. 받은 상금 2,500크로나보다 많은 액수였습니다.

푸앵카레는 논문을 고쳐 썼습니다. 1890년에 나온 새 논문은 처음 판과 정반대의 결론에 이르렀고, 그 과정에서 오늘날 혼돈이라 부르는 현상을 처음 들여다보았습니다. 상금보다 비싼 오류가 상을 받은 결과보다 더 오래 남은 셈입니다.

틀린 증명은 드물지 않습니다. 대부분은 조용히 고쳐지거나 잊힙니다. 하지만 몇몇은 달랐습니다. 누군가 "정확히 어느 문장이, 왜 틀렸는가"를 끝까지 물었고, 그 답이 새 개념이 되었습니다. 이 글은 그런 오류 일곱 가지를 따라갑니다. 해석학⁠(mathematical analysis)⁠, 정수론⁠(number theory)⁠, 그래프 이론⁠(graph theory)⁠, 동역학계⁠(dynamical system)⁠, 논리학, 기하학, 그리고 수학의 기초⁠(basics)⁠에서 하나씩입니다. 분야도 시대도 다르지만 같은 모양이 되풀이됩니다. 틀린 증명은 대개 서로 다른 두 가지를 하나로 여긴 자리에서 틀립니다. 오류를 고친 사람은 그 둘을 갈라 각각에 이름을 붙였고, 그 이름이 새 이론이 되었습니다. 절마다 틀린 논증의 반례를 손으로 직접 만들어 보며 그 두 가지가 어디서 갈라지는지 확인합니다.

1 · 1821년 파리연속함수를 무한히 더하면

이 절의 물음은 이것입니다. 끊긴 데 없는 함수⁠(function)⁠를 끝없이 많이 더하면, 그 결과도 끊긴 데가 없을까? 당연해 보이는 이 물음에, 해석학을 엄밀하게 세운 바로 그 교과서가 틀린 답을 실었습니다.

낱말 셋을 먼저 정해 둡니다. 함수가 연속이라는 것은 대략 그래프를 연필을 떼지 않고 그릴 수 있다는 뜻이고, 정확히는 x를 조금만 움직이면 함숫값도 조금만 변한다는 뜻입니다. 급수⁠(series)⁠는 끝없이 많은 항을 차례로 더한 것입니다. 앞의 n개까지 더한 것을 부분합⁠(partial sum)⁠이라 하고, n을 키울수록 부분합이 한 값에 한없이 다가가면 급수가 그 값으로 수렴한다고 합니다. 예를 들어 1/2 + 1/4 + 1/8 + ⋯의 부분합 0.5, 0.75, 0.875, …는 1에 다가가니 이 급수는 1로 수렴⁠(convergence)⁠합니다.

1821년 오귀스탱루이 코시는 에콜 폴리테크니크의 강의를 위해 『해석학 강의』를 펴냈습니다. 혁명기 프랑스가 1794년 공병과 기술 관료를 기르려고 세운 이 학교에서, 미적분⁠(calculus)⁠은 장차 다리와 요새와 기계를 다룰 학생들이 모두 거쳐야 하는 과목이었습니다. 18세기 수학자들은 무한 급수를 거리낌 없이 다루며 대수에서 통하는 규칙은 무한에서도 통하리라 믿었습니다. 코시는 그 믿음 대신 극한⁠(limit)⁠과 연속을 정확히 정의하고, 거기서 모든 것을 증명하려 했습니다. 이 책이 오늘날 해석학 교과서의 출발점으로 꼽히는 까닭입니다.

그 책의 6장에 이런 정리가 있습니다. 연속함수들을 더한 급수가 어떤 구간의 모든 점에서 수렴하면, 그 합도 그 구간에서 연속이다. 함수 하나하나가 x마다 값을 주니, 급수도 x마다 하나의 수를 더한 것이 되고, 그 합은 다시 x의 함수가 됩니다. 정리는 그 합의 그래프도 끊기지 않는다고 말합니다.

증명은 짧습니다. 급수의 합 $s(x)$를 앞의 n항까지의 합 $s_n(x)$와 나머지 $r_n(x)$로 나눕니다. 연속함수를 유한 번 더한 $s_n$은 연속입니다. 급수가 수렴하니 n을 크게 잡으면 나머지 $r_n$은 얼마든지 작아집니다. 그러면 x를 조금 움직일 때 $s_n$의 변화도 작고 $r_n$도 작으니, 합 $s$의 변화도 작습니다. 흠잡을 데 없어 보입니다.

5년 뒤인 1826년, 노르웨이의 젊은 수학자 닐스 헨리크 아벨은 베를린에서 막 창간된 크렐레의 학술지 첫 권에 논문을 실었습니다. 이항 급수⁠(binomial series)⁠를 다룬 논문입니다. 이항 급수란 (1 + x)를 아무 지수로 거듭제곱한 것을 무한 급수로 펼친 식입니다. 그 논문의 각주에 아벨은 이렇게 적었습니다. "그러나 내가 보기에 이 정리에는 예외가 있는 것 같다." 그가 든 예는 이 급수였습니다.

sin x('사인⁠(sine)⁠ x')는 반지름 1인 원 위에서 각 x만큼 돈 점의 높이로, x가 늘면 −1과 1 사이를 물결치듯 오르내리는 연속함수입니다(x는 라디안⁠(radian)⁠으로 재니, π가 180°입니다). k번째 항은 $\sin kx$를 k로 나눈 것이고, 부호가 번갈아 바뀝니다. 항은 모두 연속함수이고, 급수는 모든 x에서 수렴합니다.

그런데 합은 $-\pi \lt x \lt \pi$에서 $x/2$입니다. 한 점에서 확인해 볼 수 있습니다. x = π/2를 넣으면 급수는 1 − 1/3 + 1/5 − ⋯가 되고, 이 값이 π/4라는 것은 오래전부터 알려져 있었고, π/4는 바로 (π/2)/2입니다. 한편 $x = \pi$에서는 모든 항이 $\sin k\pi = 0$이라 0입니다. x가 왼쪽에서 π로 다가가면 합은 $\pi/2$로 다가가는데, π에서의 값은 0입니다. 합은 π에서 끊깁니다. 연속함수만 더했는데 합에 끊긴 자리가 생긴 것입니다.

이 급수는 푸리에가 열의 방정식을 풀며 퍼뜨린 삼각급수⁠(trigonometric series)⁠, 곧 톱니 모양 함수의 푸리에 급수⁠(Fourier series)⁠입니다. 푸리에 급수가 불연속 함수도 나타낼 수 있다는 것은 이미 알려져 있었으니, 반례는 사실 눈앞에 있었던 셈입니다.

아벨의 반례를 아래 그림에서 확인해 봅시다. 청록 선이 극한(톱니)이고, 파란 선이 앞의 $n =$ 항까지 더한 부분합 $S_n$입니다. 극한의 위아래로 폭 $\varepsilon =$ 인 띠를 둘렀고, 부분합이 띠 밖으로 나간 곳은 빨갛게 칠해집니다. ε('엡실론')은 허용할 오차의 크기입니다. 부분합이 띠 안에 있으면 극한과의 차이가 ε보다 작다는 뜻입니다. 축 위의 노란 점 x₀는 끌 수 있습니다.

할 일은 두 가지입니다. n을 키우면서 빨간 조각이 사라지는지 보세요. 그리고 노란 점을 π 쪽으로 끌면서, 아래 그림의 N(x), 곧 그 점에서 오차가 ε 아래로 들어오는 번호가 어떻게 변하는지 보세요.

n을 400까지 올려도 빨간 조각은 π 바로 옆에 남습니다. 까닭은 간단합니다. 부분합 $S_n$은 유한 개의 연속함수를 더한 것이라 연속이고, $S_n(\pi) = 0$입니다. 그러니 π의 왼쪽에서 극한이 $\pi/2$ 가까이 올라가 있는 동안, $S_n$은 어디선가 0까지 내려와야 합니다. 그 내리막은 n이 클수록 π에 바짝 붙지만 폭이 0이 되지는 않습니다. 실제로 n이 얼마이든 x가 π에 충분히 가까우면 오차 $|S_n(x) - x/2|$(부분합과 극한의 차이의 크기)는 $\pi/2$에 한없이 가까워집니다.

게다가 n이 어느 정도 커지면 부분합은 π 바로 앞에서 극한이 다가가는 값 π/2보다도 높이 솟습니다. 이 솟음은 n을 늘려도 줄지 않고 약 0.28로 다가갑니다. 이 값을 끊긴 높이와 견주어 봅시다. π의 오른쪽에서는 합이 −π/2에서 다시 시작하므로(톱니가 2π마다 되풀이됩니다), 톱니가 π에서 끊긴 높이는 π/2 − (−π/2) = π입니다. 0.28은 그 π ≈ 3.14의 약 9%입니다. n이 수백이면 봉우리가 아주 좁아져 그림이 찍는 점들 사이에 끼므로, 위의 값은 실제보다 조금 낮게 나올 수 있습니다. 이것이 깁스 현상⁠(Gibbs phenomenon)⁠입니다.

그렇다면 코시의 증명은 어디서 틀렸을까요? "n을 크게 잡으면 나머지가 작아진다"는 문장입니다. 이 문장은 두 가지로 읽힙니다.

• 점마다: 점 x와 허용 오차 ε을 먼저 정하면, 그 x에서 통하는 번호 N이 있다.
• 한꺼번에: ε을 정하면, 모든 x에서 동시에 통하는 번호 N 하나가 있다.

급수가 모든 점에서 수렴한다는 가정이 주는 것은 첫째뿐입니다. 그런데 코시의 논증은 점 a에서 고른 n이 그 옆의 x에서도 통한다고 썼으니, 그 논증에는 둘째가 필요합니다. 아래 그림이 그 차이를 보여 줍니다. N(x)는 어느 점에서나 유한하지만, π에 다가가면 끝없이 커집니다. 모든 점을 한 번에 덮는 N은 없습니다. 기호로 쓰면 차이는 양화사⁠(quantifier)⁠의 순서 하나입니다.

기호를 읽어 봅시다. ∀는 '모든', ∃는 '어떤 …가 있다'로 읽습니다. 이처럼 '모든'이나 '어떤 …가 있다'처럼 얼마나 많은 것에 대해 말하는지 정하는 말을 양화사라 합니다. 왼쪽은 "모든 ε과 모든 x에 대해, 어떤 N이 있어서 n ≥ N이면 나머지가 ε보다 작다"이고, 오른쪽은 "모든 ε에 대해, 어떤 N이 있어서 모든 x에서 n ≥ N이면 나머지가 ε보다 작다"입니다. 왼쪽에서는 N을 x마다 따로 골라도 되고, 오른쪽에서는 N 하나가 모든 x를 한꺼번에 책임져야 합니다. 흔히 두 문장이 같은 말이라고 생각하지만, '어떤 N이 있다'와 '모든 x에 대해'의 자리를 바꾸면 전혀 다른 주장이 됩니다. 두 번째 주장을 오늘날 균등 수렴⁠(uniform convergence)⁠이라고 부릅니다. 아벨의 급수는 첫째를 만족하지만 π 근처에서 둘째를 만족하지 못합니다.

정리하면, 코시의 증명은 '점마다 수렴'만 주어진 자리에서 '한꺼번에 수렴'을 썼습니다. 둘째를 가정하면 코시의 정리는 옳습니다.

둘째가 없어도 합이 우연히 연속일 수는 있습니다. 둘째는 연속을 보장하는 조건이지, 연속이기 위해 꼭 있어야 하는 조건은 아닙니다. 하지만 코시의 짧은 증명을 살리려면 둘째가 있어야 합니다.

균등 수렴을 가정하면 코시의 정리가 제자리를 찾습니다. 연속함수들의 급수가 어떤 구간에서 균등 수렴하면, 그 구간에서 합은 연속입니다. 아벨의 급수도 끊긴 자리 π를 피하면 이 정리에 들어맞습니다. 예를 들어 0 ≤ x ≤ 3인 구간에는 π(약 3.14)가 들어 있지 않고, 이 구간에서 아벨의 급수는 균등 수렴합니다. 위의 N(x) 그림에서 곡선이 끝없이 치솟는 곳이 π 바로 옆뿐인 것이 그 모습입니다. 그래서 이 구간에서 합 x/2는 끊긴 데가 없습니다. 균등 수렴은 이 밖에도 적분⁠(integral)⁠과 극한의 순서를 바꾸는 일처럼, 해석학에서 무한을 다루는 여러 계산을 정당화하는 도구가 되었습니다.

더 멀리 보면, 균등 수렴에서 '함수 사이의 거리'라는 생각이 나왔습니다. 두 함수의 그래프를 겹쳐 놓고 세로 간격이 가장 넓은 곳을 재어, 그 폭을 두 함수 사이의 거리로 삼는 것입니다. 예를 들어 0 ≤ x ≤ 1에서 f(x) = x와 g(x) = x²의 세로 간격은 x − x²이고, 이 값은 x = 1/2에서 가장 커서 1/2 − 1/4 = 1/4입니다. 그러니 이 구간에서 두 함수 사이의 거리는 1/4입니다. 간격이 가장 넓은 곳이 없는 경우도 있는데, 그때는 모든 간격 이상인 수 가운데 가장 작은 수를 거리로 씁니다. 균등 수렴은 함수들이 극한 함수에 이 거리로 재어 한없이 가까워진다는 뜻입니다. 함수 하나하나를 공간의 '점'처럼 다루는 20세기의 함수해석학이 이 생각 위에 섰습니다.

이 이름을 얻기까지는 시간이 걸렸습니다. 1847년 뮌헨의 필리프 루트비히 폰 자이델과 케임브리지의 조지 스토크스가 따로따로, 코시의 증명이 말없이 기대던 가정을 짚어 냈습니다. 자이델은 합이 불연속인 점 근처에서는 급수가 '얼마든지 느리게' 수렴해야 한다는 것을 보였습니다. 코시 자신도 1853년에 정리를 고쳐, 오늘날의 균등 수렴에 해당하는 조건을 덧붙였습니다. 베를린의 카를 바이어슈트라스는 1841년 무렵의 원고에서 이미 이 개념을 쓰고 있었고, 강의에서 이 개념을 해석학의 기본 도구로 세웠습니다. 그 원고를 쓸 때 그는 베를린의 교수가 아니라 뮌스터에서 교사 수습을 하던 청년이었습니다. 실마리는 뮌스터에서 그를 가르친 크리스토프 구더만이 1838년 타원함수⁠(elliptic function)⁠ 논문에서 스치듯 쓴 '같은 정도로 수렴한다'는 말이었습니다. 바이어슈트라스는 그 뒤 15년 가까이 프로이센 시골 김나지움의 교사로 일하다 1856년에야 베를린으로 갔고, 1841년의 원고는 1894년에야 인쇄되었습니다. 이 무렵 해석학의 새 개념은 학술지보다 강의실과 강의 노트를 타고 퍼졌습니다. 양화사의 순서를 두 사람이 번갈아 수를 고르는 게임으로 읽는 법은 「이기는 쪽이 존재한다」 2절에 있습니다.

아벨이 베를린에 있었던 것은 1825년부터 노르웨이 정부의 장학금으로 유럽을 여행하던 중이었기 때문입니다. 베를린에서 그는 토목 기사이자 수학 애호가인 아우구스트 레오폴트 크렐레를 만났습니다. 그리고 크렐레가 1826년 창간한 『순수 및 응용 수학 저널』(흔히 '크렐레의 저널')의 첫 권들에 5차방정식의 근의 공식⁠(quadratic formula)⁠이 없다는 증명(「불가능의 증명」 4절)과 이 이항 급수 논문을 실었습니다. 1826년 1월 고향의 스승 홈보에게 보낸 편지에서 아벨은 당시의 급수 다루기를 두고, 발산 급수⁠(divergent series)⁠는 악마의 발명품이며 그것에 증명을 기대는 것은 수치라고 썼습니다. 그해 가을 파리에서 아벨은 더 큰 논문을 과학 아카데미에 냈고, 심사는 코시와 르장드르가 맡았습니다. 그 원고는 코시의 서류 속에 묻혀 있었습니다. 아벨이 1829년 스물여섯에 결핵으로 죽은 뒤 노르웨이 정부의 공식 요청으로 다시 찾아졌고, 1841년에야 인쇄되었습니다. 크렐레가 베를린 대학의 자리를 얻어 주었다는 편지는 아벨이 죽고 이틀 뒤에 도착했습니다.

이 이야기에는 반론도 있습니다. 코시의 '변수'가 무한히 작은 양까지 포함한다고 읽으면, 그의 가정이 균등 수렴과 맞먹는 조건이 되어 정리가 맞는다는 해석입니다. 1960년대에 무한소⁠(infinitesimal)⁠를 엄밀하게 되살린 에이브러햄 로빈슨과, 뒤에 나올 철학자 임레 라카토슈가 이런 읽기를 내놓았습니다. 어느 쪽이든 핵심은 같습니다. '수렴한다'는 한 낱말 속에 서로 다른 두 요구가 숨어 있었고, 그 둘을 가르는 순간 해석학이 한 걸음 나아갔습니다.

2 · 1847년 파리라메의 발표와 리우빌의 질문

이 절의 물음은 이것입니다. 정수⁠(integer)⁠에서 늘 통하던 추론 하나가 조금 넓힌 수의 세계에서는 왜 무너질까? 무너진 자리를 정확히 짚으면, '소수⁠(prime number)⁠'라는 한 낱말에 두 가지 뜻이 겹쳐 있었다는 것이 드러납니다.

1847년 3월 1일, 파리 과학 아카데미의 정기 모임에서 기하학자 가브리엘 라메가 페르마의 마지막 정리⁠(Fermat's Last Theorem)⁠를 증명했다고 발표했습니다. 페르마가 17세기에 책의 여백에 적었다고 전하는 이 주장은 이렇습니다. n이 3 이상이면 $x^n + y^n = z^n$을 만족하는 양의 정수 x, y, z는 없다. n = 2이면 3² + 4² = 5²처럼 해가 많으니, 3 이상이라는 조건이 핵심입니다. 그때까지는 n = 3(오일러), 4(페르마), 5(디리클레와 르장드르, 1825), 7(라메 자신, 1839) 같은 몇몇 지수만 증명되어 있었습니다. n = 4와 n이 홀수인 소수 p인 경우만 증명하면 충분하다는 것도 알려져 있었습니다. 다른 지수는 이 가운데 하나의 배수⁠(multiple)⁠이기 때문입니다. 예를 들어 $x^6 + y^6 = z^6$의 해가 있다면 $(x^2)^3 + (y^2)^3 = (z^2)^3$이니 n = 3의 해가 되어 버립니다. 그래서 n = 3에 해가 없으면 n = 6에도 없습니다.

라메의 착상은 좌변을 곱으로 쪼개는 것이었습니다. $x^2 - y^2 = (x + y)(x - y)$처럼 합이나 차를 곱으로 바꾸면, 곱에 대해 아는 것(소인수분해⁠, prime factorization⁠)을 쓸 수 있습니다. 그런데 $x^p + y^p$를 끝까지 쪼개려면 정수만으로는 모자랍니다. 복소수⁠(complex number)⁠가 필요합니다.

$\zeta$('제타')를 p제곱해서 처음으로 1이 되는 복소수, 곧 1의 원시 p제곱근이라 합시다(1의 거듭제곱근⁠, roots of unity⁠). 복소평면⁠(complex plane)⁠에서 ζ는 반지름 1인 원 위에서 한 바퀴의 p분의 1만큼 돈 자리에 있는 점이고, ζ를 거듭 곱하면 원을 p등분한 눈금을 차례로 밟아 p번 만에 1로 돌아옵니다. p가 홀수인 소수이면 다음이 성립합니다.

p = 3으로 확인해 봅시다. ζ는 세제곱하면 1이 되고, 원을 셋으로 나눈 세 눈금 1, ζ, ζ²의 합은 0입니다($1 + \zeta + \zeta^2 = 0$). 그러면 $(x + \zeta y)(x + \zeta^2 y) = x^2 + (\zeta + \zeta^2)xy + \zeta^3 y^2 = x^2 - xy + y^2$이고, 여기에 x + y를 곱하면 $x^3 + y^3$이 됩니다. 정수로는 더 쪼개지지 않던 $x^2 - xy + y^2$이 ζ를 쓰면 쪼개집니다.

이제 계산은 $a_0 + a_1\zeta + \cdots + a_{p-2}\zeta^{p-2}$(계수는 정수) 꼴의 수들, 곧 원분 정수⁠(cyclotomic integer)⁠의 세계에서 이루어집니다. $\zeta^{p-1}$이 빠진 것은, p = 3에서처럼 $1 + \zeta + \cdots + \zeta^{p-1} = 0$이라 $\zeta^{p-1}$을 나머지로 적을 수 있기 때문입니다. 이 세계에서도 더하고 빼고 곱할 수 있고, 정수처럼 약수⁠(divisor)⁠와 배수를 말할 수 있습니다.

라메의 논증에 앞서 낱말 하나를 정해 둡니다. 정수에서 1과 −1은 특별합니다. 1 × 1 = 1, (−1) × (−1) = 1처럼, 곱해서 1을 만드는 짝이 정수 안에 있기 때문입니다. 2는 그렇지 않습니다. 2와 곱해 1이 되는 수는 1/2인데, 1/2은 정수가 아닙니다. 이처럼 곱해서 1을 만드는 짝이 같은 세계 안에 있는 수를 단원이라 부릅니다. 단원을 곱하는 것은 분해를 바꾸지 않는 것으로 칩니다. 정수에서 6 = 2 × 3과 6 = (−2) × (−3)을 같은 분해로 치는 것과 같습니다. 어떤 수에 단원을 곱한 수를 그 수의 단원배라 합니다. −2는 2의 단원배입니다.

라메는 오른쪽의 인수들 사이에 공통 인수가 없으면, 곱이 p제곱수⁠(perfect square)⁠이니 인수 하나하나도 단원배를 무시하면 p제곱수여야 한다고 논증했습니다. 그다음은 이 p제곱수들로 모순을 끌어내는 계산이었습니다.

라메의 추론은 정수에서는 맞는 추론입니다. 예를 들어 서로소⁠(coprime)⁠인 두 정수의 곱이 제곱수이면 두 수는 각각 제곱수입니다. 4 × 9 = 36이 그렇습니다. 소인수분해를 보면 알 수 있습니다. 곱에 나오는 소수마다 지수가 짝수여야 하는데, 서로소라서 각 소수는 한쪽에만 나오기 때문입니다. 피타고라스 세 쌍⁠(Pythagorean triples)⁠을 모두 찾는 고전적인 방법도 이 추론을 씁니다.

라메가 발표를 마치자 조제프 리우빌이 일어나 물었습니다. 그 추론은 소인수분해가 한 가지뿐이라는 사실에 기대는데, 이 새로운 수들에서도 그런가? 앞 문단의 제곱수 추론은 '각 소수는 한쪽에만 나온다'를 썼는데, 이 말은 분해가 한 가지일 때만 뜻이 있습니다. 답은 '늘 그렇지는 않다'였습니다. 그 답을 이미 쥐고 있던 사람은 브레슬라우(지금의 폴란드 브로츠와프)의 에른스트 쿰머였습니다(그 사연은 이 절 끝에 있습니다). 원분 정수에서 유일 인수분해가 처음 깨지는 소수는 $p = 23$입니다. 곧 p가 19 이하인 소수에서는 원분 정수의 분해가 한 가지뿐이고, 23에서 처음으로 여러 가지가 됩니다.

23제곱근의 세계는 그림으로 그리기에 너무 큽니다. 같은 일이 훨씬 작은 세계에서도 일어납니다. $a + b\sqrt{-5}$ (a, b는 정수) 꼴의 수들을 생각합시다. $\sqrt{-5}$는 제곱하면 −5가 되는 수로, $i\sqrt5$와 같습니다(i는 제곱해서 −1이 되는 수). 이 수들은 더하고 빼고 곱해도 같은 꼴로 남습니다. 예를 들어 $(1 + \sqrt{-5})(2 + \sqrt{-5}) = 2 + \sqrt{-5} + 2\sqrt{-5} + (\sqrt{-5})^2 = -3 + 3\sqrt{-5}$입니다. 수학자들은 이 모임을 $\mathbb{Z}[\sqrt{-5}]$라고 씁니다('정수에 루트 마이너스 5를 보탠 세계'라고 읽으면 됩니다).

이 세계의 수의 크기는 노름⁠(norm)⁠ $N(a + b\sqrt{-5}) = a^2 + 5b^2$으로 잽니다. 복소평면에서 원점까지 거리의 제곱입니다. 복소수를 곱하면 원점까지의 거리도 곱해지니, 곱의 노름은 노름의 곱입니다($N(\alpha\beta) = N(\alpha)N(\beta)$, α와 β는 이 세계의 아무 두 수). 방금의 예로 확인하면 N(1 + √−5) = 1 + 5 = 6, N(2 + √−5) = 4 + 5 = 9이고, 곱 −3 + 3√−5의 노름은 9 + 45 = 54 = 6 × 9입니다.

노름은 보통의 정수이니, 이 낯선 세계의 곱셈을 정수의 곱셈으로 비춰 볼 수 있는 거울입니다. 특히 α가 β를 나누면(β = αγ이면) N(β) = N(α)N(γ)이니 N(α)가 N(β)를 나눕니다. 아래에서 이 사실을 여러 번 씁니다.

아래 그림의 점들이 이 수들입니다. 가로는 a, 세로는 $b\sqrt{5}$입니다. 노름 $N =$ 인 수들은 반지름 $\sqrt{N}$인 노란 원 위에 놓입니다. N을 끌어 여러 값에 두어 보고, 원 위에 점이 있는지, 있다면 더 쪼개지는지를 보세요.

N을 6에 두면 원 위에 $\pm 1 \pm \sqrt{-5}$ 네 점이 있습니다. 그리고 $6 = 2 \times 3$입니다. 한편 $(1 + \sqrt{-5})(1 - \sqrt{-5}) = 1 + 5 = 6$이기도 합니다. N을 2와 3에 두어 보세요. 원 위에 점이 하나도 없습니다. $a^2 + 5b^2 = 2$나 $3$을 만족하는 정수가 없기 때문입니다(b가 0이 아니면 5b²만으로 5 이상이고, b = 0이면 a² = 2나 3인 정수 a가 없습니다).

이것 하나로 네 수 2, 3, $1 \pm \sqrt{-5}$가 모두 더 쪼개지지 않음이 증명됩니다. 먼저 알아 둘 것은, 노름이 1인 수는 ±1뿐이고(a² + 5b² = 1이면 a = ±1, b = 0), 이것이 곧 단원이라는 점입니다. 그러니 단원이 아닌 인수의 노름은 1보다 큽니다.

이제 노름 4인 2가 단원 아닌 두 수의 곱으로 쪼개진다면, 두 노름의 곱이 4이고 둘 다 1보다 크니 둘 다 2여야 합니다. 곧 노름이 2인 인수가 있어야 하고, 노름 9인 3이나 노름 6인 $1 \pm \sqrt{-5}$가 쪼개진다면 노름이 3이나 2인 인수가 있어야 하는데, 그런 수는 없습니다. 곱셈의 역원⁠(inverse element)⁠이 있는 수(단원)는 $\pm 1$뿐이니 2가 $1 + \sqrt{-5}$의 단원배인 것도 아닙니다. 노름만 보아도 4와 6으로 다릅니다. 그러므로

는 더 쪼갤 수 없는 수들로 쪼갠 두 가지 서로 다른 분해입니다.

라메의 추론도 이런 세계에서는 쓰러집니다. 예를 들어 $(2+\sqrt{-5})(2-\sqrt{-5}) = 4 + 5 = 9 = 3^2$입니다. 두 인수에는 단원 말고는 공약수가 없습니다. 공약수 δ('델타')가 있다면 δ는 두 인수의 합 4도 나누니, 앞에서 본 대로 N(δ)는 인수의 노름 9와 4의 노름 16을 함께 나누어야 합니다. 9와 16의 공약수는 1뿐이니 N(δ) = 1이고, 노름이 1인 수는 단원 ±1뿐이었습니다. 공통 인수가 없는 두 수의 곱이 제곱수인 것입니다. 그런데 $(a + b\sqrt{-5})^2 = a^2 - 5b^2 + 2ab\sqrt{-5}$에서 $2ab = \pm 1$이 될 수 없으니, 어느 인수도 제곱수(의 단원배)가 아닙니다. $2 \pm \sqrt{-5}$가 누군가의 제곱이라면 √−5 앞의 수 ±1이 2ab와 같아야 하는데, 2ab는 짝수이기 때문입니다. 정수에서라면 반드시 제곱수여야 할 자리에서, 이 세계는 제곱수가 아닌 수를 내놓습니다.

무엇과 무엇이 뒤섞였을까요? 정수에서 '소수'라는 말은 두 가지 성질을 함께 뜻합니다. 하나는 더 쪼갤 수 없다(자기와 1 말고 약수가 없다)는 성질이고, 다른 하나는 곱을 나누면 인수 하나를 나눈다(p가 ab를 나누면 p는 a나 b를 나눈다)는 성질입니다. 예를 들어 6은 둘째 성질이 없습니다. 6은 4 × 9 = 36을 나누지만 4도 9도 나누지 않습니다.

정수에서는 유클리드의 보조정리⁠(lemma)⁠, 곧 '더 쪼갤 수 없는 정수에는 둘째 성질도 있다'는 사실 덕분에 둘이 같은 성질이 됩니다. 유일 인수분해는 둘째 성질에서 나옵니다. 두 분해 $p_1 p_2 \cdots = q_1 q_2 \cdots$가 있으면, $p_1$이 오른쪽 곱을 나누니 둘째 성질에 따라 어떤 $q_j$ 하나를 나누고, $q_j$도 더 쪼갤 수 없으니 둘은 부호만 다른 같은 수입니다. 양쪽에서 지우고 되풀이하면 두 분해가 같은 조각들임이 나옵니다.

그런데 $\mathbb{Z}[\sqrt{-5}]$의 2는 더 쪼갤 수 없지만, 곱 $(1+\sqrt{-5})(1-\sqrt{-5}) = 6$을 나누면서도 두 인수 어느 쪽도 나누지 않습니다($(1 \pm \sqrt{-5})/2$는 a와 b가 1/2이라 정수가 아니니 이 세계의 수가 아닙니다). 첫째 성질이 있는 수를 기약원, 둘째 성질이 있는 수를 소원이라 부르면, 라메는 기약원이 소원이라고 말없이 가정한 셈입니다.

정수에서 유클리드의 보조정리는 나머지가 있는 나눗셈, 곧 유클리드 호제법⁠(Euclidean algorithm)⁠에서 나오는데, 이 세계에는 그런 나눗셈이 없습니다. 예를 들어 $1 + \sqrt{-5}$를 2로 나눠 봅시다. 몫을 $q = a + b\sqrt{-5}$로 고르면 나머지는 $(1 - 2a) + (1 - 2b)\sqrt{-5}$이고, 1 − 2a와 1 − 2b는 홀수라서 0이 될 수 없으니 나머지의 노름은 적어도 1 + 5 = 6입니다. 나머지를 나누는 수 2(노름 4)보다 작게 만들 수 없으니, 호제법이 한 걸음도 나아가지 못합니다.

정리하면, 라메의 추론에는 '더 쪼갤 수 없는 수는 곱을 나누면 인수 하나를 나눈다'는 숨은 가정이 있었습니다. 정수에서는 참이지만, 넓힌 세계에서는 거짓일 수 있습니다.

리우빌이 물은 뒤 몇 주 동안 라메와 코시는 이 빈틈을 메우려 앞다투어 원고를 냈습니다. 경쟁이 주 단위로 벌어질 수 있었던 것은 아카데미가 1835년부터 매주 모임의 발표를 곧바로 인쇄하는 회보 『콩트 랑뒤』를 냈기 때문입니다. 5월 24일, 리우빌은 아카데미에서 쿰머가 보낸 편지를 읽었습니다. 쿰머는 편지에서, 자신이 3년 전인 1844년에 이미 원분 정수에서 유일 인수분해가 깨질 수 있음을 보인 논문을 냈고 1846년에는 그것을 되살리는 '이상 복소수⁠(ideal complex number)⁠'를 만들었다고 알렸습니다.

3 · 이상적인 수없는 최대공약수⁠(greatest common divisor)⁠를 만들다

이 절의 물음은 이것입니다. 분해가 두 가지로 갈라진 세계에서, 두 분해를 다시 하나로 묶을 방법은 없을까? 답은 '없는 수'를 새로 만들어 넣는 것이었습니다.

쿰머는 유일 인수분해가 깨진다는 사실을 받아들이는 대신, 빠진 것을 채워 넣었습니다. 그의 생각을 정수에서부터 따라가 봅시다.

정수에서 $ab = cd$이면, 네 수의 인수를 가로세로 두 줄짜리 표로 늘어놓을 수 있습니다. 가로줄의 두 수가 서로소라고 합시다. 칸 하나하나에 그 칸의 가로줄 수와 세로줄 수의 최대공약수를 적습니다. 그러면 한 가로줄의 칸들을 곱하면 그 줄의 수가 되고, 한 세로줄의 칸들을 곱해도 그 줄의 수가 됩니다.

예를 들어 $12 = 3 \times 4 = 2 \times 6$이면 가로줄에 3과 4, 세로줄에 2와 6을 둡니다. 칸은 gcd(3, 2) = 1, gcd(3, 6) = 3, gcd(4, 2) = 2, gcd(4, 6) = 2이니, 네 칸은 1, 3, 2, 2입니다. 확인해 보면 첫 가로줄 1 × 3 = 3, 둘째 가로줄 2 × 2 = 4이고, 첫 세로줄 1 × 2 = 2, 둘째 세로줄 3 × 2 = 6입니다. 두 분해는 같은 네 조각 $1 \cdot 3 \cdot 2 \cdot 2$를 가로로 묶느냐 세로로 묶느냐의 차이일 뿐입니다. 이것이 정수에서 '분해가 사실은 하나'라는 말의 속뜻입니다.

같은 표를 $\mathbb{Z}[\sqrt{-5}]$에서 만들어 봅시다. 예()와 묶는 법()은 눌러서 바꿀 수 있습니다. 칸에 마우스를 올리면 그 칸이 무엇인지 나옵니다. 볼 것은 칸에 적힌 것이 보통의 수인가입니다.

문제는 칸에 들어갈 수가 없다는 것입니다. 2와 $1 + \sqrt{-5}$의 공약수는 단원 $\pm 1$뿐입니다(공약수의 노름은 4와 6을 함께 나누어야 하니 1이나 2인데, 노름 2인 수가 없습니다). 그렇다고 칸에 1을 적으면 첫 가로줄의 곱이 2가 되지 않습니다. 곱이 맞으려면 첫 가로줄의 두 칸의 노름을 곱해 N(2) = 4가 되어야 하니, 칸마다 노름 2인 수가 들어가야 합니다. 앞에서 보았듯 그런 수는 없습니다. 쿰머는 이 칸을 '이상 복소수', 줄여서 이상수⁠(ideal number)⁠라는 가상의 인수로 채웠습니다. 세상에는 없지만 '있다고 치고 계산하면 모든 것이 맞아떨어지는' 수입니다.

1871년 리하르트 데데킨트는 가상의 수 대신 구체적인 대상을 내놓았습니다. 2와 $1 + \sqrt{-5}$의 '최대공약수'를, 두 수의 배수들의 합 $2x + (1 + \sqrt{-5})y$ (x, y는 이 세계의 아무 수)를 모두 모은 집합⁠(set)⁠으로 정의한 것입니다. 예를 들어 x = 1, y = 1이면 $3 + \sqrt{-5}$, x = 3, y = 0이면 6이 이 집합에 듭니다. 이런 집합을 아이디얼⁠(ideal)⁠이라 부릅니다. 쿰머의 '이상(ideal)'에서 따온 이름입니다.

왜 집합이 최대공약수 노릇을 할까요? 정수에서 해 보면 보입니다. 4x + 6y (x, y는 정수) 꼴의 수를 모두 모으면 …, −2, 0, 2, 4, …가 나옵니다. 2의 배수 전체입니다. 4와 6의 최대공약수 2가 '배수 전체'의 모습으로 나타난 것입니다. 정수에서는 이런 집합이 늘 어떤 수 하나의 배수 전체이니 그 수를 최대공약수라 부르면 됩니다. $\mathbb{Z}[\sqrt{-5}]$에서는 그런 수 하나가 없을 때가 있고, 그때는 집합 자체를 최대공약수로 삼는 것입니다.

일반적으로 아이디얼은 더하기에 대해 닫혀 있고, 이 세계의 아무 수를 곱해도 빠져나가지 않는 수의 집합입니다. 짝수 전체가 좋은 예입니다. 짝수끼리 더해도 짝수이고, 짝수에 아무 정수를 곱해도 짝수입니다. 수 하나 $\alpha$의 배수 전체도 아이디얼이고, $(\alpha)$로 씁니다. 짝수 전체는 (2)입니다.

정수에서 "3이 6을 나눈다"는 "6의 배수는 모두 3의 배수다", 곧 $(6) \subseteq (3)$과 같은 말입니다(⊆는 '왼쪽 모임이 오른쪽 모임에 포함된다'고 읽습니다). 작은 수가 큰 모임을 이루니 방향이 거꾸로인 것에 주의하세요. 나눈다는 것이 품는다는 것이 되니, 수가 없는 자리에서도 나눗셈을 말할 수 있습니다.

두 아이디얼의 곱은 원소끼리의 곱들을 더해 만든 아이디얼입니다. 정수에서 (2)와 (3)을 곱하면 짝수 × 3의 배수들이 모여 (6)이 되듯, 수의 곱셈을 그대로 따라갑니다. 이제 표의 칸은 $P = (2, 1 + \sqrt{-5})$, $Q = (3, 1 + \sqrt{-5})$, $Q' = (3, 1 - \sqrt{-5})$이고(괄호 안에 수를 여럿 적으면 그 수들의 배수를 더해 만든 아이디얼입니다), 직접 곱해 보면 다음이 성립합니다.

그러니 두 분해는 모두 $(6) = P^2 Q Q'$입니다. 가로로 묶으면 $2 \cdot 3$이고 세로로 묶으면 $(1 + \sqrt{-5})(1 - \sqrt{-5})$입니다. 데데킨트는 이런 수 세계(대수적 정수의 환, 곧 정수처럼 더하고 빼고 곱할 수 있는 수 체계⁠(number system)⁠)에서 0이 아닌 모든 아이디얼이 소 아이디얼⁠(prime ideal)⁠들의 곱으로 단 한 가지 방법으로 쪼개진다는 것을 증명했습니다. 소 아이디얼은 정수의 소수에 해당하는 아이디얼입니다. 정리하면, 유일 인수분해는 수의 층에서는 깨졌지만 아이디얼의 층에서 되살아난 것입니다. 이 이야기는 유일 인수분해와 아이디얼에서 더 자세히 다룹니다.

얼마나 깨졌는지도 잴 수 있습니다. 수 하나의 배수 전체인 아이디얼을 주 아이디얼이라 합니다. 위의 P는 주 아이디얼이 아닙니다. P가 어떤 수 하나의 배수 전체라면 그 수는 2와 1 + √−5의 공약수여야 하는데, 노름 2인 수가 없으니 그 수는 ±1뿐입니다. 그런데 1은 P에 들지 않습니다. 1이 P에 들면 1 × 1 = 1이 P²에도 들 텐데, 앞의 확인에서 보았듯 P²의 원소는 모두 2의 배수이기 때문입니다. 두 아이디얼 I, J에 주 아이디얼을 하나씩 곱해 같아지면($(\alpha) I = (\beta) J$) 같은 종류로 묶습니다. 주 아이디얼끼리는 모두 한 종류입니다.

그 종류의 수를 유수(class number)라 합니다. 유수⁠(class number)⁠가 1이면 모든 아이디얼이 수 하나의 배수 전체이니 이상수가 필요 없고, 유일 인수분해가 수의 층에서 성립합니다. $\mathbb{Z}[\sqrt{-5}]$의 유수는 2입니다. 종류가 '주 아이디얼'과 'P와 같은 종류' 둘뿐이라는 뜻입니다. 예를 들어 Q는 P와 같은 종류입니다. 위의 식들에서 $(2)Q = PPQ = P(1 + \sqrt{-5})$이니, Q에 (2)를, P에 $(1 + \sqrt{-5})$을 곱하면 같아지기 때문입니다. 23제곱근의 원분 정수는 유수가 3입니다.

쿰머는 소수 p가 제 원분 정수의 유수를 나누지 않으면 라메의 논증을 되살릴 수 있음을 보였고, 이런 소수를 '정규 소수⁠(regular prime)⁠'라 불렀습니다. 그는 1847년 정규 소수이면 페르마의 정리가 성립한다는 증명을 내놓았고, 몇 해 뒤 100보다 작은 소수 가운데 정규가 아닌 것은 37, 59, 67뿐임을 계산했습니다. 100보다 작은 소수 지수 가운데 이 셋을 뺀 모두에서 페르마의 마지막 정리가 증명된 것입니다.

파리 아카데미는 페르마의 정리에 상을 걸었지만 기한을 늘려도 풀이가 들어오지 않자, 1857년 응모하지도 않은 쿰머에게 3,000프랑이 걸린 대상을 주었습니다. 라메의 발표로 시작된 경쟁의 상이 그 발표를 무너뜨린 사람에게 간 셈입니다.

아이디얼은 정수론 밖으로 퍼졌습니다. 다비트 힐베르트의 1897년 정수론 보고서가 데데킨트의 아이디얼 위에 섰고, 1920년대 괴팅겐의 에미 뇌터는 아이디얼을 수가 아닌 대상 일반의 언어로 넓혀 추상대수학을 세웠습니다. 다항식⁠(polynomial)⁠들의 아이디얼은 그 다항식들이 함께 0이 되는 도형과 짝을 이루어, 7절에 나올 대수기하학의 새 언어가 됩니다.

페르마의 정리 자체는 앤드루 와일스가 전혀 다른 길로 증명했습니다. $y^2 = x^3 + ax + b$ 꼴의 식이 그리는 곡선(타원곡선⁠, elliptic curve⁠)과, 대칭이 아주 많은 특별한 함수(모듈러 형식⁠, modular form⁠)를 잇는 길입니다. 그 길의 출발점은 유럽 밖에 있었습니다. 1955년 도쿄와 닛코에서 열린 대수적 정수론⁠(algebraic number theory)⁠ 국제 심포지엄에서, 젊은 수학자 다니야마 유타카가 내놓은 미해결 문제 36개 가운데 열두 번째가 이 다리를 조금 부정확한 형태로 처음 추측했습니다. 동료 시무라 고로가 그와 함께 이 추측을 다듬었습니다. 와일스가 1993년에 발표한 첫 증명에도 빈틈이 있었고, 그 이야기는 8절에서 다시 만납니다.

'없는 수'를 들여와도 되느냐는 처음부터 물음거리였습니다. 쿰머 자신은 화학에 빗대어 답했습니다. 1846년 6월 제자였던 크로네커에게 보낸 편지와 이듬해 논문에서 그는, 수가 이상 인수들로 짜이는 방식을 물질이 원소들로 짜이는 방식에 견주었습니다. 홀로 떼어 낼 수는 없어도 화합물 속에서 드러나는 원소처럼, 이상수도 실제 수들의 분해 속에서만 모습을 드러낸다는 것입니다. 그는 당시 아직 홀로 떼어 내지 못한 원소 플루오린을 예로 들었다고 전합니다(플루오린은 1886년에야 분리되었습니다). 데데킨트의 답은 달랐습니다. 이상수를 무한히 많은 수의 모임, 곧 아이디얼이라는 실제 대상으로 만든 것입니다. 크로네커는 이 길을 받아들이지 않았습니다. 무한 집합을 완성된 대상으로 다루는 것을 믿지 않았던 그는, 철학적인 까닭에서 데데킨트의 아이디얼을 물리치고 유한한 계산으로 같은 일을 하는 '약수 이론'을 따로 세웠습니다. "정수는 신이 만들었고, 나머지는 모두 사람이 만든 것"이라는 말이 그의 것으로 전합니다. 20세기 수학은 대체로 데데킨트의 길을 따랐지만, 크로네커의 이론도 뒤에 대수기하학의 도구로 되살아났습니다. 무한한 대상을 어디까지 믿을 것인가의 논쟁은 6절 끝의 '기초론의 위기'로 이어집니다.

4 · 1879년 런던켐프의 사슬

이 절의 물음은 이것입니다. 11년 동안 받아들여진 증명의 어느 한 걸음이, 왜 틀렸을까? 틀린 걸음을 따라가 보면 '따로 하면 옳은 두 일'과 '함께 하면 옳은 일'이 다르다는 것이 보입니다.

이웃한 나라끼리 다른 색이 되게 지도를 칠하는 데 네 가지 색이면 충분할까? 1852년에 처음 기록된 이 질문의 사연은 「일곱 다리의 도시」 4절에 있습니다. 나라를 점으로, 국경을 맞댄 두 나라를 선으로 이으면 문제는 평면 그래프의 꼭짓점⁠(vertex)⁠을 칠하는 문제가 됩니다(4색 정리⁠(four color theorem)⁠). 그래프는 점(꼭짓점)과 두 점을 잇는 선(변)으로 이루어진 그림이고, 평면 그래프⁠(planar graph)⁠는 변끼리 엇갈리지 않게 평면에 그릴 수 있는 그래프입니다. 선으로 이어진 두 점을 '이웃'이라 하고, 이웃끼리 다른 색이 되게 칠하는 것이 목표입니다.

한동안 잊혔던 이 질문을 되살린 것은 아서 케일리였습니다. 1878년 6월 런던 수학회 모임에서 그는 이 문제가 풀렸느냐고 물었습니다. 이듬해인 1879년, 런던의 법정 변호사이자 아마추어 수학자 앨프리드 켐프가 증명을 내놓았습니다. 켐프는 케임브리지에서 케일리에게 배웠고, 회전⁠(rotation)⁠하는 막대를 이어 곧은 선을 그리는 연결 장치 연구로 이미 알려져 있었습니다. 증명이 실린 곳은 제임스 실베스터가 볼티모어에서 막 창간한 『미국 수학 저널』이었고, 이 증명은 11년 동안 받아들여졌습니다.

켐프의 전략은 오늘날의 증명과 뼈대가 같습니다. 네 색으로 칠할 수 없는 그래프 가운데 꼭짓점이 가장 적은 것이 있다고 가정합니다(반례가 하나라도 있다면 그 가운데 가장 작은 것도 있습니다). 그리고 그런 가장 작은 반례가 있을 수 없음을 보이면 증명이 끝납니다.

첫 재료는 오일러의 다면체 공식⁠(polyhedron formula)⁠ $V - E + F = 2$입니다. V는 꼭짓점, E는 변, F는 면(바깥 영역까지 포함)의 개수입니다. 정육면체라면 8 − 12 + 6 = 2입니다. 이 공식에서, 평면 그래프에는 이웃이 다섯 이하인 꼭짓점 v가 반드시 있습니다. 까닭을 줄여 말하면, 이 공식에서 변의 수가 꼭짓점 수의 3배보다 적다는 것이 나오고(E ≤ 3V − 6), 그러면 꼭짓점마다 이웃 수를 더한 값(변 하나가 두 번 세어지니 2E)이 6V보다 작아서, 이웃 수의 평균⁠(mean)⁠이 6보다 작기 때문입니다. 평균이 6보다 작으면 6보다 작은 꼭짓점, 곧 이웃이 다섯 이하인 꼭짓점이 적어도 하나 있습니다.

v를 떼어 낸 더 작은 그래프는 가정에 따라 네 색으로 칠할 수 있습니다. 이제 v를 되돌려 놓고 색을 줄 수 있음을 보이면 모순입니다. 이웃이 셋 이하이면 남는 색이 있습니다. 어려운 것은 이웃이 네 색을 모두 쓰고 있을 때입니다. 이때는 이웃의 색을 바꿔 한 색을 비워야 합니다.

켐프의 도구는 사슬입니다. 두 색, 예를 들어 파랑과 초록을 정하고, 한 꼭짓점에서 출발해 파랑과 초록 꼭짓점만 밟으며 갈 수 있는 곳을 모두 모은 것이 파랑–초록 사슬입니다. 사슬 안의 파랑과 초록을 모두 맞바꿔도 칠하기는 여전히 올바릅니다. 사슬 안의 이웃끼리는 둘 다 색이 바뀌니 여전히 다르고, 사슬 밖의 이웃은 파랑도 초록도 아니기 때문입니다(파랑이나 초록이었다면 사슬에 들어 있었을 것입니다).

이웃이 넷인 경우를 먼저 봅시다. v 둘레의 이웃이 차례로 파랑, 노랑, 초록, 보라라고 합시다. 첫째 이웃(파랑)에서 시작하는 파랑–초록 사슬이 셋째 이웃(초록)에 닿지 않으면, 그 사슬만 맞바꿔 첫째 이웃을 초록으로 만듭니다. 그러면 파랑이 비어 v에 줄 수 있습니다. 사슬이 셋째 이웃에 닿으면, 그 사슬과 v가 이어져 닫힌 고리가 생깁니다. 평면에서 이 고리는 둘째 이웃(노랑)을 넷째 이웃(보라)과 갈라놓습니다. 고리 위의 점은 모두 파랑이나 초록이니, 노랑–보라 사슬은 고리를 건너지 못합니다. 그러니 둘째 이웃의 노랑–보라 사슬을 맞바꾸면 넷째 이웃은 그대로 보라이고 둘째 이웃만 보라가 되어, 노랑이 빕니다. 어느 경우든 한 색이 빕니다.

이웃이 다섯인 경우가 문제였습니다. 아래는 그 경우를 담은 작은 그래프입니다. 이웃 다섯이 파랑, 노랑, 초록, 보라, 노랑이라 노랑이 두 번 나옵니다. 켐프의 계획은 이웃이 넷일 때의 고리 논증을 두 번 써서, 노랑인 두 이웃 v₂와 v₅를 각각 다른 색으로 바꿔 노랑을 비우는 것이었습니다. 켐프의 논증을 한 단계씩 따라가 보세요. 단계 버튼을 누를 때마다 그림에서 지금 보는 사슬이 흰검은 선으로 표시되고, 설명이 바뀝니다.

다섯째 단계가 켐프의 오류입니다. 노랑–보라 사슬을 맞바꾸는 일과 노랑–초록 사슬을 맞바꾸는 일은 따로 보면 각각 옳습니다. 켐프는 둘을 함께 해도 된다고 여겼습니다. 그런데 두 사슬은 서로 이웃할 수 있습니다. 여기서는 c(보라)와 a(초록)가 맞닿아 있어서, 둘이 한꺼번에 노랑이 되면 충돌합니다.

켐프가 두 맞바꿈이 따로따로 옳다고 본 근거는 이웃이 넷일 때와 같은 고리였습니다. 둘째와 셋째 단계에서 흰검은 굵은 선으로 본 두 사슬, 곧 파랑–초록 사슬과 파랑–보라 사슬이 v와 함께 만드는 고리들입니다. 그런데 두 고리는 v₁과 d를 함께 쓰며 서로 엇갈려 있습니다. 한 사슬을 바꾸는 순간 다른 쪽의 분리를 보장하던 고리가 끊어집니다. 여섯째 단계에서 c가 노랑이 되자 파랑–보라 고리 v₁–c–d–v₄가 끊기는 것이 그 모습입니다. 여섯째와 일곱째 단계가 보여 주듯, 차례로 해도 이 칠하기에서는 통하지 않습니다. 정리하면, 켐프는 '사슬 하나를 바꾸면 옳다'를 두 번 쓰면서, 첫 맞바꿈이 둘째 사슬의 모양을 바꿀 수 있다는 것을 놓쳤습니다.

그래도 이 그래프는 네 색으로 칠할 수 있습니다(모든 평면 그래프가 그렇다는 것이 4색 정리입니다). 직접 찾아보세요. 색 쌍()을 고르고 꼭짓점을 누르면 그 점에서 시작하는 사슬의 두 색이 맞바뀝니다. v의 이웃이 한 색을 비우면 v를 눌러 칠합니다.

처음 칠하기로

1890년 더럼 대학의 퍼시 히우드가 켐프의 논증이 통하지 않는 지도를 내놓았습니다. 그는 같은 논문에서 켐프의 방법을 살려, 사슬을 한 번만 바꾸면 되는 다섯 색의 경우는 옳다는 것을 증명했습니다(5색 정리⁠, five color theorem⁠). 이웃이 다섯이고 다섯 색을 모두 쓰면, 켐프의 첫 시도처럼 사슬 하나로 색 하나를 비울 수 있기 때문입니다. 같은 무렵 발표된 피터 거스리 테이트의 증명도 11년 동안 받아들여졌다가 무너졌습니다.

켐프의 증명에서 무엇이 틀렸는지 정확히 말하면 이렇습니다. 그는 "이웃이 다섯인 꼭짓점"이라는 배치 하나가 줄일 수 있는 배치, 곧 그것을 품은 그래프가 가장 작은 반례일 수 없는 배치라고 주장했고, 그 주장이 틀렸습니다. 뼈대는 옳았습니다. 모든 평면 그래프가 반드시 품는 배치들의 목록(피할 수 없는 집합⁠, unavoidable set⁠)을 만들고, 목록의 배치가 모두 줄일 수 있음을 보이면 됩니다. 1913년 조지 버코프가 '줄일 수 있는 배치⁠(reducible configuration)⁠'를 정의했고, 1976년 케네스 아펠과 볼프강 하켄은 켐프의 배치 하나 대신 2천 개 가까운 배치를 모아 그 하나하나가 줄일 수 있음을 컴퓨터로 확인했습니다. 그 확인에 쓰인 주된 도구가 바로 켐프의 사슬 맞바꿈입니다. 틀린 증명의 뼈대가 옳은 증명의 뼈대가 되었고, 틀린 한 단계가 2천 개 가까운 경우로 불어난 셈입니다. 그 증명을 2005년 증명 보조기⁠(proof assistant)⁠로 다시 검사한 이야기는 8절에 이어집니다.

아펠과 하켄의 증명은 환영만 받지 않았습니다. 일리노이 대학의 우체국은 한동안 "네 색이면 충분하다(Four Colors Suffice)"라는 소인을 찍었지만, 사람이 끝까지 따라 읽을 수 없는 증명을 증명이라 불러도 되느냐는 반문이 따랐습니다. 1979년 철학자 토머스 티모치코는 이 증명이 컴퓨터라는 실험 장치를 믿는 경험적 요소를 수학에 들여왔다고 주장했습니다. 실제로 그 뒤 배치 목록에서 작은 오류들이 발견되어 저자들이 고치기도 했습니다. 1996년 닐 로버트슨, 대니얼 샌더스, 폴 시모어, 로빈 토머스는 같은 뼈대로 배치 수를 633개로 줄인 새 증명을 내놓고, 검사 프로그램을 누구나 돌려 볼 수 있게 공개했습니다. 믿음의 근거를 '저자의 권위'에서 '누구나 다시 돌려 볼 수 있는 계산'으로 옮긴 이 흐름이 8절로 이어집니다.

5 · 1889년 스톡홀름닫히지 않은 곡선

이 절의 물음은 이것입니다. 두 곡선이 '만난다'는 것과 '겹친다'는 것은 어떻게 다르고, 그 차이가 왜 혼돈을 낳을까? 이 글을 시작한 스톡홀름의 논문이 바로 이 차이에서 틀렸습니다.

이 글을 시작한 스톡홀름으로 돌아갑니다. 1885년 미타그레플레르의 제안으로 오스카르 2세가 현상 문제를 걸었습니다. 첫 문제는 뉴턴의 법칙에 따라 서로 끌어당기는 여러 물체의 운동을, 모든 시간에 대해 수렴하는 급수로 나타내라는 것이었습니다. 태양계가 영원히 안정한지를 묻는 질문이기도 했습니다. 심사는 미타그레플레르, 베를린의 바이어슈트라스, 파리의 샤를 에르미트가 맡았습니다. 푸앵카레는 가장 단순한 경우, 무거운 두 물체 곁을 가벼운 물체 하나가 도는 제한된 삼체 문제⁠(three-body problem)⁠를 다룬 논문으로 상을 받았습니다. 그 사연과 뒷이야기는 「나비의 날갯짓」에 있습니다. 여기서는 무엇이 정확히 틀렸는지를 봅니다.

푸앵카레의 방법은 궤도⁠(orbit)⁠를 통째로 따라가는 대신, 궤도가 어떤 면을 지날 때마다 점을 하나씩 찍는 것이었습니다. 운동은 한 점을 다음 점으로 보내는 사상, 곧 '지금 점을 넣으면 다음 점이 나오는 규칙'이 됩니다. 연속된 운동을 띄엄띄엄 찍은 사진첩으로 바꾸는 셈입니다.

사상을 적용해도 제자리로 돌아오는 점을 고정점⁠(fixed point)⁠이라 합니다. 이 사상에는 언덕 꼭대기에 세운 공처럼 제자리에 머물지만 조금만 비껴도 떠나는 불안정한 고정점이 있을 수 있습니다. 그 곁에는 두 종류의 곡선이 지나갑니다. 시간이 흐르면 고정점으로 다가가는 점들이 이루는 안정 곡선과, 시간을 거꾸로 돌리면 고정점으로 다가가는 점들, 곧 고정점에서 떠나가는 점들이 이루는 불안정 곡선입니다. 언덕 꼭대기의 공으로 말하면, 꼭 알맞은 빠르기로 굴려 올려 꼭대기에 딱 멈추는 출발점들이 안정 곡선⁠(stable manifold)⁠, 꼭대기에서 살짝 밀려 굴러 내려가는 길이 불안정 곡선입니다.

흔들리는 진자라면 두 곡선은 하나로 겹칩니다. 거꾸로 선 진자에서 살짝 밀려 떠난 운동은 한 바퀴 돌아 정확히 다시 거꾸로 선 자리로 다가갑니다. 첫 판에서 푸앵카레는 삼체 문제에서도 두 곡선이 이처럼 매끄럽게 이어져 닫힌 곡선을 이룬다고 논증했습니다. 사상은 이 곡선 위의 점을 늘 곡선 위로 보내니, 곡선 안쪽에서 출발한 점은 곡선을 넘어 밖으로 나갈 수 없습니다. 곡선이 울타리처럼 궤도를 가두니 안정성⁠(stability)⁠이 나옵니다.

아래 그림은 삼체 문제 대신 기하⁠(geometry)⁠가 같은 가장 단순한 모형, 주기적으로 걷어차이는 회전자('표준 사상⁠(standard map)⁠')입니다. 회전자의 각도 θ('세타')와 각운동량 p(얼마나 빨리 도는가)가 한 번 차일 때마다 $p' = p + K\sin\theta,\ \theta' = \theta + p'$로 바뀝니다. 말로 읽으면, 차일 때 회전 빠르기가 K sin θ만큼 바뀌고, 그 새 빠르기만큼 각도가 돌아갑니다. 프라임(′)은 '다음 값'을 뜻하고, K는 차는 세기입니다. θ = 0, p = 0이면 sin 0 = 0이라 p′ = 0, θ′ = 0으로 제자리이니 고정점입니다. 이 점은 언덕 꼭대기처럼 조금만 비껴도 떠나는 불안정한 고정점입니다(θ = 0과 2π는 같은 각도라 같은 점입니다).

그림에서 파란 곡선이 이 점의 안정 곡선, 분홍 곡선이 불안정 곡선입니다. 차는 세기 $K =$ , 곡선을 늘인 횟수 번. 한 궤도가 찍는 점 6,000개: . 볼 것은 파란 곡선과 분홍 곡선이 하나로 겹치는지, 아니면 서로 엇갈리는지입니다.

먼저 K를 0.3으로 내려 보세요. 두 곡선이 하나로 보입니다. 실제로는 갈라져 있지만, 두 곡선이 엇갈리는 각이 약 0.0002라디안(1도의 약 90분의 1)에 불과해 선의 굵기로는 보이지 않습니다. K가 작아지면 이 각은 K의 어떤 거듭제곱보다도 빨리 줄어듭니다. 1984년 블라디미르 라주트킨의 계산에 따르면, 앞에 붙는 인수를 빼고 $e^{-\pi^2/\sqrt{K}}$의 빠르기로 줄어듭니다. K를 4분의 1로 줄이면 지수 속의 $\pi^2/\sqrt{K}$가 두 배가 됩니다. 그러면 앞에 붙는 인수를 무시할 때, 엇갈리는 각은 대략 제곱으로 작아집니다. 0.01이던 것이 0.0001이 되는 식입니다. 눈으로 보아서는 결코 알 수 없는 각입니다.

이제 K를 1 이상으로 올리고 늘인 횟수를 키워 보세요. 두 곡선이 한 점에서 엇갈리고, 그 뒤로 서로를 가로지르며 점점 길고 가는 고리를 만듭니다.

한 번 엇갈리면 무한히 엇갈립니다. 두 곡선은 모두 사상에 대해 변하지 않는 곡선입니다. 안정 곡선 위의 점을 사상으로 옮기면 다시 안정 곡선 위에 있고, 불안정 곡선⁠(unstable manifold)⁠도 그렇습니다. 그러니 교차점 하나를 사상으로 옮긴 점도 두 곡선 모두의 위에, 곧 또 하나의 교차점이 됩니다. 한 번 더 옮기면 또 하나가 생깁니다.

이 교차점들은 어디로 갈까요? 교차점은 안정 곡선 위에 있으니 앞으로 옮길수록 고정점으로 다가가고, 불안정 곡선 위에도 있으니 뒤로 옮길수록 역시 고정점으로 다가갑니다. 그러니 교차점들은 고정점 곁에 무한히 쌓입니다. 게다가 이 사상은 넓이⁠(area)⁠를 보존하므로(어떤 영역을 사상으로 옮겨도 모양은 찌그러지지만 넓이는 그대로이므로) 교차점들 사이의 고리들은 넓이가 같은 채 고정점에 다가가며 점점 가늘고 길어집니다.

이 그물 속에서 출발한 점은 아주 조금만 달라도 전혀 다른 길을 갑니다. 한 궤도의 점을 보이게 하면 회색 점들이 고정점 둘레의 띠를 불규칙하게 채우는 것이 보입니다.

푸앵카레의 첫 판은 두 곡선이 만난다는 것과 두 곡선이 겹친다는 것을 하나로 여겼습니다. 흔히 두 곡선이 만나면 매끄럽게 이어진다고 생각하지만, 서로를 비스듬히 가로지르는 엇갈림이 보통이고 한 곡선으로 겹치는 것은 흔들리는 진자 같은 특별한 경우입니다. K = 0.3에서 하나로 보이던 두 곡선도 실제로는 엇갈려 있었습니다. 고쳐 쓴 논문은 이 엇갈림, 오늘날 호모클리닉 교차라 부르는 것을 처음 기술했습니다.

1930년대에 조지 버코프는 이런 교차점 근처에 주기⁠(period)⁠ 궤도가 무한히 많음을 보였고, 1960년대 스티븐 스메일은 이 그물 속의 운동이 동전 던지기의 앞뒤 목록만큼 제멋대로일 수 있음을 '말굽 사상'으로 설명했습니다.

정리하면, 두 곡선이 겹친다고 여긴 자리에서 실제로는 엇갈림이 일어나고, 한 번의 엇갈림이 무한한 엇갈림과 예측할 수 없는 운동을 부릅니다. 동역학계 이론과 혼돈의 수학이 이 한 번의 오류 수정에서 자랐습니다. 태양계가 안정한가라는 물음에는 오늘도 단순한 답이 없습니다.

이 사연이 자세히 알려진 것은 100년쯤 뒤입니다. 푸앵카레도 미타그레플레르도 회수 사실을 공개하지 않았고, 고쳐 쓴 논문만 1890년 『악타 마테마티카』 13권에 남았습니다. 미타그레플레르 연구소에서 푸앵카레가 직접 메모를 단 첫 판 인쇄본이 새로 확인되었고, 영국의 수학사가 준 배로그린은 이를 바탕으로 두 판을 한 줄씩 비교했습니다. 그리고 1994년 논문에서 무엇이 어떻게 바뀌었는지를 밝혔습니다. 실마리는 1889년 7월, 인쇄를 준비하던 젊은 편집자 에드바르드 프라그멘이 보낸 몇 가지 질문이었습니다. 푸앵카레는 그 질문들에 답하다가 11월 말까지 훨씬 깊은 오류를 스스로 찾았습니다. 수학의 오류가 어떻게 발견되었는지는 이렇게 논문이 아니라 편지와 인쇄소의 교정지에 남는 경우가 많습니다.

19세기의 오류들이 오간 길. 파리의 아카데미에 브레슬라우의 쿰머가 보낸 편지, 런던의 켐프가 볼티모어의 학술지에 보낸 증명, 파리와 스톡홀름을 오간 푸앵카레의 논문과 전보, 잉글랜드 남부의 시골 마을 헤이즐미어에서 예나로 간 러셀의 편지를 보세요. 연표의 점에 마우스를 올리면 그해의 일이 나옵니다.

6 · 1902년 예나다섯째 기본 법칙

이 절의 물음은 이것입니다. "모든 개념에는 그 개념에 속하는 것들의 모임이 있다"는 당연해 보이는 원리가 왜 모순을 낳을까? 답은 개수를 세는 것만으로 나옵니다.

1893년 예나 대학의 고틀로프 프레게는 『산술의 기본 법칙』 1권을 펴냈습니다. 산술 전체를 논리의 법칙만으로 세우려는 책이었습니다. 수학이 결국 논리라는 이 생각을 논리주의⁠(logicism)⁠라고 부릅니다. 수 3은 '원소가 셋인 모임들의 모임'처럼 정의되고, 그러려면 개념에서 모임을 만드는 규칙이 필요했습니다. 프레게의 다섯째 기본 법칙이 그 규칙입니다. 여기서 개념이란 '짝수이다', '빨갛다'처럼 어떤 것에 대해 참이거나 거짓인 성질입니다. 개념 F에 속하는 것들의 모임을 F의 외연이라 부르면(예를 들어 '10보다 작은 짝수이다'의 외연은 {2, 4, 6, 8}),

입니다. ⟺는 '양쪽이 서로를 끌어낸다', 곧 '…일 때 그리고 그때에만'으로 읽습니다. 두 개념에 속하는 것이 똑같으면 외연이 같고, 그때에만 같다는 말입니다. '10보다 작은 짝수이다'와 '2, 4, 6, 8 가운데 하나이다'는 다른 개념이지만 외연이 같습니다. 모임이 원소로 정해진다는 당연한 원리처럼 보입니다. 그런데 이 법칙에는 한 가지 주장이 더 숨어 있습니다. 모든 개념에 외연이 있고, 그 외연은 다시 개념에 속하거나 속하지 않을 수 있는 대상이라는 것입니다. 개념과 대상을 누구보다 엄격히 구별한 사람이 프레게였지만, 이 법칙은 모든 개념을 대상 하나로 옮겨 놓습니다.

그런데 1902년 6월 16일자 버트런드 러셀의 편지가 도착했습니다. "자기 자신에 속하지 않는 모임들의 모임"을 생각하면 모순이 생긴다는 내용이었습니다(러셀의 역설⁠, Russell's paradox⁠). 편지의 사연과 두 상자로 모순을 만져 보는 그림은 「기계가 풀 수 없는 문제」 2절에 있습니다. 여기서는 다섯째 법칙이 왜 버틸 수 없는지를 셈으로 봅니다.

대상이 넷뿐인 세계를 생각합시다. 다섯째 법칙에 따르면 각 대상은 어떤 개념의 외연일 수 있습니다. 아래 표의 i행은 외연이 대상 i인 개념 $F_i$이고, (i, j) 칸은 대상 j가 $F_i$에 속하는지(○) 아닌지(×)입니다. 칸을 눌러 마음대로 바꿔 보세요. 맨 아래 줄은 러셀의 개념 R, "자기를 외연으로 삼는 개념에 속하지 않는다"입니다. 대상 j가 R에 속하는지는 대각선 칸 (j, j)를 뒤집어 얻습니다.

처음 표로 모든 칸을 ○로

어떻게 채워도 R은 표의 어느 줄과도 j번째 칸에서 다릅니다. 예를 들어 R이 둘째 줄 F₂와 같다면, 둘째 칸에서 R은 (2, 2) 칸의 반대인데 F₂는 (2, 2) 칸 그대로이니 둘은 다릅니다. R은 분명한 개념인데 외연이 될 대상이 없습니다. 다섯째 법칙은 "모든 개념에 외연이 있다"고 했으니 모순입니다. 이것은 칸토어의 대각선 논법⁠(diagonal argument)⁠ 그대로입니다.

셈으로 보면 더 분명합니다. 대상이 n개이면 개념, 곧 대상들을 '속한다'와 '속하지 않는다'로 가르는 방법은 $2^n$가지입니다(멱집합⁠, power set⁠). 대상마다 '속한다/속하지 않는다' 두 갈래가 있고 n개가 따로 고르니 2를 n번 곱합니다. 대상이 셋이면 8가지입니다. 다섯째 법칙은 서로 다른 개념에 서로 다른 외연을 주라고 요구하니, $2^n$개의 개념을 n개의 대상에 겹치지 않게 나눠 주어야 합니다. n = 4라면 16개를 4자리에 넣는 일이라 비둘기집 원리⁠(pigeonhole principle)⁠로 불가능합니다. 대상이 무한히 많아도 칸토어의 정리가 같은 일을 막습니다. 칸토어의 정리란 '어떤 모임이든, 그 모임의 원소들을 골라 만들 수 있는 부분모임 전체의 모임은 원래 모임보다 크다'는 정리입니다. 유한할 때의 $2^n \gt n$이 무한에서도 성립한다는 말입니다. 어떤 크기의 세계에서도 이 법칙은 성립할 수 없습니다. 정리하면, 다섯째 법칙은 개념이 대상보다 많을 수밖에 없는데도 개념마다 대상을 하나씩 따로 주라고 요구한 것입니다.

러셀은 1901년, 가장 큰 무한은 없다는 칸토어의 증명을 '모든 모임의 모임'에 적용해 보다가 이 역설을 찾았습니다(칸토어의 증명은 「무한에도 크기가 있다」에 있습니다). 러셀이 처음도 아니었습니다. 철학자 후설의 메모 등에 남은 기록에 따르면, 괴팅겐의 에른스트 체르멜로도 1900년 무렵 같은 모순을 찾아 힐베르트 등 동료들에게 알렸지만 발표하지는 않았습니다. 1908년 집합론⁠(set theory)⁠을 공리⁠(axiom)⁠로 다시 세우는 사람이 바로 이 체르멜로입니다(아래).

학문을 하는 저자에게, 일을 다 마친 뒤 자기 건물의 토대 하나가 흔들리는 것보다 달갑지 않은 일은 거의 없을 것이다. 이 책의 인쇄가 끝나 갈 무렵, 버트런드 러셀 씨의 편지가 나를 바로 그런 처지에 놓았다.— 고틀로프 프레게, 『산술의 기본 법칙』 2권(1903)의 부록

처방은 두 갈래로 나왔습니다. 1908년 러셀은 대상, 대상의 모임, 모임의 모임을 층으로 나누어 모임이 제 층 아래의 것만 원소로 갖게 하는 타입 이론⁠(type theory)⁠을 내놓았습니다. 같은 해 에른스트 체르멜로는 모임을 만드는 규칙을 공리로 적었습니다. 그중 하나(분리 공리⁠, axiom schema of separation⁠)는 아무 개념에서나 모임을 만들지 말고, 이미 있는 모임 A 안에서만 개념으로 골라내라고 합니다. ∈는 '원소이다', ∉는 '원소가 아니다'로 읽습니다. 그러면 'A의 원소 x 가운데 자기 자신의 원소가 아닌 것들의 모임' $R = \{x \in A : x \notin x\}$는 모임이 되지만 A의 원소가 아니라는 결론이 나올 뿐 모순은 생기지 않습니다. 다시 말해 역설이었던 것이 '모든 모임의 모임'은 없다는 정리로 바뀝니다. 앞의 것은 처치의 단순 타입 이론과 커리–하워드 대응⁠(Curry–Howard correspondence)⁠을 거쳐 오늘의 증명 보조기로, 뒤의 것은 20세기 수학의 표준 기초인 ZFC 집합론(체르멜로의 공리에 몇 가지를 더 보탠 표준 공리 체계)으로 자랐습니다. 이 갈래는 「증명은 프로그램이다」가 따라갑니다.

프레게의 작업 가운데 옳은 부분은 뒤에 되살아났습니다. 1980년대에 철학자 크리스핀 라이트와 조지 불로스 등은 프레게가 다섯째 법칙을 실제로는 한 가지 원리를 얻는 데에만 썼음을 짚었습니다. 수를 세지 않고도 '개수가 같다'를 알아보는 원리입니다. 손가락 다섯 개를 사과 다섯 개에 하나씩 대어 보면, 남는 손가락도 남는 사과도 없습니다. 그러면 세어 보지 않아도 둘의 개수가 같다는 것을 압니다. 이것을 원리로 적으면 "F의 수와 G의 수가 같다는 것은 F에 속하는 것들과 G에 속하는 것들을 일대일로 짝지을 수 있다는 뜻이다"입니다. 흔히 흄의 원리라 부릅니다.

이 원리 하나만 두어도 프레게의 논리에서 자연수⁠(natural number)⁠의 공리들이 모두 증명됩니다. 자연수의 공리란 '0은 자연수이다', '모든 자연수에는 바로 다음 수가 있다', '서로 다른 두 수의 다음 수는 서로 다르다' 같은, 자연수의 산술 전체를 떠받치는 몇 가지 기본 성질입니다. 이 결과를 오늘날 '프레게의 정리⁠(Frege's theorem)⁠'라 부릅니다.

게다가 흄의 원리⁠(Hume's principle)⁠는 다섯째 법칙과 달리 모순을 낳지 않는다고 믿을 근거가 있습니다. 2계 산술이 무모순⁠(consistent)⁠이라면 흄의 원리도 모순을 낳지 않는다는 것이 증명되어 있습니다. 2계 산술은 자연수와 자연수의 모임을 함께 다루는 표준적인 이론으로, 수학자들이 늘 믿고 쓰는 체계입니다. 틀린 것은 개념을 모두 대상으로 바꾸는 한 단계였고, 수를 짝짓기로 정의한 생각은 옳았습니다.

러셀의 역설은 프레게 한 사람의 문제로 끝나지 않았습니다. 집합론의 다른 역설들과 함께, 이 역설은 20세기 초 수학의 기초를 둘러싼 논쟁, 흔히 '기초론의 위기'라 부르는 논쟁의 불씨가 되었습니다. 프레게와 러셀의 논리주의 말고 두 입장이 더 있었습니다. 힐베르트의 형식주의⁠(formalism)⁠는 수학을 공리와 추론 규칙으로 이루어진 형식 체계⁠(formal system)⁠로 보고, 그 체계가 모순을 낳지 않음을 증명하자고 했습니다. 브라우어르의 직관주의⁠(intuitionism)⁠는 수학을 머릿속에서 한 걸음씩 해내는 구성으로 보고, 무한한 대상에 대해서는 'A이거나 A가 아니다'(배중률⁠, law of excluded middle⁠)를 믿을 수 없다고 했습니다(1908). 두 사람의 다툼은 1928년 힐베르트가 브라우어르를 학술지 『수학 연보』의 편집진에서 빼는 일로까지 번졌습니다. 1931년 괴델의 불완전성 정리⁠(incompleteness theorem)⁠는 힐베르트의 계획이 처음 바란 모습으로는 이루어질 수 없음을 보였습니다(그 증명의 생각은 「기계가 풀 수 없는 문제」에 있습니다). 세 입장은 어느 쪽도 완전히 이기지 못했지만 모두 흔적을 남겼습니다. 8절의 증명 보조기는 증명을 형식 체계 안에서 검사한다는 점에서 힐베르트의 후손이고, 그 가운데 Coq처럼 직관주의 논리⁠(intuitionistic logic)⁠를 기본으로 하는 타입 이론 위에 선 것은 브라우어르의 후손이기도 합니다.

7 · 로마'일반적인' 점이라는 말

이 절의 물음은 이것입니다. "대부분의 경우에 참"이라는 직관은 증명이 될 수 있을까? 직관이 뛰어난 학파가 이 물음을 건너뛰었다가 무너졌고, 그 자리를 메운 것이 새 이론이었습니다.

19세기 말부터 1930년대까지 로마를 중심으로 한 이탈리아의 기하학자들, 곧 귀도 카스텔누오보, 페데리고 엔리퀘스, 프란체스코 세베리는 다항식으로 정의되는 곡면을 분류하는 큰일을 해냈습니다. 예를 들어 구면은 $x^2 + y^2 + z^2 = 1$을 만족하는 점들이니 다항식으로 정의되는 곡면입니다. 이런 곡면을 몇 가지 종류로 가르는 것이 분류입니다.

그들의 무기는 기하학적 직관이었습니다. "일반적인 위치에 있는 점", "일반적인 곡선", 그리고 "연속성⁠(continuity)⁠의 원리"(특별한 경우에 성립하는 것은 조금 움직인 일반적인 경우에도 성립하고, 그 반대도 그렇다는 믿음) 같은 말이 증명의 중심에 있었습니다. 그런데 무엇이 '일반적'인지는 정의되지 않았습니다.

'일반적'이라는 말이 무엇을 숨기는지 작은 예로 봅시다. 수 t마다 곡선 $xy = t$를 하나씩 생각합니다. t = 1이면 $y = 1/x$이니 반비례 그래프입니다. t가 0이 아니면 모두 이런 곡선이고, 식 $xy - t$는 더 낮은 차수의 두 식의 곱으로 쪼개지지 않습니다. 이것을 곡선이 한 덩어리(기약)라고 합니다(실수⁠(real number)⁠의 그림에서는 가지 둘이 떨어져 보이지만, 식으로는 쪼개지지 않습니다). 그러니 "일반적인 t에서 이 곡선은 한 덩어리다"는 옳습니다.

그런데 t = 0이면 $xy = 0$, 곧 x = 0 또는 y = 0이라 곡선이 두 좌표축, 두 조각으로 쪼개집니다. 연속성의 원리를 믿고 t = 0에서 본 성질(두 조각)을 가까운 t로 옮기면 틀리고, 거꾸로 일반적인 t의 성질(한 덩어리)을 t = 0에 옮겨도 틀립니다. 어떤 곡선 하나에 대해 무언가를 증명하려는데 그 곡선이 하필 이런 예외에 해당한다면, '일반적으로 참'은 아무것도 말해 주지 않습니다. 예외가 어디인지 모르는 '일반적'은 증명의 도구가 될 수 없습니다.

엔리퀘스 시대까지 이 방법은 대체로 옳은 결과를 냈습니다. 그들의 곡면 분류는 1950–60년대에 고다이라 구니히코 등이 현대의 언어로 다시 증명했고, 큰 틀이 맞았습니다. 그러나 세베리가 학파를 이끈 뒤로 정확성이 무너졌습니다.

1921년 세베리는 차수(다항식의 가장 높은 거듭제곱)와 마디점(곡선이 제 몸을 가로지르는 점)의 수를 정한 평면 곡선들의 모임이 둘 이상의 조각으로 나뉘지 않는다(기약)는 증명을 책에 실었는데, 그 논증에는 빈틈이 있었습니다. 여기서 '곡선들의 모임'이란, 곡선 하나를 그 식의 계수들의 목록, 곧 여러 차원 공간의 점 하나로 보았을 때 조건을 만족하는 곡선들이 이루는 도형입니다. 앞의 곡선 $xy = t$들이 수 t 하나로 한 줄에 늘어서듯, 계수가 많으면 더 높은 차원의 도형이 됩니다. 이 명제는 참이었고, 옳은 증명은 1986년 조 해리스가 전혀 새로운 방법으로 내놓았습니다. 65년 걸린 셈입니다.

세베리의 모든 주장이 이렇게 운이 좋지는 않았습니다. 1930년대에 그는 곡면 위의 점들에 대해 이런 주장을 폈습니다. 점들을 어떤 규칙에 따라 '같은 것'으로 묶으면, 그 묶음 전체를 유한 개의 수로 적을 수 있을 만큼 작다는 것입니다. 1968년 데이비드 멈퍼드는 많은 곡면에서 이 묶음이 유한 개의 수로는 다 적을 수 없을 만큼 크다는 것을 보여, 이 주장이 거짓임을 밝혔습니다.

수리는 기초를 다시 놓는 일이었습니다. 로마에서 카스텔누오보에게 배운 오스카 자리스키와 프랑스의 앙드레 베유는 1930–40년대에 대수기하학을 3절의 아이디얼의 언어인 가환대수로 다시 썼습니다(베유의 『대수기하학의 기초』, 1946). 가환대수는 곱하는 순서를 바꿔도 되는 수 체계(정수나 다항식처럼)와 그 아이디얼을 다루는 분야입니다. 도형을 그 위에서 0이 되는 다항식들의 아이디얼로 바꿔 적으면, 눈으로 보던 성질을 계산으로 확인할 수 있게 됩니다.

1960년대 알렉산더 그로텐디크는 이를 '스킴'이라는 훨씬 넓은 틀로 새로 세웠습니다. 스킴의 첫 생각은 3절의 데데킨트와 닮았습니다. 수 대신 아이디얼을 쓰듯, 점 대신 아이디얼을 씁니다. 평면의 점 (1, 2)는 그 점에서 0이 되는 다항식 전체, 곧 아이디얼 (x − 1, y − 2)와 짝을 이룹니다. 아이디얼 (x − 1, y − 2)가 '점 (1, 2)에서 0이다'라는 조건이듯, 아이디얼 $(y - x^2)$는 '곡선 $y = x^2$ 위의 모든 점에서 0이다'라는 조건입니다. 스킴은 이 조건도 점 하나로 셉니다.

이 새 점은 곡선 위의 어느 한 자리에 있지 않고 곡선 전체를 대표합니다. 이것이 곡선의 일반점입니다. 이탈리아 학파의 모호한 말이 이 틀에서 정확한 대상이 된 것입니다. 한 덩어리인 도형에는 이런 일반점⁠(generic point)⁠이 실제로 하나 있습니다.

일반점에서 따진다는 것이 무엇인지는 $xy = t$로 보면 구체적입니다. t가 사는 직선의 일반점에서 따진다는 것은, t에 특정한 수를 넣지 않고 t를 글자로 둔 채 계산한다는 뜻입니다. 이때 t, t + 1처럼 0이 아닌 식으로는 나눌 수 있습니다. 예를 들어 글자 t로 $tx = 1$을 풀면 $x = 1/t$입니다. 이 풀이는 t로 나눈 한 번에 기대고 있으니, 실제 수를 넣을 때 틀리는 곳은 t = 0 하나뿐입니다. $xy - t$가 쪼개지지 않는다는 계산도 마찬가지로 't가 0이 아니다'에 한 번 기대고, 그래서 t = 0만 예외입니다.

이것이 일반적으로 성립합니다. 많은 성질에 대해 "일반점에서 성립하면 도형 곳곳에 빈틈없이 퍼진 열린 부분 전체에서 성립한다"는 것이 정리가 됩니다. 여기서 '열린 부분'은 도형에서 몇몇 곡선이나 점 같은 작은 예외만 빼고 남은 부분이라고 생각하면 됩니다. t의 직선이라면 유한 개의 t만 뺀 나머지입니다. 게다가 빼야 할 예외는 계산에서 0이 아니라고 여긴 식들이 0이 되는 곳이라, 계산을 보면 읽어 낼 수 있습니다.

흔히 '일반적인 경우에 참'을 '거의 언제나 참이니 사실상 참'으로 여기지만, 특정한 곡선 하나에 대해 무언가를 말하려면 그 곡선이 예외에 들지 않는다는 것을 따로 확인해야 합니다. 이탈리아 학파가 건너뛴 것이 바로 이 확인이었습니다. '대부분의 점에서 참'이라는 직관과 그 직관을 증명하는 일은 서로 다른 것이었고, 그 둘 사이를 잇는 다리가 새 이론이 되었습니다.

정리하면, 이탈리아 학파의 오류는 '대부분 참'이라는 느낌을 증명된 사실처럼 쓴 데 있었고, 그 느낌에 정확한 뜻을 준 것이 일반점입니다. 그로텐디크의 언어는 층과 토포스⁠(topos)⁠ 같은 개념으로 수학의 다른 분야들에도 퍼졌습니다.

학파가 기운 데에는 수학 밖의 사정도 있었습니다. 1938년 파시스트 정부의 인종법은 유대계 교수를 대학에서 쫓아냈고, 엔리퀘스는 로마 대학의 자리를 잃었습니다. 이미 은퇴한 카스텔누오보는 쫓겨난 유대계 학생들을 위해 비밀 강좌를 꾸렸습니다. 학파를 이끌던 세베리는 체제에 맞서지 않았습니다. 새 기초를 놓은 사람들도 전쟁과 망명의 길 위에 있었습니다. 러시아 제국 출신의 자리스키는 로마에서 공부한 뒤 1927년 미국으로 건너갔습니다. 베유는 1940년 소집에 응하지 않은 죄로 루앙의 감옥에 갇혀 있었는데, 그동안 유한체⁠(finite field)⁠ 위에서 정의된 곡선에 대한 리만 가설⁠(Riemann hypothesis)⁠의 증명을 구상해 그 요지를 그해 아카데미 회보에 발표했습니다. 유한체란 소수 p로 나눈 나머지⁠(remainder)⁠들처럼 원소가 유한 개인 수 체계입니다. 소수의 분포를 묻던 리만의 가설(「소수를 세는 사람들」 7절)을 기하학의 말로 옮긴 판이었습니다. 그 증명을 이탈리아식 직관 없이 엄밀하게 받치려면 대수기하학의 기초 전체를 다시 써야 했고, 그것이 1946년의 『대수기하학의 기초』였습니다.

8 · 2013년 프린스턴믿음이라는 빈틈

이 절의 물음은 이것입니다. 틀린 증명은 누가, 언제 찾아낼까? 그리고 믿을 만한 사람이 쓴 증명이라는 이유로 검사를 건너뛰면 무슨 일이 생길까?

지금까지의 오류는 수학의 문장 속에 있었습니다. 마지막 오류는 수학자들 사이에 있습니다. 2002년 필즈상⁠(Fields Medal)⁠을 받은 블라디미르 보예보츠키는 2014년 프린스턴 고등연구소의 강연에서 자신의 두 오류를 털어놓았습니다. 하나는 1992/93년에 쓴 논문의 핵심 보조정리였습니다. 여러 연구 모임이 세미나에서 이 논문을 읽고 자기 연구에 썼지만 아무도 오류를 알아채지 못했습니다. 1999/2000년 그가 고등연구소에서 연속 강의를 하는 동안 피에르 들리뉴가 강의를 받아 적으며 모든 단계를 확인했고, 그제야 보조정리가 거짓이라는 것이 드러났습니다. 다행히 더 약한 보조정리로 모든 응용을 살릴 수 있었고, 고친 논증은 2006년에 출판되었습니다.

다른 하나는 더 오래 갔습니다. 보예보츠키가 1989년 미하일 카프라노프와 함께 쓰고 1991년에 출판한 논문이 있습니다. 1998년 10월 카를로스 심프슨은 이 논문의 주요 결과가 성립할 수 없다는 논증을 공개했습니다. 두 저자는 비슷한 비판을 스스로 검토한 적이 있어 그것이 적용되지 않는다고 믿었습니다. 보예보츠키는 2013년 가을에야 자신들이 틀렸다고 확신했습니다. 심프슨은 반례를 내놓았지만 논문의 어느 줄이 틀렸는지는 짚지 못했습니다. 보예보츠키의 회고에 따르면, 사람들은 그 결과를 쓰지 않을 뿐 누구도 따지고 나서지 않았습니다.

믿을 만한 저자가 쓴 기술적인 논증은, 검사하기 어렵고 옳다고 알려진 논증들과 비슷해 보이면, 좀처럼 자세히 검사되지 않는다.— 블라디미르 보예보츠키, 프린스턴 고등연구소 강연(2014)

그 무렵 수학에서 가장 유명한 증명에도 같은 일이 있었습니다. 1993년 6월 케임브리지의 아이작 뉴턴 연구소에서 앤드루 와일스가 페르마의 마지막 정리를 증명했다고 발표했습니다. 1986년 켄 리벳이 페르마의 정리가 타원곡선에 관한 한 추측(다니야마–시무라 추측⁠(Taniyama–Shimura conjecture)⁠, 곧 유리수⁠(rational number)⁠ 계수의 타원곡선은 모두 모듈러 형식과 짝을 이룬다는 추측)의 일부에서 따라 나온다는 것을 보이자, 와일스는 그 추측에 매달려 7년 가까이 거의 혼자, 동료들에게도 알리지 않고 일했습니다. 쿰머가 아이디얼로 연 대수적 정수론이 그 도구 상자의 바탕이었습니다. 심사 과정에서 동료 니컬러스 카츠의 질문을 따라가다 핵심 논증의 빈틈이 드러났고, 와일스는 1년 넘게 매달린 끝에 1994년 9월 옛 제자 리처드 테일러와 함께 다른 길로 빈틈을 메웠습니다. 그 우회로는 '테일러–와일스 방법'이라는 이름으로 이후 정수론의 표준 도구가 되었습니다. 아래 그림은 이 글에 나온 오류들이 발표에서 발견까지 얼마나 살아 있었는지를 나란히 놓은 것입니다.

막대에 마우스를 올려 보면 무늬 하나가 보입니다. 분홍 막대의 오류는 다른 사람이 반례를 들고 오거나 틀린 곳을 짚어야 드러났고, 같은 자리에서 질문을 받은 라메를 빼면 그러기까지 5년에서 11년이 걸렸습니다. 코시의 정리와 카프라노프–보예보츠키 논문은 고쳐지거나 받아들여지기까지 20년이 넘게 걸렸습니다. 반면 청록 막대의 세 오류는 누군가가 모든 줄을 확인할 수밖에 없는 자리에 섰을 때 드러났습니다. 논문을 인쇄해야 했던 편집자 프라그멘, 강의를 받아 적던 들리뉴, 심사를 맡은 카츠입니다. 보예보츠키가 내린 결론은 그 자리를 기계에게 맡기는 것이었습니다. 그는 2000년대부터 증명 보조기로 수학을 검사할 수 있도록 기초를 다시 세우는 일에 매달렸고, 그 결과가 호모토피 타입 이론⁠(homotopy type theory)⁠과 일가 기초론(구조가 똑같은 두 대상을 같은 것으로 다루는 원리 위에 세운 기초)입니다(2012–13년 고등연구소 특별 연도의 참가자들이 함께 쓴 책이 2013년에 나왔습니다). 6절의 러셀이 모순을 막으려 세운 타입⁠(type)⁠이라는 생각이, 처치와 마르틴뢰프를 거쳐 한 세기 뒤 오류를 거르는 그물이 된 것입니다.

그물은 이미 쓰이고 있습니다. 4색 정리는 2005년 조르주 공티에가 Coq로 검사했고, 케플러 추측⁠(Kepler conjecture)⁠은 2014년 토머스 헤일스의 플라이스펙 계획으로 검사가 끝났습니다. 2020년 12월 페터 숄체는 자신도 모든 세부를 확신하지 못한다며 한 핵심 정리의 기계 검사를 공개적으로 청했고, 이 '액체 텐서⁠(tensor)⁠ 실험'은 2022년 7월 Lean으로 끝났습니다. 다만 기계가 검사하는 것은 형식 언어⁠(formal language)⁠로 적힌 명제의 증명입니다. 사람이 뜻한 명제를 형식 언어로 잘못 옮기면, 기계는 틀린 명제를 성실하게 검사합니다. 믿어야 할 것이 수백 쪽의 논증에서 작은 검사 프로그램과 명제의 번역으로 줄어들 뿐, 0이 되지는 않습니다.

1733년 사케리의 책과 1821년의 『해석학 강의』부터 2022년의 액체 텐서 실험까지. 수학 줄의 점들이 파리와 베를린에서 로마, 모스크바, 프린스턴으로 옮겨 가는 것을 보세요. 지도의 선은 편지와 논문, 강연이 오간 길입니다.

9 · 틀림의 해부학하나로 여긴 둘

이 절의 물음은 이것입니다. 일곱 오류에 공통된 모양이 있을까? 일곱 오류를 한 표에 놓아 봅시다.

이 무늬를 자세히 분석한 사람이 헝가리 출신의 철학자 임레 라카토슈입니다. 그는 스탈린 시대 헝가리에서 1950년부터 3년 동안 레치크 강제 수용소에 갇혔고, 1956년 혁명이 진압되자 빈을 거쳐 영국으로 망명해 케임브리지에서 두 번째 박사 학위를 받았습니다. 그 박사 논문(1961)은 『증명과 반박』의 바탕이 되었습니다. 1963–64년에 연재한 글을 그가 세상을 떠난 뒤인 1976년에 엮은 책입니다. 이 책에서 그는 오일러의 다면체 공식 $V - E + F = 2$가 액자 모양이나 구멍 뚫린 입체 같은 반례를 만나며 다듬어지는 과정을 교실 대화로 재구성했습니다. 반례가 나오면 증명을 버리지 않고 증명의 어느 단계가 반례에서 무너지는지 찾습니다. 그 단계가 말없이 기대던 '숨은 보조정리'를 정리의 가정으로 끌어올리면, 그 가정이 새 개념이 됩니다. 라카토슈는 이것을 '증명이 낳은 개념'이라 불렀고, 책의 부록에서 그 예로 든 것이 1절의 균등 수렴이었습니다.

흔히 증명에 오류가 있으면 정리가 틀린 것이라고 생각합니다. 이 글의 예들은 그렇지 않음을 보여 줍니다. 켐프가 증명하려던 4색 정리는 참이고, 세베리의 기약성도 참이며, 와일스의 정리도 참입니다. 코시의 정리는 가정 하나를 더하면 참입니다. 반대로 푸앵카레가 첫 판에서 얻은 안정성, 프레게의 체계, 카프라노프–보예보츠키의 주요 결과는 거짓이었습니다. 오류는 명제가 아니라 논증 속에 있고, 쓸모는 그것이 어느 단계에, 왜 있는지 정확히 찾아낸 데서 나왔습니다. 모든 오류가 이렇게 무언가를 낳지는 않습니다. 틀린 줄을 찾고도 "조심하자"로 끝나면 그뿐입니다. 이 글의 오류들이 특별했던 것은, 고친 사람들이 틀린 줄을 지우는 데서 멈추지 않고 그 줄이 뭉개고 있던 두 개념을 갈라 각각에 이름을 주었기 때문입니다.

거꾸로 된 경우도 있습니다. 틀린 결론 속에 옳은 수학이 들어 있었는데, 저자가 그것을 보지 못한 경우입니다. 1733년 밀라노의 예수회 수사 조반니 지롤라모 사케리는 『모든 흠에서 벗어난 유클리드』에서 평행선 공준⁠(parallel postulate)⁠을 증명하려고, 공준⁠(postulate)⁠이 거짓이라고 가정하고 모순을 찾아 나섰습니다. 그는 수십 개의 정리를 끌어냈는데, 그것들은 사실 모순 없는 새 기하학, 곧 쌍곡기하⁠(hyperbolic geometry)⁠의 정리들이었습니다. 끝내 모순이 나오지 않자 사케리는 결론이 "직선의 본성에 어긋난다"고 선언하며 증명을 마쳤습니다. 오류는 '낯설다'와 '모순이다'를 하나로 여긴 자리에 있었고, 그 둘을 가르는 데 한 세기가 더 걸렸습니다(「평행선의 반란」). 증명할 수 없다는 것을 어떻게 증명하는지는 「불가능의 증명」 5절에 있습니다.

10 · 이어지는 길오류가 연 문들

• 해석학으로: 코시의 오류가 가른 두 수렴은 점별 수렴과 균등 수렴⁠(pointwise and uniform convergence)⁠에서 예고로프의 정리까지 이어집니다. 급수가 불연속점 근처에서 끝까지 솟는 모습은 깁스 현상에서, 아벨의 급수가 속한 삼각급수의 세계는 「원에서 파동으로」와 푸리에 급수에서 볼 수 있습니다. 거듭제곱급수($a_0 + a_1 x + a_2 x^2 + \cdots$처럼 x의 거듭제곱에 계수를 붙여 끝없이 더한 급수)가 수렴반경(급수가 수렴하는 x의 범위를 정하는 반지름) 안에서 연속인 것도 균등 수렴 덕분입니다. 극한과 적분의 순서를 바꾸는 더 넓은 조건이 궁금하다면 르베그 적분⁠(Lebesgue integral)⁠으로 가세요.
• 정수론으로: 라메가 기대던 성질은 소인수분해의 유일성이고, 그것이 깨지고 되살아나는 과정은 유일 인수분해와 아이디얼에 있습니다. 유클리드 호제법이 왜 유일 인수분해를 떠받치는지, 복소수 가운데 가우스 정수⁠(Gaussian integer)⁠에서는 왜 여전히 괜찮은지도 거기서 이어집니다. 정수에서 분해가 하나뿐이라는 사실이 소수의 분포를 세는 오일러의 곱을 떠받치는 모습은 「소수를 세는 사람들」에, 페르마가 남긴 또 다른 정리가 오늘날 암호의 자물쇠가 된 이야기는 「나머지로 지키는 비밀」에 있습니다.
• 불가능으로: 아벨과 갈루아가 5차방정식의 근의 공식이 없음을 증명한 이야기, 그리고 그보다 앞선 루피니의 증명에 빈틈이 있어 받아들여지지 않았던 사연은 「불가능의 증명」 4절에 있습니다. 코시의 서류 더미에 묻혔던 아벨의 원고처럼, 옳은 증명이 제때 읽히지 못한 일도 오류만큼 흔했습니다.
• 그래프로: 켐프의 사슬과 아펠–하켄의 컴퓨터 증명은 4색 정리로, 그 증명을 사람 대신 기계가 믿게 만드는 일은 증명 보조기로 이어집니다. 지도를 그래프로 바꾸는 첫걸음은 「일곱 다리의 도시」에서 시작합니다.
• 혼돈으로: 푸앵카레의 얽힌 곡선은 삼체 문제에서 나와 혼돈과 동역학계로 갑니다. 한 줄짜리 식이 같은 제멋대로의 운동을 보이는 로지스틱 사상⁠(logistic map)⁠과 로렌츠 끌개⁠(Lorenz attractor)⁠는 「나비의 날갯짓」에서 직접 돌려 볼 수 있습니다.
• 논리로: 프레게의 법칙이 무너진 까닭은 대각선 논법과 멱집합의 크기에 있고, 같은 대각선이 정지 문제⁠(halting problem)⁠와 불완전성 정리에서 다시 나옵니다(「기계가 풀 수 없는 문제」). 러셀의 처방은 타입 이론과 커리–하워드 대응을 거쳐 「증명은 프로그램이다」로 이어집니다.
• 기초로: 보예보츠키가 오류를 막으려 세운 호모토피 타입 이론은 같음을 경로로 읽습니다. 자기 자신을 가리키는 문장이 모순과 한계를 낳는 무늬는 자기 참조⁠(self-reference)⁠에, 한 점의 성질이 전체로 퍼지는 조건을 묻는 무늬는 국소에서 전체로에 모여 있습니다.