페르마의 마지막 정리(Fermat's Last Theorem)

지수가 2이면 답이 많습니다. $3^2 + 4^2 = 9 + 16 = 25 = 5^2$이고, (5, 12, 13), (8, 15, 17)처럼 $x^2 + y^2 = z^2$을 만족하는 양의 정수 세 쌍은 끝없이 많습니다(피타고라스 세 쌍⁠, Pythagorean triples⁠). 지수를 3으로 올리면 사정이 달라집니다. $6^3 + 8^3 = 216 + 512 = 728$인데 $9^3 = 729$라서 딱 1이 모자랍니다. 이렇게 아깝게 빗나가는 예는 찾을 수 있어도, 정확히 맞는 예는 아무리 찾아도 나오지 않습니다. 페르마의 마지막 정리는 이것이 우연이 아니라는 정리입니다.

정확히 적으면 이렇습니다. n이 3 이상인 정수이면 $x^n + y^n = z^n$을 만족하는 양의 정수 x, y, z는 없습니다. 여기서 $x^n$은 x를 n번 곱한 값입니다. '양의'라는 조건은 빼면 안 됩니다. 0을 허락하면 $0^n + 1^n = 1^n$ 같은 뻔한 해가 생기기 때문입니다. 한편 양의 분수로 넓혀도 해가 없다는 것은 같은 말입니다. 분수 해가 있으면 세 분수를 공통분모 d로 통분한 뒤 양변에 $d^n$을 곱해 정수 해를 만들 수 있기 때문입니다.

이름의 사연은 이렇습니다. 17세기 프랑스의 법관이자 수학자 피에르 드 페르마는 3세기 알렉산드리아의 디오판토스가 쓴 『산술』의 라틴어판을 읽으며 여백에 메모를 남겼습니다. 그 가운데 하나가 이 주장이고, 그는 놀라운 증명을 찾았지만 여백이 좁아 적지 않는다고 덧붙였습니다. 그런데 메모가 적힌 책은 남아 있지 않습니다. 그가 죽은 뒤 1670년 아들 사뮈엘이 아버지의 메모를 넣어 펴낸 디오판토스의 책으로만 전하고, 적은 때도 1637년 무렵으로 짐작할 뿐입니다. '여백이 좁아 증명을 적지 못했다'는 이야기는 일화로 널리 퍼졌지만 뒷받침하는 것은 메모 한 줄뿐이고, 페르마가 올바른 일반 증명을 가졌다고 믿는 수학자는 거의 없습니다. 그가 남긴 다른 주장들이 증명되거나 반박된 뒤에도 이것만 끝까지 남았기 때문에 '마지막' 정리라 부릅니다. 이름과 달리 350여 년 동안은 추측이었던 셈입니다.

수학자들은 지수를 하나씩 공략했습니다. n = 4인 경우는 페르마 자신이 남긴 논증으로 풀립니다. 해가 있다고 하면 그보다 작은 양의 정수 해가 또 생기고, 양의 정수가 끝없이 작아질 수는 없으니 처음부터 해가 없었다는 '무한 강하법⁠(infinite descent)⁠'입니다(수학적 귀납법⁠(mathematical induction)⁠을 거꾸로 쓴 논법). n = 3은 18세기에 오일러가, n = 5는 1825년 디리클레와 르장드르가, n = 7은 1839년 가브리엘 라메가 증명했습니다.

모든 n을 하나씩 할 필요는 없습니다. 예를 들어 $x^6 + y^6 = z^6$의 해가 있다면 $(x^2)^3 + (y^2)^3 = (z^2)^3$이니 n = 3의 해가 됩니다. 그래서 n = 3에 해가 없으면 n = 6에도 없습니다. 3 이상의 정수는 모두 4의 배수⁠(multiple)⁠이거나 홀수인 소수⁠(prime number)⁠의 배수이므로, n = 4와 n이 홀수인 소수 p인 경우만 증명하면 충분합니다. 19세기 초 소피 제르맹은 이런 소수 지수를 하나씩이 아니라 여럿 한꺼번에 다루는 첫 일반적 결과를 얻었습니다(x, y, z가 모두 p의 배수가 아닌 해에 한한 결과입니다).

1847년 3월 라메는 파리 과학 아카데미에서 모든 지수에 대한 증명을 발표했습니다. 그는 $x^p + y^p$를 1의 거듭제곱근⁠(roots of unity)⁠을 써서 일차식들의 곱으로 쪼갰는데, 그 논증은 이렇게 넓힌 수의 세계에서도 소인수분해⁠(prime factorization)⁠가 한 가지뿐이라는 가정에 기대고 있었습니다. 독일의 에른스트 쿰머는 그 가정이 p = 23에서 처음 깨진다는 것을 이미 알고 있었고, '이상수⁠(ideal number)⁠'라는 가상의 인수를 덧붙여 분해를 되살렸습니다. 그는 분해가 깨진 정도를 재는 수(유수⁠, class number⁠)를 p가 나누지 않는 소수를 정규 소수라 부르고, 정규 소수⁠(regular prime)⁠ 지수에서는 정리가 성립함을 증명했습니다. 100보다 작은 소수 가운데 정규가 아닌 것은 37, 59, 67뿐입니다. 이 수습에서 정수를 넓힌 수 체계⁠(number system)⁠의 산술을 다루는 대수적 정수론⁠(algebraic number theory)⁠과 아이디얼⁠(ideal)⁠이 태어났습니다.

20세기의 증명은 전혀 다른 길로 왔습니다. 먼저 타원곡선⁠(elliptic curve)⁠은 $y^2 = x^3 + ax + b$처럼 y의 제곱이 x의 3차식과 같다는 식이 그리는 곡선입니다(이름과 달리 타원⁠(ellipse)⁠은 아닙니다). 한편 모듈러 형식은 복소수⁠(complex number)⁠ 평면의 위쪽 절반에서 정의된 함수⁠(function)⁠로, 정해진 여러 변환을 해도 정해진 규칙대로만 바뀌는, 대칭이 아주 많은 함수입니다. 일본의 다니야마 유타카와 시무라 고로의 이름이 붙은 다니야마–시무라 추측⁠(Taniyama–Shimura conjecture)⁠은, 계수가 유리수⁠(rational number)⁠인 타원곡선은 모두 어떤 모듈러 형식⁠(modular form)⁠과 짝을 이룬다는 것이었습니다. 이런 곡선을 모듈러라고 합니다.

'짝을 이룬다'는 말은 손으로 확인해 볼 수 있습니다. 곡선 $y^2 + y = x^3 - x^2$을 봅시다. 소수 p를 하나 골라, 0부터 p − 1까지의 x, y 가운데 양변을 p로 나눈 나머지⁠(remainder)⁠가 같은 쌍의 개수를 $N_p$라 합니다(모듈러 연산⁠, modular arithmetic⁠). p = 5이면 x = 0, 1일 때 오른쪽이 0이고, 왼쪽 $y^2 + y$를 5로 나눈 나머지가 0인 y는 0과 4이니 여기서 네 쌍이 나옵니다. x = 2, 3, 4일 때 오른쪽의 나머지는 4, 3, 3인데, 왼쪽의 나머지는 y = 0, 1, 2, 3, 4에 대해 0, 2, 1, 2, 0뿐이라 쌍이 없습니다. 그래서 $N_5 = 4$이고 $5 - N_5 = 1$입니다. 같은 셈을 p = 2, 3, 7에서 하면 $p - N_p$는 −2, −1, −2입니다.

이제 곱 $q\prod_{n \ge 1}(1-q^n)^2(1-q^{11n})^2$을 봅시다. ∏는 n = 1, 2, 3, …에 대해 괄호 안의 식을 모두 곱하라는 기호입니다. 이 곱을 전개하면 $q - 2q^2 - q^3 + 2q^4 + q^5 + 2q^6 - 2q^7 + \cdots$이고, $q = e^{2\pi i z}$로 두면 z의 함수가 되는데 이 함수가 모듈러 형식입니다. $q^2, q^3, q^5, q^7$의 계수 −2, −1, 1, −2가 방금 곡선에서 센 값과 똑같습니다. 이 일치는 이 몇 개에서 그치지 않고 모든 소수에서 이어집니다. 추측은 유리수 계수의 모든 타원곡선에 이런 짝이 있다는 것입니다.

이 추측이 페르마와 이어진 것은 1980년대입니다. 독일의 게르하르트 프라이는 5 이상의 소수 p에 대해 $a^p + b^p = c^p$의 양의 정수 해가 있다면 그 해로 곡선 $y^2 = x(x - a^p)(x + b^p)$을 만들 수 있고, 이 곡선은 너무 특이해서 모듈러일 수 없으리라고 내다보았습니다. 1986년 켄 리벳이 이것을 증명했습니다. 그러니 그 곡선이 속하는 부류에서 추측이 참이면 그런 곡선은 있을 수 없고, 해도 없습니다. 이 소식을 들은 영국의 앤드루 와일스는 7년 가까이 거의 혼자 이 부류의 추측에 매달렸고, 1993년 6월 영국 케임브리지에서 열린 강연에서 증명을 발표했습니다. 심사 중에 핵심 논증의 빈틈이 드러났지만, 와일스는 1994년 9월 옛 제자 리처드 테일러와 함께 다른 길로 빈틈을 메웠고, 두 사람의 논문은 1995년에 출판되었습니다. 와일스가 증명한 것은 추측 전체가 아니라 페르마의 정리에 필요한 부류(반안정 타원곡선⁠, semistable elliptic curve⁠)였습니다. 추측 전체는 2001년 테일러를 비롯한 네 사람이 완성했고, 오늘날 모듈러성 정리라 부릅니다.

이 증명은 긴 논문 두 편과, 그 밑에 깔린 수십 년 치의 이론에 기대고 있습니다. 이런 증명을 믿을 수 있게 하는 방법의 하나가 모든 단계를 컴퓨터 프로그램이 검사하는 증명 보조기⁠(proof assistant)⁠로 옮기는 것입니다. 2024년 10월 영국 임피리얼 칼리지의 케빈 버저드는 이 증명을 사람들이 함께 증명 보조기 Lean으로 옮기는 5년짜리 계획을 시작했습니다. 그런데 앤트로픽은 자사의 언어 모델⁠(language model)⁠ Claude 에이전트⁠(agent)⁠ 여럿이 2026년 8월 7일부터 11일 동안 증명 전체를 Lean으로 옮겼다고 발표했습니다. 발표에 따르면 와일스와 테일러의 논증을 다몽, 다이아몬드, 테일러가 1995년에 정리한 판을 따랐고, 첫 단계의 환원은 버저드 계획의 설계도를 따랐으며, Lean의 표준 공리⁠(axiom)⁠ 셋 말고는 아무것도 가정하지 않았습니다. 다만 기계가 쓴 1,300만 줄 남짓의 코드는 아직 사람이 읽고 다듬어 Lean의 공용 수학 라이브러리 mathlib에 들일 수 있는 꼴이 아니고, 이미 있는 증명을 옮긴 것이지 새 수학을 보탠 것은 아닙니다.

이어지는 곳. n = 2의 해를 모두 만드는 방법은 피타고라스 세 쌍에, 라메의 빈틈에서 태어난 개념은 유일 인수분해와 아이디얼에, 나머지로 셈하는 세계는 모듈러 연산에, 정수 해를 묻는 수학 전체의 지도는 정수론⁠(number theory)⁠에 있습니다. 여백의 주인은 페르마, 정규 소수는 쿰머, 첫 일반적 결과는 소피 제르맹의 페이지에서 이어집니다. 기계가 증명을 검사하는 방식은 증명 보조기에 있습니다. 라메의 발표와 리우빌의 질문, 쿰머의 이상수는 「틀린 증명이 만든 수학」 2–3절이, 와일스의 빈틈이 드러나고 메워진 과정은 같은 글 8절이 따라갑니다. 증명 보조기의 역사와 Lean으로 옮긴 이야기는 「증명은 프로그램이다」 9–10절에, 타원곡선이 오늘날 암호에도 쓰인다는 이야기는 「나머지로 지키는 비밀」 9절에 있습니다.