소인수분해(prime factorization)가 한 가지뿐이라는 성질은 수의 세계마다 따로 증명해야 하는 정리다. a + b√−5 꼴의 수에서는 6 = 2·3 = (1 + √−5)(1 − √−5)처럼 깨지고, 수 대신 아이디얼(ideal)로 쪼개면 다시 한 가지가 된다.
정수(integer)에서는 6=2×3이고, 다른 방법은 없습니다. 이제 a+b−5 (a, b는 정수) 꼴의 수들을 생각합시다. 더하고 빼고 곱해도 같은 꼴이 나오는 수의 모임이고, Z[−5]라고 씁니다. 이 세계에서는
6=2⋅3=(1+−5)(1−−5)
이고, 네 인수 2, 3, 1±−5는 모두 더 쪼갤 수 없습니다. 증명은 크기를 재는 잣대 노름(norm)N(a+b−5)=a2+5b2으로 합니다. 노름은 복소평면(complex plane)에서 원점까지 거리의 제곱이고, N(αβ)=N(α)N(β)를 만족합니다. 네 인수의 노름은 4, 9, 6, 6이므로, 어느 하나가 쪼개지려면 노름이 2나 3인 인수가 있어야 합니다. 그런데 a2+5b2=2나 3인 정수는 없습니다. 곱셈의 역원(inverse element)이 있는 수(단원)는 ±1뿐이니, 두 분해는 순서나 단원의 차이가 아니라 정말로 다릅니다. 산술의 기본정리(fundamental theorem of arithmetic), 곧 소인수분해가 한 가지뿐이라는 성질이 여기서는 성립하지 않습니다.
무엇이 달라졌을까요? 정수에서 '소수(prime number)'라는 말은 두 성질을 함께 뜻합니다. 기약원은 단원이 아니면서 단원과 자기 자신의 단원배 말고는 약수(divisor)가 없는 수이고, 소원은 곱 ab를 나누면 반드시 a나 b를 나누는 수입니다. 정수에서는 유클리드의 보조정리(lemma)가 기약원(irreducible element)이면 소원임을 보장합니다. 그 보조정리는 나머지가 있는 나눗셈, 곧 유클리드 호제법(Euclidean algorithm)에서 나옵니다. Z[−5]의 2는 기약원이지만 소원이 아닙니다. 곱 (1+−5)(1−−5)=6을 나누는데, (1±−5)/2가 이 세계의 수가 아니라서 어느 인수도 나누지 않습니다. 일반적으로, 0도 단원도 아닌 모든 수가 기약원들의 곱으로 쪼개지는 세계에서 분해가 한 가지뿐이다와 모든 기약원이 소원이다는 같은 말입니다. 소원이면 분해의 양쪽에서 짝을 찾아 지워 나갈 수 있고, 거꾸로 소원이 아닌 기약원이 있으면 위와 같은 두 분해가 생기기 때문입니다.
그러니 유일 인수분해는 '수의 법칙'이 아니라 수의 세계마다 따로 증명해야 하는 정리입니다. 흔히 당연하게 여기지만, 1847년 파리에서 가브리엘 라메가 페르마의 마지막 정리(Fermat's Last Theorem)를 증명했다고 발표했을 때 바로 이 가정이 빈틈이었습니다. 그는 1의 p제곱근 ζ를 써서 xp+yp=∏k(x+ζky)로 쪼갠 뒤 정수처럼 추론했는데, 브레슬라우의 에른스트 쿰머는 이미 1844년에 이런 원분 정수(cyclotomic integer)에서 유일 인수분해가 깨질 수 있음을 보였습니다. 처음 깨지는 것은 p=23입니다. 나눗셈이 되는 세계에서는 유일 인수분해가 성립합니다. 정수, 가우스 정수(Gaussian integer)a+bi(노름 a2+b2로 나머지를 줄일 수 있습니다), 계수가 실수(real number)나 유리수(rational number)인 다항식(polynomial)이 그렇습니다.
쿰머는 빠진 인수를 '이상적인 수'로 채웠고, 1871년 리하르트 데데킨트가 그것을 구체적인 대상으로 바꾸었습니다. 아이디얼은 더하기에 닫혀 있고 이 세계의 아무 수를 곱해도 빠져나가지 않는 수의 모임입니다. 수 α의 배수(multiple) 전체 (α)가 가장 단순한 예이고, 정수에서 "3이 6을 나눈다"는 "(6)⊆(3)"과 같습니다. 나눈다는 것이 품는다는 것이니, 수가 없는 자리에서도 약수를 말할 수 있습니다. 2와 1+−5를 봅시다. 둘의 공약수는 노름이 4와 6을 함께 나누어야 하는데 노름 2인 수가 없으니, 공약수는 단원 ±1뿐입니다. 그런데 정수에서라면 공약수가 1뿐인 두 수 m, n으로 mx+ny=1을 만들 수 있지만(베주 항등식, Bézout's identity), 여기서는 2x+(1+−5)y가 1이 되는 x, y가 없습니다. 이 꼴의 수는 모두 a와 b의 홀짝이 같기 때문입니다. 수로는 담을 수 없는 이 '공통 인수'를, 2x+(1+−5)y를 모두 모은 아이디얼 P=(2,1+−5)가 담습니다. 아래 그림에서 아이디얼을 로 골라 보세요.
회색 점이 ℤ[√−5]의 수 a + b√−5(가로 a, 세로 b√5), 색 점이 고른 아이디얼의 수입니다. 칠한 평행사변형은 아이디얼을 격자로 보았을 때의 기본 칸이고, 넓이(area)는 온 격자 칸의 '노름'배입니다. 수 하나로 만든 아이디얼이면 칸은 생성원(노란 고리)과 그 √−5배가 이루는 직사각형, 곧 온 격자 칸을 돌리고 늘인 것입니다.
그림에서 보이듯 아이디얼은 평면 격자 속의 작은 격자입니다. 남은 점이 몇 개 가운데 하나인지가 아이디얼의 노름이고, 수 하나로 만든 아이디얼 (α)는 온 격자를 α만큼 돌리고 늘인 복사본입니다. P는 온 격자와 모양이 다르니 어떤 수의 배수 전체도 아닙니다. 아이디얼끼리의 곱(원소끼리의 곱들을 더한 것)을 계산하면
(2)=P2,(3)=QQ′,(1+−5)=PQ,(1−−5)=PQ′
이고(여기서 Q=(3,1+−5), Q′=(3,1−−5)), 두 분해는 모두 (6)=P2QQ′입니다. 2⋅3은 이 네 조각을 (PP)(QQ′)로, (1+−5)(1−−5)는 (PQ)(PQ′)로 묶은 것입니다. 정수에서 12=3⋅4=2⋅6이 같은 조각 1⋅3⋅2⋅2를 다르게 묶은 것과 똑같습니다. 데데킨트의 정리에 따르면 수체의 정수환(유리수에 대수적 수(algebraic number)를 붙인 체 안에서, 최고차 계수가 1인 정수 계수 다항식의 근이 되는 수들)에서는 0이 아닌 모든 아이디얼이 소 아이디얼(prime ideal)들의 곱으로 순서를 빼면 한 가지로만 쪼개집니다. 증명의 열쇠는 0이 아닌 아이디얼마다 곱해서 전체가 되는 '역' 아이디얼이 있다는 사실이고, 이것을 보이는 부분이 증명에서 가장 품이 듭니다. 뒤에 에미 뇌터는 이런 성질을 가진 환을 공리(axiom)로 특징지었고, 오늘날 데데킨트 정역(Dedekind domain)이라 부릅니다.
얼마나 깨졌는지도 잴 수 있습니다. 아이디얼을 수 하나로 만든 아이디얼의 곱만큼의 차이를 무시하고 모으면 유한군(finite group)이 되는데, 그 원소(element) 수를 유수라 합니다. 유수(class number)가 1이면 모든 아이디얼이 수 하나로 만들어지고 유일 인수분해가 성립합니다. 수체의 정수환에서는 거꾸로도 맞아서, 유일 인수분해가 성립하면 유수가 1입니다. Z[−5]의 유수는 2입니다. 그림으로 말하면 아이디얼 격자의 모양이 (돌리고 늘인 것을 같게 보면) 두 가지뿐입니다. 온 격자 모양과 P 모양이고, Q와 Q′는 P 모양입니다. 23제곱근의 원분 정수는 유수가 3입니다. 쿰머는 소수 p가 제 원분 정수의 유수를 나누지 않으면(정규 소수, regular prime), 아이디얼의 언어로 라메의 논증을 고쳐 그 p에 대해 페르마의 마지막 정리가 성립함을 보였습니다. 23은 유수 3을 나누지 않으므로 정규 소수이고, 처음 나오는 비정규 소수는 37입니다. 음수의 제곱근을 붙인 수체 Q(−d)의 정수환에서 유일 인수분해가 성립하는 양의 정수 d(제곱 인수가 없는 것)는 1, 2, 3, 7, 11, 19, 43, 67, 163의 아홉 개뿐입니다. 가우스가 1801년 이차 형식(quadratic form)의 언어로 추측한 이 목록은 1952년 쿠르트 헤그너, 1966–67년 앨런 베이커와 해럴드 스타크가 완성했습니다.
이어지는 곳. 정수에서 유일성이 왜 성립하는지는 소인수분해와 유클리드 호제법에서, 가우스 정수에서 소수가 두 제곱수(perfect square)의 합으로 쪼개지는 모습은 복소수(complex number)에서 이어집니다. 라메의 빈틈이 페르마의 마지막 정리를 어떻게 돌려세웠는지, 그리고 균등 수렴(uniform convergence)과 4색 정리(four color theorem)와 혼돈(chaos)이 같은 방식으로 틀린 증명에서 태어난 이야기는 긴 글 「틀린 증명이 만든 수학」에 있습니다. 아이디얼은 정수론(number theory) 밖으로 퍼져, 힐베르트와 뇌터를 거쳐 추상대수학의 기본 언어가 되었고, 다항식의 아이디얼이 도형과 짝을 이루며 대수기하학의 언어가 되었습니다.