수 체계: 자연수에서 실수까지(Number systems: from natural numbers to real numbers)

수는 한 번에 만들어지지 않았습니다. 셈에 쓰는 1, 2, 3, …에서 출발해, 계산이 막힐 때마다 그 계산이 늘 되도록 새 수를 들여왔습니다. 5 − 8이 막혀서 음수를, 2 ÷ 3이 막혀서 분수를, 넓이⁠(area)⁠가 2인 정사각형의 한 변이 분수로 적히지 않아서 무리수⁠(irrational number)⁠를 들였습니다. 그렇게 자연수⁠(natural number)⁠ ℕ, 정수 ℤ, 유리수 ℚ, 실수 ℝ가 차례로 생기고, 제곱해서 −1이 되는 수를 더한 복소수⁠(complex number)⁠ ℂ가 뒤따릅니다. 방정식을 하나 골라 어느 단계에서 처음 해가 생기는지 보세요: .

정수: 뺄셈을 위해. 자연수끼리는 더하고 곱해도 자연수이지만, 빼면 밖으로 나갈 수 있습니다. 음수는 빚을 적는 데 먼저 쓰였습니다. 중국의 『구장산술』(기원 전후에 엮인 산학책)은 양수와 음수를 더하고 빼는 규칙을 적었고, 3세기에 이 책에 주석을 단 유휘는 붉은 산가지⁠(counting rods)⁠와 검은 산가지로 둘을 구별한다고 설명했습니다. 628년 인도의 브라마굽타는 재산과 빚과 0으로 셈하는 규칙을 적었습니다. 0에서 빚을 빼면 재산이 된다는 식입니다. 유럽에서는 음수가 오래 의심을 받아서, 1637년 데카르트도 방정식의 음수 근을 '거짓 근'이라 불렀습니다.

그렇다면 정수를 '만든다'는 것은 정확히 무슨 뜻일까요? 19세기 수학자들은 뺄셈의 답을 계산하지 않은 채 자연수의 쌍 (a, b)로 적어 두었습니다. (a, b)는 'a − b가 될 무언가'이고, a + d = b + c이면 (a, b)와 (c, d)를 같은 것으로 칩니다. (3, 5), (1, 3), (10, 12)는 모두 −2입니다. 이렇게 같다고 칠 것끼리 한 덩어리로 묶는 약속이 동치관계⁠(equivalence relation)⁠이고, 덩어리 하나가 정수 하나입니다. 이 정의에는 자연수와 덧셈만 쓰였다는 점이 중요합니다. 새 수가 옛 수의 말로 완전히 적힙니다.

유리수: 나눗셈을 위해. 3x = 2에는 정수 해가 없습니다. 같은 방법으로 정수의 쌍 (p, q) (q ≠ 0)를 'p ÷ q'로 보고, ps = qr이면 (p, q)와 (r, s)를 같게 칩니다. 1/2과 2/4가 같은 수인 까닭입니다. 이제 0으로 나누는 것만 빼면 사칙연산의 결과가 모두 안에 머물고, 교환법칙⁠(commutative law)⁠·결합법칙⁠(associativity)⁠·분배법칙⁠(distributive law)⁠도 그대로 성립합니다. 이처럼 사칙연산이 안에서 닫히고 익숙한 계산 법칙이 모두 성립하는 수의 모임을 체라고 부릅니다. 유리수는 빽빽합니다. 두 유리수 사이에는 언제나 다른 유리수(예컨대 둘의 평균⁠(mean)⁠)가 있습니다. 그런데도 수직선에는 구멍이 있습니다.

실수: 극한을 위해. 넓이가 2인 정사각형의 한 변 x는 x² = 2를 만족하는데, 어떤 분수도 이 식을 풀지 못합니다(증명은 무리수에). 이 사실은 기원전 5세기 무렵 피타고라스 학파 안에서 알려졌다고 전해지고, 기원전 4세기의 에우독소스는 분수로 나타낼 수 없는 길이의 비까지 다루는 비례론⁠(theory of proportion)⁠을 만들었습니다. 이 이론은 유클리드 『원론』 5권에 남아 있습니다. 구멍을 가까이서 봅시다. 분수 x를 $(2x + 2)/(x + 2)$로 바꾸는 일을 한 번씩 되풀이해 봅시다. 1에서 출발한 초록 분수들은 제곱이 2보다 작고, 2에서 출발한 주황 분수들은 제곱이 2보다 큽니다.

왜 끝나지 않을까요? $y = (2x + 2)/(x + 2)$로 두고 계산하면 $y^2 - 2 = \dfrac{2(x^2 - 2)}{(x + 2)^2}$이고 $y - x = \dfrac{2 - x^2}{x + 2}$입니다. 그래서 x² < 2인 양의 유리수 x에서 시작하면 y도 제곱이 2보다 작은데 x보다 큽니다. 곧 제곱이 2보다 작은 양의 유리수 가운데 가장 큰 것은 없고, 같은 식으로 제곱이 2보다 큰 유리수 가운데 가장 작은 것도 없습니다. 두 무리 사이에 끼는 유리수도 없습니다. 끼는 수는 어느 무리에도 들지 않아야 하니 제곱이 정확히 2여야 하는데, 그런 유리수는 없기 때문입니다. 유리수만 있는 수직선에는 바로 그 자리에 점 하나만 한 구멍이 납니다.

1858년 11월 취리히에서 미적분⁠(calculus)⁠을 가르치던 리하르트 데데킨트는 이 구멍 자체를 수로 삼자고 생각했고, 1872년 『연속성⁠(continuity)⁠과 무리수』로 발표했습니다. 유리수 전체를 비어 있지 않은 왼쪽 무리 A와 오른쪽 무리 B로 가르되, A의 모든 수가 B의 모든 수보다 작고 A에는 가장 큰 수가 없게 합니다. (마지막 조건은 유리수 하나가 두 가지 가름으로 겹쳐 적히지 않게 하는 약속입니다.) 이런 가름을 데데킨트 절단⁠(cut)⁠이라 하고, 실수란 바로 이 절단이라고 정의합니다. B에 가장 작은 수 r이 있으면 그 절단은 유리수 r과 같은 것이고, 없으면(위 그림처럼) 새 수, 곧 무리수입니다. √2는 'A = 0 이하이거나 제곱이 2보다 작은 유리수, B = 나머지'라는 절단입니다. 크기 비교는 A끼리 포함 관계로, 덧셈은 A의 원소끼리 더한 것으로 정의하니 모든 것이 다시 유리수의 말로 적힙니다.

같은 해 칸토어는 다른 길을 냈습니다(프랑스의 샤를 메레가 1869년에 비슷한 생각을 먼저 발표했고, 바이어슈트라스도 베를린 강의에서 나름의 구성을 가르쳤습니다). 위 그림의 분수들처럼 뒤로 갈수록 항끼리 얼마든지 가까워지는 수열을 코시 수열⁠(Cauchy sequence)⁠이라 합니다. 정확히는, 아무리 작은 양수 ε을 정해도 어느 번째 항부터는 어떤 두 항의 차도 ε보다 작아지는 수열입니다. 이름은 코시가 1821년 『해석학⁠(mathematical analysis)⁠ 강의』에서 수렴⁠(convergence)⁠의 판정 기준으로 이 성질을 쓴 데서 왔습니다. 유리수로 된 코시 수열이 유리수로 수렴하지 않을 수 있다는 것이 구멍의 또 다른 모습입니다. 칸토어는 코시 수열 하나하나가 실수를 가리킨다고 보고, 차가 0으로 가는 두 수열은 같은 실수로 쳤습니다(다시 동치관계). 초록 수열과 주황 수열은 차가 0으로 가니 같은 실수 √2를 가리킵니다. 소수 전개⁠(decimal expansion)⁠ 1, 1.4, 1.41, 1.414, …도 같은 실수를 가리키는 코시 수열입니다.

두 방법이 만든 수 체계는 크기 비교와 사칙연산을 그대로 지키며 일대일로 맞대응되므로, 같은 ℝ로 봅니다. 그 ℝ에는 더 이상 구멍이 없습니다. 이 성질을 완비성⁠(completeness)⁠이라 하고, 흔히 '위로 유계인(어떤 수보다 큰 원소⁠(element)⁠가 없는), 공집합⁠(empty set)⁠이 아닌 실수 집합⁠(set)⁠에는 가장 작은 상계(upper bound), 곧 상한(supremum)이 있다'로 적습니다. {1, 1.4, 1.41, 1.414, …}의 상한이 √2입니다. 실수로 된 코시 수열은 언제나 어떤 실수로 수렴한다고 말해도 같습니다. 다만 이 둘째 표현은 '어떤 수든 1을 충분히 여러 번 더하면 넘어선다'는 아르키메데스 성질과 함께 써야 첫째 표현과 같아집니다. 극한이 있다는 보장, 중간값 정리⁠(intermediate value theorem)⁠, 넓이를 정하는 정적분⁠(definite integral)⁠이 모두 이 성질 위에 서 있습니다. 유리수만 가지고는 x² − 2가 1에서 음수, 2에서 양수여도 그 사이에서 0이 되는 점이 없습니다.

ℕ ⊂ ℤ ⊂ ℚ는 모두 셀 수 있는 무한이지만 ℝ는 대각선 논법⁠(diagonal argument)⁠에 따라 셀 수 없습니다. 구멍을 메운 수가 원래 있던 수보다 훨씬 많은 셈입니다. 정수 계수 방정식의 근인 대수적 수⁠(algebraic number)⁠도 셀 수 있으니, 그것을 빼고 남는 π 같은 초월수⁠(transcendental number)⁠는 셀 수 없이 많습니다. 길이로 재도 대수적 수 전체는 측도 0⁠(measure zero)⁠이어서, 0과 1 사이에서 실수 하나를 고르게(어느 구간이든 길이에 비례하는 확률⁠(probability)⁠로) 뽑으면, 그 수는 확률 1로 초월수입니다. 마지막 단계 ℝ → ℂ에서는 x² = −1을 풀려고 i를 들이고, 그 대가로 덧셈·곱셈과 어울리는 크기 비교(양수끼리 곱하면 양수인 순서)를 잃습니다. i > 0이면 i·i > 0이고 i < 0이면 (−i)·(−i) > 0이어서, 어느 쪽이든 −1 > 0이 되기 때문입니다. 더 나아간 해밀턴의 사원수(1843)는 곱셈의 교환법칙마저 내려놓습니다. 앞 단계들도 공짜는 아니었습니다. ℤ에는 가장 작은 수가 없고, ℚ에는 '바로 다음 수'가 없고, ℝ는 셀 수 없습니다. 확장할 때마다 새 계산이 가능해지는 대신 옛 성질 하나를 잃습니다.

그러면 맨 처음의 자연수는 무엇일까요? 1888년 데데킨트와 1889년 페아노는 자연수를 '다음 수'와 수학적 귀납법⁠(mathematical induction)⁠에 관한 몇 개의 공리⁠(axiom)⁠로 정했고, 20세기에는 자연수마저 집합으로 지었습니다(0 = ∅, 1 = {0}, 2 = {0, 1}, …). 독일 수학자 레오폴트 크로네커가 했다고 전하는 말, '정수는 신이 만들었고 나머지는 모두 사람이 만들었다'는 이 사다리를 아래에서 본 말입니다.

이어지는 곳. 실수를 유리수로 다가가는 방법으로는 진법⁠(positional notation)⁠의 소수 전개와 연분수⁠(continued fraction)⁠가 있고, 황금비⁠(golden ratio)⁠는 연분수의 항이 모두 1이어서 분수로 가장 다가가기 어려운 수입니다. 실수의 극한으로 무한한 합에 뜻을 주는 일은 급수의 수렴과 발산⁠(convergence and divergence of series)⁠에서, 실수 위에서 길이를 재는 일은 측도 0과 르베그 적분⁠(Lebesgue integral)⁠에서, 무한의 크기는 집합의 크기⁠(cardinality)⁠와 연속체 가설⁠(continuum hypothesis)⁠에서 이어집니다. 복소수까지 넓히면 상수가 아닌 모든 다항식⁠(polynomial)⁠이 1차식의 곱으로 쪼개집니다. 정수 안에서의 나눗셈은 정수론(소수⁠(prime number)⁠, 모듈러 연산⁠(modular arithmetic)⁠)으로 갑니다. 역원⁠(inverse element)⁠이 있게 하려고 수를 넓혀 온 이 이야기는 군의 이야기이기도 하고, 수의 바탕을 무엇에 둘지는 수학 기초론 논쟁⁠(debate on the foundations of mathematics)⁠의 주제였습니다. 무한을 다루는 태도 전체는 무한을 다루는 법에서 볼 수 있습니다.