니콜라이 루진(Nikolai Luzin)

니콜라이 루진은 1883년 시베리아의 이르쿠츠크에서 태어나 대학 도시 톰스크에서 자랐습니다. 김나지움 시절 그는 수학을 외워서 푸는 과목으로 여겨 성적이 나빴는데, 가정교사가 문제를 스스로 생각하는 법을 보여 준 뒤로 수학에 빠졌다고 전합니다. 1901년 모스크바 대학에 들어간 그는 드미트리 예고로프의 제자가 되었습니다. 그 무렵 러시아는 1905년 혁명으로 흔들렸고, 수학은 두 가지 새 물음 앞에 서 있었습니다. 프랑스의 르베그가 막 만든 측도와 적분⁠(integral)⁠으로 푸리에 급수⁠(Fourier series)⁠를 어디까지 이해할 수 있는가, 그리고 칸토어의 집합론⁠(set theory)⁠에서 역설이 드러난 뒤 어떤 집합⁠(set)⁠을 정말 '있다'고 말해도 되는가. 루진의 평생은 이 두 물음 사이에 있었습니다.

나이 세 ·

대학 시절 그는 깊은 정신적 위기를 겪었습니다. 혁명기의 폭력과 가난을 보며 수학이 무슨 쓸모가 있느냐고 괴로워했고, 의학이나 철학으로 옮길 생각까지 했습니다. 이 시기 그가 가까운 친구인 파벨 플로렌스키에게 보낸 편지들이 남아 있습니다. 플로렌스키는 부가예프의 제자로 수학을 공부한 뒤 신학자이자 사제가 된 사람이었습니다. 스승 예고로프의 설득과 도움으로 그는 수학에 남았고, 1906년 졸업한 뒤 교수 준비생으로 대학에 머물렀습니다. 1910년부터 1914년까지는 괴팅겐과 파리에서 공부하며 보렐, 아다마르, 르베그, 아르노 당주아 같은 프랑스 해석학자들과 사귀었습니다. 그가 평생 프랑스어로 중요한 논문을 쓰고 프랑스 학자들과 가까웠던 것은 이때부터입니다.

1912년 그는 오늘날 루진 정리라 불리는 결과를 발표했습니다. 닫힌 구간 [a, b] 위에서 측도를 잴 수 있고 값이 유한한 함수라면, 원하는 만큼 작은 길이의 점들만 빼면 남은 점들 위에서는 연속이라는 것입니다. 무슨 뜻인지 가장 까다로운 예로 봅시다. 유리수⁠(rational number)⁠에서 1, 무리수⁠(irrational number)⁠에서 0인 함수는 모든 점에서 불연속입니다. 어느 점 가까이에나 값이 1인 점과 0인 점이 섞여 있기 때문입니다. 그런데 유리수 전체는 길이의 합이 ε보다 작은 열린 구간들로 덮을 수 있으니(측도 0⁠, measure zero⁠), 그 구간들을 빼면 남은 점은 모두 무리수이고 거기서 함수는 늘 0입니다. 남은 점들만 놓고 보면 함수는 완벽하게 연속입니다. 정리의 요점은 '빼고 남은 점들만 볼 때' 연속이라는 데 있습니다. 원래 함수가 그 점들에서 연속이 되는 것은 아닙니다. 그러나 [a, b] 전체에서 연속인 함수를 하나 골라, 남은 점들 위에서는 원래 함수와 값이 똑같게 만들 수 있습니다. 측도가 있는 함수는 아무리 사나워 보여도, 작은 예외만 치우면 연속 함수와 구별되지 않는다는 뜻입니다(르베그 적분과 측도⁠, Lebesgue integral and measure⁠). 한 해 앞서 스승이 증명한 예고로프 정리⁠(Egorov's theorem)⁠와 짝을 이루는 결과입니다.

1914년 모스크바로 돌아온 그는 1915년 학위 논문 『적분과 삼각급수』를 펴냈고, 그 심사에서 석사를 건너뛰어 곧바로 박사 학위를 받았습니다. 논문의 물음은 삼각급수에서 나왔습니다. 삼각급수는 사인과 코사인⁠(sine and cosine)⁠을 무한히 더한 식이고, 어떤 함수의 푸리에 급수는 그 함수에서 계수를 계산한 삼각급수입니다. 첫째 물음은 유일성입니다. 어떤 삼각급수가 모든 점에서 0으로 수렴⁠(convergence)⁠하면 계수가 모두 0이어야 하는가? 1870년 칸토어가 그렇다고 증명했고, 몇몇 점에서 수렴하지 않아도 되는 예외의 집합을 따지다가 집합론을 시작했습니다. 1916년 루진의 제자 드미트리 멘쇼프는 측도 0인 집합을 뺀 거의 모든 점⁠(almost everywhere)⁠에서 0으로 수렴하는데도 계수가 모두 0은 아닌 삼각급수를 만들었습니다. '모든 점'을 '거의 모든 점'으로 바꾸면 유일성이 무너진다는 것입니다. 둘째 물음은 수렴입니다. 루진은 제곱해서 적분이 유한한 함수라면 그 푸리에 급수가 거의 모든 점에서 원래 함수로 수렴할 것이라고 추측했습니다. 1922년 제자 콜모고로프는 조건을 조금 약하게 해서 적분만 유한한 함수로 바꾸면 푸리에 급수가 거의 모든 점에서 발산⁠(divergence)⁠할 수 있음을 보였고, 루진의 추측 자체는 1966년 스웨덴의 레나르트 칼레손이 증명했습니다. 반세기가 걸린 셈입니다.

그의 세미나에 모인 젊은이들은 스승의 이름에 빗대 스스로를 '루시타니아'라 불렀습니다(모스크바 수학 학파). 멘쇼프, 알렉산드르 힌친, 미하일 수슬린, 파벨 알렉산드로프, 파벨 우리손이 첫 세대였고, 미하일 라브렌티예프, 라자르 류스테르니크, 레프 시니렐만, 니나 바리, 표트르 노비코프, 류드밀라 켈디시, 그리고 1920년 대학에 들어온 콜모고로프가 뒤를 이었습니다. 루진은 풀리지 않은 문제를 넘치는 열정으로 나누어 주었고, 학생이 답을 가져오면 밤늦도록 함께 따졌습니다. 1차 세계대전 중에는 오스트리아 국민이라 러시아에 억류된 폴란드 수학자 바츠와프 시에르핀스키가 예고로프와 루진의 주선으로 모스크바에 머물며 함께 연구했고, 두 사람은 그 뒤로도 해석적 집합에 관한 논문을 함께 썼습니다. 혁명과 내전의 굶주림과 추위 속에서도 세미나는 외투를 입은 채 이어졌습니다.

가장 큰 발견은 1917년 학생 수슬린에게서 나왔습니다. 구간에서 시작해 합집합⁠(union)⁠, 교집합⁠(intersection)⁠, 여집합⁠(complement)⁠을 셀 수 있는 번만큼 거듭해 만들 수 있는 집합을 보렐 집합⁠(Borel set)⁠이라 합니다(집합의 연산⁠(set operations)⁠). 평면의 집합을 가로축 위로 비춘 '그림자'는, 그 집합 안에 (x, y)가 있게 하는 y가 적어도 하나 있는 x들의 모임입니다. 르베그는 1905년 논문에서 보렐 집합의 그림자는 늘 보렐 집합이라고 적었는데, 수슬린은 이것이 틀렸음을 알아챘습니다. 그림자들은 보렐 집합보다 넓은 새 부류를 이루었고, 수슬린은 이를 해석적 집합이라 불렀습니다. 그리고 한 집합과 그 여집합이 모두 해석적 집합이면 그것은 보렐 집합이라는 아름다운 정리를 증명했습니다. 1917년 1월 파리 과학 아카데미 회보에 수슬린과 루진의 짧은 글이 나란히 실렸고, 이것이 기술 집합론의 출발이 되었습니다. 수슬린은 1919년 내전 중 발진티푸스로 스물넷에 세상을 떠났습니다.

1925년 루진과 시에르핀스키는 이 사다리를 더 올라갔습니다. 해석적 집합의 여집합을 만들고, 그것의 그림자를 만들고, 다시 여집합을 만드는 식으로 끝없이 층을 쌓은 것이 사영 집합입니다. 해석적 집합은 모두 르베그 측도⁠(Lebesgue measure)⁠를 가지지만, 그 여집합의 그림자라는 둘째 층의 집합들도 측도를 가지는지 루진은 답을 찾지 못했고, 이 물음은 우리가 모를 뿐 아니라 영영 알 수 없을 것이라고 썼습니다. 그 예감은 반쯤 맞았습니다. 1938년 괴델은 체르멜로의 집합론 공리(선택공리⁠(axiom of choice)⁠ 포함)를 모두 만족하는 어떤 세계에서는 둘째 층에 측도를 가지지 않는 집합이 있음을 밝혔고, 1980년대에는 '큰 기수⁠(large cardinal)⁠'에 관한 더 강한 공리⁠(axiom)⁠를 더하면 모든 사영 집합⁠(projective set)⁠이 측도를 가진다는 것이 증명되었습니다. 루진의 물음은 보통의 공리만으로는 결정되지 않는 물음이었던 것입니다(공리, 연속체 가설⁠(continuum hypothesis)⁠, 수학 기초론 논쟁⁠(debate on the foundations of mathematics)⁠).

그의 수학에는 철학이 깔려 있었습니다. 루진은 보렐과 르베그처럼, 이름 붙이거나 정의할 수 없는 집합을 '있다'고 말하는 데 의심을 품었고, 어떤 집합이 정의 가능한지를 따지는 일을 기술 집합론의 핵심으로 여겼습니다(무한을 다루는 법). 스승 예고로프와 친구 플로렌스키의 '이름 숭배' 신앙이 이 태도와 이어져 있다는 해석도 있지만 역사가들 사이에 의견이 갈립니다. 1929년 그는 과학 아카데미 정회원이 되었고, 1930년 예고로프가 체포되자 대학을 떠나 아카데미 쪽에서 일했습니다. 같은 해 파리에서 나온 『해석적 집합 강의』에는 르베그가 서문을 써서, 자신의 1905년 오류가 이렇게 풍성한 이론을 낳은 것을 반겼습니다.

1936년 여름, 그는 소련 과학계의 공개 재판대에 올랐습니다. 발단은 루진이 모스크바의 한 학교의 졸업 시험을 칭찬한 글이었습니다. 7월 2일 『프라우다』는 이를 비꼬는 글을 실었고, 다음 날 「소비에트의 가면을 쓴 적들에 대하여」라는 글이 이어졌습니다. 가장 좋은 결과는 외국 학술지에 싣고 소련에는 하찮은 것만 낸다, 수슬린과 멘쇼프 같은 제자들의 성과를 제 것으로 삼았다, 외국에 아첨한다는 것이 죄목이었습니다. 과학 아카데미에 위원회가 꾸려졌고, 알렉산드로프, 힌친, 류스테르니크, 시니렐만, 세르게이 소볼레프, 콜모고로프 같은 옛 제자와 동료들이 스승을 거세게 비판했습니다. 개인적인 원한, 제자들의 성과를 둘러싼 오랜 불만, 정치적 압력이 한데 얽혀 있었고, 그 비중을 두고 지금도 평가가 엇갈립니다. 물리학자 표트르 카피차는 몰로토프에게 루진을 변호하는 편지를 보냈습니다. 대숙청이 시작되던 해였지만 루진은 체포되지 않았고, 공개 비판을 받고 여러 자리에서 물러났을 뿐 아카데미 회원으로 남았습니다. 이 사건 뒤로 소련 수학자들은 주요 결과를 러시아어로 소련 학술지에 먼저 싣게 되었고, 서방과의 교류는 오랫동안 좁아졌습니다.

루진은 1950년 모스크바에서 세상을 떠났습니다. 위원회의 속기록은 1999년에야 출판되었고, 2012년 러시아 과학 아카데미는 1936년의 결정을 공식적으로 취소했습니다. 그의 제자들이 20세기 소련 수학을 이끌었습니다. 콜모고로프는 확률론과 동역학계⁠(dynamical system)⁠를, 알렉산드로프는 위상수학⁠(topology)⁠과 모스크바 수학회를, 노비코프는 수리 논리를 이끌었고, 라브렌티예프는 1950년대 루진의 고향 시베리아에 과학 도시 아카뎀고로도크를 세우는 일을 이끌었습니다. 기술 집합론은 오늘날 집합론과 논리학의 중심 분야로 살아 있고, 그가 던진 푸리에 급수의 물음은 칼레손의 정리로 해석학⁠(mathematical analysis)⁠의 가장 깊은 결과 가운데 하나가 되었습니다.

이어지는 곳. '작은 예외를 빼면'의 뜻은 측도 0, 르베그 적분과 측도, 점별 수렴과 균등 수렴⁠(pointwise and uniform convergence)⁠에서, 해석적 집합과 사영 집합은 기술 집합론에서 이어집니다. 스승은 드미트리 예고로프, 오류로 길을 열어 준 사람은 앙리 르베그이고, 세미나와 루진 사건의 전체 이야기는 모스크바 수학 학파와 안드레이 콜모고로프에 있습니다.

관계.

• 영향을 받음 게오르크 칸토어 — 칸토어가 삼각급수의 유일성 문제에서 시작한 점집합의 물음과 연속체⁠(continuum)⁠ 문제를 평생 붙들고, 정의할 수 있는 집합이 무엇인지를 따졌습니다.
• 제자 안드레이 콜모고로프 — 1920년대 루시타니아에서 삼각급수 문제로 이름을 알린 제자였지만, 1936년 루진 사건에서는 스승을 비판하는 쪽에 섰습니다.
• 영향을 줌 J. E. 리틀우드 — 리틀우드가 1944년 꼽은 실해석의 세 원리 가운데 둘째, 곧 측도가 있는 함수는 거의 연속이라는 원리가 루진 정리입니다.

연표.

• 1901년 모스크바 대학에 들어가다
• 1906년 모스크바 대학을 졸업하다
• 1910년 괴팅겐과 파리로 유학을 떠나다
• 1912년 루진 정리를 발표하다
• 1914년 모스크바로 돌아와 세미나를 열다
• 1915년 학위 논문 『적분과 삼각급수』를 펴내고, 석사를 건너뛰어 곧바로 박사 학위를 받다
• 1917년 제자 수슬린과 함께 해석적 집합을 발표하다
• 1925년 사영 집합을 도입하고, 그 측도의 물음은 영영 풀리지 않을 수 있다고 쓰다
• 1929년 소련 과학 아카데미 정회원이 되다
• 1930년 『해석적 집합 강의』를 파리에서 펴내다
• 1936년 『프라우다』의 공격과 아카데미 위원회의 규탄을 받다(루진 사건)