프린스턴 고등연구소와 로스앨러모스(The Institute for Advanced Study and Los Alamos)

1929년 뉴저지주 뉴어크의 백화점 주인 루이스 뱀버거와 그의 누이 캐럴라인 뱀버거 풀드는 가게를 메이시스에 팔았습니다. 대공황을 부른 주가 폭락 직전이었습니다. 큰돈을 사회에 돌려주려던 남매는 처음에 뉴어크에 의과 대학을 세우려 했지만, 1910년 미국 의학 교육 보고서로 이름난 교육 개혁가 에이브러햄 플렉스너가 다른 것을 제안했습니다. 학생도 수업도 없이, 뛰어난 학자들에게 넉넉한 봉급을 주고 생각만 하게 하는 연구소입니다. 1930년 프린스턴에 고등연구소가 세워졌고, 플렉스너는 뒷날 이 생각을 「쓸모없는 지식의 쓸모」(1939)라는 글로 옹호했습니다. 이 페이지는 이 조용한 연구소가 어떻게 전쟁과 폭탄과 컴퓨터의 한가운데에 서게 되었는지를 따라갑니다.

년 ·

연구소는 수학부터 시작했습니다. 실험실이 필요 없어 가장 싸게 시작할 수 있었고, 오즈월드 베블런이 이끌던 프린스턴 대학 수학과가 이미 강했기 때문입니다. 1933년 가을 첫 교수진은 기하학자 베블런, 위상수학자 제임스 알렉산더, 물리학자 알베르트 아인슈타인, 스물아홉 살의 존 폰 노이만, 그리고 괴팅겐에서 온 수학자 헤르만 바일이었고, 1939년 풀드 홀이 지어질 때까지 대학 수학과 건물에 더부살이했습니다. 시기가 결정적이었습니다. 1933년 4월 나치 정부는 유대계와 정권에 반대하는 공무원을 쫓아내는 법을 만들었고, 힐베르트의 괴팅겐을 비롯한 독일 대학들은 몇 달 사이에 텅 비었습니다. 아인슈타인은 다시 독일로 돌아가지 않았고, 미국의 학자들은 망명 학자를 돕는 위원회를 꾸렸습니다. 고등연구소는 그 망명의 물결이 닿는 가장 중요한 항구 가운데 하나가 되었습니다.

빈의 논리학자 쿠르트 괴델은 1933년부터 이곳을 드나들다가, 1940년 전쟁 중의 유럽을 시베리아 횡단 철도와 태평양 항로로 빠져나와 프린스턴에 자리 잡았습니다. 1938–39년 그는 이곳에서 연속체 가설⁠(continuum hypothesis)⁠, 곧 자연수⁠(natural number)⁠ 전체보다 크고 실수⁠(real number)⁠ 전체보다 작은 크기의 무한집합은 없다는 가설이 집합론⁠(set theory)⁠의 공리⁠(axiom)⁠와 모순되지 않는다는 결과를 강의했습니다. 공리가 모순이 없다면 그 공리로는 연속체 가설이 틀렸다고 증명할 수 없다는 뜻입니다. 모순이 없고 공리를 기계적으로 나열할 수 있는 체계가 산술을 담으면, 그 안에는 증명할 수 없는 참인 문장이 있다는 그의 불완전성 정리⁠(incompleteness theorem)⁠가 나온 지 10년이 안 된 때였습니다. 아인슈타인과 괴델이 연구소까지 함께 걷는 모습은 프린스턴의 풍경이 되었고, 1949년 괴델은 아인슈타인의 일흔 살 생일에, 중력을 시공간⁠(spacetime)⁠의 휘어짐으로 설명하는 아인슈타인의 일반 상대성 이론⁠(general relativity)⁠의 방정식을 만족하면서 우주 전체가 회전⁠(rotation)⁠하는 해를 선물했습니다. 그 우주에서는 앞으로 나아가기만 해도 자기 과거로 돌아오는 길이 있습니다.

1930년대의 프린스턴은 대학과 연구소를 합쳐 세계 수학의 교차로였습니다. 대학의 논리학자 알론조 처치는 람다 계산⁠(lambda calculus)⁠으로 결정 문제⁠(decision problem)⁠에 답했고(주어진 논리 문장이 논리 법칙만으로 증명 가능한지를 기계적으로 판정하는 일반적인 절차가 있느냐는 힐베르트의 물음에, '없다'고), 1936년 가을 케임브리지에서 온 앨런 튜링이 그 밑에서 박사 과정을 밟으며 튜링 기계⁠(Turing machine)⁠와 람다 계산이 같은 것을 계산한다는 것을 보였습니다(처치–튜링 논제⁠, Church–Turing thesis⁠). 폰 노이만은 튜링에게 조수 자리를 권했지만 튜링은 1938년 영국으로 돌아갔습니다. 같은 해 에르되시가 연구소에 왔고, 1940–41년에는 MIT를 마친 클로드 섀넌이 바일 밑에서 1년을 보낸 뒤 벨 연구소로 갔습니다. 폰 노이만은 대학의 경제학자 오스카어 모르겐슈테른과 함께 1944년 『게임 이론⁠(game theory)⁠과 경제 행동』을 펴냈는데, 그 바탕은 그의 1928년 최소최대 정리⁠(minimax theorem)⁠였습니다. 한쪽이 얻는 만큼 다른 쪽이 잃고 각자 고를 수 있는 전략이 유한 가지인 두 사람 게임(영합 게임⁠, zero-sum game⁠)에서, 각자 상대가 가장 잘 받아칠 때를 대비해 자기 전략을 고르면(필요하면 전략을 확률⁠(probability)⁠로 섞어서) 한쪽이 보장받는 최소 몫과 다른 쪽이 허용하는 최대 손실이 같은 값이 된다는 정리입니다(최적화⁠(optimization)⁠).

전쟁은 이 조용한 연구소의 사람들을 사막으로 불러냈습니다. 1943년 뉴멕시코의 고원 로스앨러모스에 물리학자 로버트 오펜하이머가 이끄는 원자폭탄 연구소가 세워지자, 폰 노이만은 자문으로 드나들며 플루토늄 폭탄의 내파 설계를 맡았습니다. 폭약으로 금속 공을 사방에서 고르게 짓눌러야 하는 이 문제는 손으로 풀 수 없는 충격파⁠(shock wave)⁠와 유체의 방정식이었고, 연구소는 IBM의 천공 카드⁠(punched card)⁠ 계산기를 들여와 계산을 공장처럼 돌렸습니다. 1945년 그곳에서 계산을 맡은 사람 가운데 하나가 뒷날 벨 연구소로 간 리처드 해밍입니다. 1945년 7월 첫 핵실험이 있었고, 8월 히로시마와 나가사키에 폭탄이 떨어졌습니다. 폰 노이만은 표적 선정 위원회에도 참여해 폭발 고도를 계산했습니다. 수학이 수십만 명의 죽음과 직접 이어진 순간이었고, 참여한 과학자들은 저마다 다른 방식으로 그 무게를 짊어졌습니다.

폭탄의 계산은 계산 자체를 바꾸어 놓았습니다. 1945년 말 필라델피아에서 막 돌기 시작한 ENIAC이 처음 푼 큰 문제는 로스앨러모스의 수소폭탄 계산이었습니다. 1946년 병을 앓고 난 뒤 카드 혼자놀이(솔리테어)를 하던 폴란드 출신 수학자 스타니스와프 울람은, 확률을 셈으로 구하는 대신 수없이 해 보고 세면 어떨까 생각했고, 폰 노이만은 이것을 중성자가 물질 속을 떠도는 문제에 옮겼습니다. 1948년 ENIAC에서 돌아간 이 몬테카를로 방법⁠(Monte Carlo method)⁠의 프로그램을 짠 사람 가운데 하나는 폰 노이만의 아내 단 클라라였습니다. 중성자 하나하나의 무작위 걸음을 흉내 내 평균⁠(mean)⁠을 구하는 이 방법은 오늘날 무작위 알고리즘⁠(randomized algorithm)⁠의 뿌리 가운데 하나입니다.

폰 노이만은 연구소 안에 컴퓨터를 짓기로 했습니다. 1945년 그가 쓴 「EDVAC 보고서 초안」은 프로그램을 자료와 같은 기억 장치에 넣는 저장 프로그램⁠(stored program)⁠ 구조를 제시했고, 1946년 시작된 연구소의 전자식 컴퓨터 계획은 그것을 실제로 지었습니다. 육군과 해군, RCA, 뒤에는 원자력 위원회가 돈을 댔고, 기술자 줄리언 비글로가 수학자들 사이에서 납땜을 했습니다. 1951년부터 돌기 시작한 이 기계는 40비트 낱말 1,024개를 브라운관 40개에 기억했고, 첫 대규모 작업 가운데 하나가 다시 로스앨러모스의 수소폭탄 계산이었습니다. 연구소는 설계도를 아낌없이 나누어 주어, 로스앨러모스의 MANIAC, RAND의 JOHNNIAC, 일리노이의 ILLIAC을 비롯한 여러 '자매 기계'가 세계 곳곳에 지어졌습니다.

폰 노이만이 이 기계에 맡기고 싶었던 평화로운 문제는 날씨였습니다. 방정식은 알려져 있지만 풀 수 없을 만큼 크고, 모두에게 쓸모가 있는 문제였습니다. 영국의 기상학자 루이스 프라이 리처드슨이 1차 대전 중 손으로 시도했다가 실패하고 1922년 책으로 펴낸 계산을 되살리려고 기상학자 줄 차니가 1948년 합류했고, 그는 리처드슨을 망친 빠른 파동을 걸러 낸 단순한 방정식을 만들었습니다. 대기를 격자로 나누고, 각 칸의 값이 짧은 시간 동안 얼마나 변하는지를 구해 차례로 더해 가는 방법입니다. 방정식 속의 미분계수⁠(derivative)⁠를 차분⁠(finite difference)⁠, 곧 이웃한 두 칸이나 두 시각의 값 차이를 그 간격으로 나눈 값으로 바꾸어 계산합니다. 1950년 봄 이 팀은 메릴랜드의 ENIAC으로 24시간 예보를 거의 24시간에 걸쳐 계산했습니다. 1955년 기상학자 노먼 필립스는 연구소의 컴퓨터로 지구 전체 규모의 바람 흐름인 대기 대순환⁠(general circulation of the atmosphere)⁠을 처음 흉내 냈고, 같은 해 미국의 기상청과 공군, 해군이 함께 만든 부서가 컴퓨터 예보를 일상 업무로 시작했습니다(긴 글 「나비의 날갯짓」).

이 계획에는 기대가 깔려 있었습니다. 관측이 촘촘해지고 컴퓨터가 빨라지면 예보는 얼마든지 길어질 것이고, 폰 노이만은 1955년 글에서 언젠가 기후를 조절할 수 있으리라는 전망까지 내놓았습니다. 1961년 MIT의 기상학자 에드워드 로렌츠는 작은 컴퓨터로 날씨 모형을 다시 돌리다가, 여섯 자리로 계산하던 중간값을 소수 셋째 자리까지로 반올림해 넣었을 뿐인데(0.506127 대신 0.506) 얼마 뒤의 날씨가 완전히 달라지는 것을 보았습니다. 1963년 그의 논문과 로렌츠 끌개⁠(Lorenz attractor)⁠는 우연이 전혀 끼지 않는 결정론적인 방정식도 출발점의 작은 차이를 일정한 시간마다 몇 배씩(지수적으로) 키울 수 있다는 것, 곧 혼돈⁠(chaos)⁠을 보여 주었습니다. 프린스턴이 시작한 수치 예보⁠(numerical weather prediction)⁠는 오늘날의 일기 예보를 낳았고, 동시에 그 한계가 2주 안팎이라는 것을 스스로 밝혀낸 셈입니다. 오늘날의 앙상블 예보⁠(ensemble forecasting)⁠는 출발점을 조금씩 흔든 계산을 여러 번 돌려 그 한계를 확률로 다루는데, 로스앨러모스의 몬테카를로와 같은 생각입니다.

한 시대는 빨리 끝났습니다. 폰 노이만은 1955년 원자력 위원회 위원이 되었지만 곧 암 진단을 받았고, 1957년 2월 세상을 떠났습니다. 공학을 탐탁지 않게 여기던 연구소의 교수들은 컴퓨터 계획을 이어 가지 않았고, 기계는 1958년 프린스턴 대학으로 넘겨졌다가 뒤에 스미스소니언 박물관으로 갔습니다. 연구소는 다시는 실험 과학을 하지 않기로 했습니다. 1947년부터 소장을 맡은 오펜하이머는 1954년 보안 청문회에서 기밀 취급 인가를 잃고도 1966년까지 자리를 지켰고, 아인슈타인은 1955년, 괴델은 1978년 프린스턴에서 세상을 떠났습니다. 가르칠 의무 없이 생각하는 연구소라는 모델은 세계 곳곳에 퍼졌고, 1996년 서울에 세워진 고등과학원도 그 본보기를 따랐습니다.

이어지는 곳. 학생 없이 학자에게 봉급만 주고 연구하게 하는 이 모델은 멀리 알렉산드리아 무세이온과 바그다드 지혜의 집에서 이미 시도되었습니다. 연구소를 채운 사람들은 괴팅겐과 부다페스트에서 왔습니다. 튜링은 이곳을 떠나 블레츨리 파크로 갔고, 섀넌과 해밍은 벨 연구소로 갔습니다. 괴델과 튜링의 정리는 자기 자신에 대해 묻는 자기 참조⁠(self-reference)⁠와 대각선의 두 얼굴이고, 몬테카를로와 앙상블 예보는 우연을 도구로 삼는 무작위성의 이야기, 격자 위의 차분으로 방정식을 푸는 수치 예보는 근사와 오차의 이야기입니다. 프로그램도 자료처럼 기억 장치에 넣는다는 저장 프로그램의 이론적 뿌리는 다른 기계의 설명서를 읽고 그대로 흉내 내는 보편 튜링 기계와, 그 보편성⁠(universality)⁠이 낳는 한계인 정지 문제⁠(halting problem)⁠에 있습니다. 1956년 괴델이 병상의 폰 노이만에게 보낸 편지에서 물은 것, 곧 길이 n인 증명이 있는 정리라면 n에 비례하거나 n²에 비례하는 시간 안에 그 증명을 기계로 찾을 수 있느냐는 물음은 오늘날의 P 대 NP 문제⁠(P versus NP problem)⁠를 미리 말한 것입니다. 2002년부터 이곳 교수였던 보예보츠키는 2012–13년 수학자와 컴퓨터 과학자들을 모아 같음을 공간의 경로로 읽는 호모토피 타입 이론⁠(homotopy type theory)⁠의 특별 연구 해를 열었고, 참가자들이 함께 쓴 책이 그 결과로 나왔습니다.