블레츨리 파크(Bletchley Park)

블레츨리 파크는 런던에서 북서쪽으로 80킬로미터쯤 떨어진 빅토리아풍 저택입니다. 옥스퍼드와 케임브리지를 잇는 철도와 런던–버밍엄 간선이 만나는 역 옆이어서, 두 대학의 학자들을 불러 모으기 좋았습니다. 1차 세계대전 때 무선 통신이 퍼지자 적의 전보를 엿듣는 것은 쉬워졌고, 전쟁의 승패가 그것을 읽어 내느냐에 걸리게 되었습니다. 그 경험에서 1919년 영국 정부 암호 학교(GC&CS)가 생겼고, 1938년 정보부 수장 휴 싱클레어가 이 저택을 사들였습니다(자기 돈으로 샀다고 전해집니다). 1939년 8월, 전쟁을 몇 주 앞두고 해독반이 이곳으로 옮겨 왔습니다. 이 페이지는 이곳이 왜 수학자들의 전쟁터가 되었는지, 무엇을 만들어 냈는지, 그리고 왜 그토록 오래 침묵했는지를 따라갑니다.

년 ·

이야기는 바르샤바에서 먼저 시작되었습니다. 독일과 소련 사이에 낀 폴란드는 독일군의 새 암호 기계 에니그마를 누구보다 두려워했고, 1929년 옛 독일 땅이어서 독일어를 잘하는 포즈난 대학의 수학과 학생들을 뽑아 암호 강좌를 열었습니다. 그 가운데 마리안 레예프스키가 1932년 12월 기계의 배선을 재구성했습니다. 에니그마는 자판의 글자를 전기 배선으로 다른 글자로 바꾸는 기계입니다. 안에는 배선이 뒤얽힌 바퀴인 회전자 셋이 있어 글자를 칠 때마다 돌아가며 바꾸는 방식을 바꾸고, 앞쪽의 플러그판에서는 전선으로 글자 쌍을 맞바꿉니다. 에니그마 운영자들은 메시지마다 정한 석 자의 열쇠를 두 번 이어 암호화해 보냈으니, 첫째 글자와 넷째 글자는 같은 글자를 암호화한 것입니다. 여러 메시지에서 첫째 글자와 넷째 글자를 이으면 글자를 글자로 보내는 순열⁠(permutation)⁠ P가 생기고, 그것을 A → F → Q → A처럼 따라가면 고리 몇 개로 나뉩니다. 레예프스키는 이 고리 길이들의 목록, 곧 순환 구조⁠(cycle type)⁠가 플러그 배선과 상관이 없다는 것을 알아차렸습니다. 플러그 배선 S는 P를 $S^{-1} P S$로 바꿀 뿐이고, 이는 고리에 들어 있는 글자들의 이름만 바꾸는 일이라 고리의 길이들은 그대로이기 때문입니다. 순열은 글자를 글자로 빠짐없이 짝짓는 전단사⁠(bijective)⁠이고, 순열들이 이루는 구조를 군이라 하며, $S^{-1} P S$를 P의 켤레라 부릅니다. 레예프스키는 이 불변량⁠(invariant)⁠과 프랑스 정보부가 입수한 문서를 함께 써서 회전자의 배선을 풀었고, 동료 수학자 예지 루지츠키, 헨리크 지갈스키와 함께 회전자 순서 6가지와 시작 위치 $26^3 = 17576$가지, 모두 105,456가지 경우의 순환 구조 목록을 만들고 해독 기계 '봄바'까지 지었습니다. 1938년 말 독일군이 회전자를 다섯 개 가운데 셋을 고르게 바꾸자 일은 폴란드의 힘을 넘어섰고, 1939년 7월 폴란드는 바르샤바 근교 피리에서 그 방법과 복제 기계를 영국과 프랑스에 넘겼습니다.

영국이 받은 문제의 크기는 이랬습니다. 다섯 회전자 가운데 셋을 골라 늘어놓는 방법 60가지, 시작 위치 17,576가지, 그리고 26글자 가운데 20글자를 열 쌍으로 묶는 플러그 배선 $\frac{26!}{6!\,10!\,2^{10}}$가지를 곱하면 설정은 약 $1.6 \times 10^{20}$가지입니다(이항계수⁠, binomial coefficient⁠). 하나씩 해 볼 수는 없으니 구조의 약점을 써야 했습니다. 전류를 회전자들로 되돌려 보내는 마지막 부품인 반사판 때문에 에니그마는 어떤 글자도 자기 자신으로 바꾸지 않았고, 날씨 보고처럼 틀에 박힌 전문은 암호문⁠(ciphertext)⁠ 속 평문⁠(plaintext)⁠ 조각을 짐작하게 했습니다. 튜링이 설계하고 수학자 고든 웰치먼이 다듬은 봄베⁠(bombe)⁠는 짐작한 평문 조각을 놓고, 회전자 위치마다 한 글자의 플러그 짝을 가정한 뒤 그 가정이 낳는 결과를 연쇄적으로 따라가 모순이 나오면 그 위치를 지웠습니다. 첫 봄베가 1940년 3월에 돌기 시작했고, 전쟁이 끝날 무렵 영국에는 200대 남짓이 있었습니다.

가장 어려웠던 것은 대서양의 잠수함들이 쓰던 해군 에니그마였고, 튜링은 이를 맡은 8호 막사를 이끌었습니다. 그가 고안한 '밴버리즘⁠(Banburismus)⁠'은 베이즈 정리⁠(Bayes' theorem)⁠를 공장식으로 돌리는 절차였습니다. 두 가설(이를테면 '두 전문이 같은 설정으로 암호화되었다'와 '아니다')이 있을 때, 확률⁠(probability)⁠ p를 p/(1 − p)로 적은 값을 승산이라 합니다. 확률 3/4이면 승산은 3입니다. 증거 하나가 들어오면 승산은 가능도비⁠(likelihood ratio)⁠, 곧 그 증거가 첫째 가설 아래에서 나올 확률을 둘째 가설 아래에서 나올 확률로 나눈 값만큼 곱해집니다. 튜링은 이 배수⁠(multiple)⁠들을 곱하는 대신 그 로그를 더해 갔습니다. $\log(\text{사후 승산}) = \log(\text{사전 승산}) + \sum_i \log(\text{가능도비}_i)$입니다. 배수 10을 1반(ban), 그 10분의 1을 1데시반⁠(deciban)⁠이라 부르고, 점수가 문턱⁠(threshold)⁠을 넘으면 판정을 내렸습니다. 같은 무렵 미국의 통계학자 에이브러햄 월드도 따로 같은 생각의 순차 검정⁠(sequential test)⁠, 곧 자료를 하나씩 받으며 판정할 만큼 증거가 쌓이는 순간 멈추는 검정을 만들었습니다. 튜링의 통계⁠(statistics)⁠ 조수였던 I. J. 굿은 전쟁 뒤 이것을 '증거의 무게⁠(weight of evidence)⁠'로 정리했고, 증거 하나가 주는 무게의 평균⁠(mean)⁠은 오늘날 쿨백–라이블러 발산⁠(Kullback–Leibler divergence)⁠이라 부르는 양입니다. 굿은 1953년, 튜링과 함께 다듬은 방법으로 아직 한 번도 보지 못한 것의 확률을 어림하는 굿–튜링 추정⁠(Good–Turing estimation)⁠을 발표했습니다. 이 추정은 오늘날 n-그램⁠(n-gram)⁠ 언어 모델⁠(language model)⁠에서 처음 보는 낱말에 확률을 나누어 주는 데 쓰입니다.

블레츨리에 모인 사람들은 다양했습니다. 1차 대전의 해독가였던 고전학자 딜리 녹스, 수학자 튜링과 웰치먼과 맥스 뉴먼, 젊은 화학도이자 수학도 윌리엄 터트, 군론⁠(group theory)⁠ 학자 필립 홀, 체스 챔피언 휴 알렉산더와 스튜어트 밀너배리가 함께 일했고, 1942년에는 『데일리 텔레그래프』의 십자말풀이를 빨리 푼 사람들이 채용 시험에 불려 오기도 했습니다. 뒷날 심슨의 역설⁠(Simpson's paradox)⁠에 이름을 남긴 통계학자 에드워드 심슨도 이곳에서 일했습니다. 해독은 천재 몇 사람의 번뜩임이라기보다 공장이었습니다. 영국 곳곳의 수신소가 받아 적은 전문이 오토바이로 들어오면, 막사들이 나누어 해독하고 번역하고 색인 카드로 정리해 '울트라'라는 이름으로 지휘관들에게 보냈습니다.

그 공장을 돌린 것은 대부분 여성이었습니다. 1945년 블레츨리와 그 분소들에서 일한 1만 명 가까운 사람 가운데 약 4분의 3이 여성이었고, 해군 여군(렌) 대원⁠(great circle)⁠들이 밤낮으로 봄베의 회전자를 갈아 끼우고 뒤에는 콜로서스(아래에 나오는 전자식 해독 기계)를 운전했습니다. 케임브리지에서 수학을 공부한 조앤 클라크는 8호 막사에서 튜링과 함께 해군 에니그마를 풀었고, 녹스 밑의 메이비스 레버는 1941년 이탈리아 해군의 전문을 읽어 마타판 곶 해전으로 이어진 정보를 얻었습니다. 그들 대부분은 자기 일을 가족에게도 말하지 못한 채 전쟁 뒤 흩어졌습니다.

독일군 최고 사령부는 에니그마와 다른 기계도 썼습니다. 텔레타이프의 다섯 비트 부호에, 바퀴 열두 개가 만든 열쇠 비트를 자리마다 2로 나눈 나머지⁠(remainder)⁠로 더하는 로렌츠 암호입니다(모듈러 연산⁠(modular arithmetic)⁠). 평문 비트 p와 열쇠 비트 k로 암호문 $c = p \oplus k$를 만들면, 같은 열쇠를 한 번 더 더해 $c \oplus k = p$로 되돌아옵니다(불 대수⁠(Boolean algebra)⁠의 배타적 논리합⁠(exclusive or)⁠으로, 두 비트가 다르면 1, 같으면 0입니다). 1941년 8월 한 독일 운영자가 4,000자 가까운 전문을 같은 열쇠로 조금 바꾸어 다시 보내는 실수를 했고, 암호 해독가 존 틸트먼이 두 전문에서 평문과 열쇠를 뽑아냈습니다. 케임브리지의 젊은 수학도 터트는 기계를 한 번도 보지 못한 채 그 열쇠 비트열만으로 1942년 초 바퀴들의 구조를 알아냈습니다. 바퀴 설정을 찾으려면 수천 자에 걸쳐 일치하는 비트를 수많은 위치마다 세어야 했고, 뉴먼은 이 셈을 기계에 맡기자고 제안했습니다. 우체국 연구소의 기술자 토미 플라워스는 진공관 1,600개로 콜로서스⁠(Colossus)⁠를 지어 1944년 2월부터 돌렸고, 개량한 2호기가 노르망디 상륙 직전인 6월 1일에 가동되었습니다. 전쟁이 끝날 때까지 열 대가 만들어졌습니다. 스위치와 플러그로 작업을 바꾸는 전자식 계산기였지만, 프로그램을 기억 장치에 담아 프로그램만 바꾸면 어떤 계산이든 할 수 있는 튜링 기계⁠(Turing machine)⁠의 보편성⁠(universality)⁠까지 가지지는 않았습니다.

전쟁이 끝나자 모든 것이 비밀 속으로 들어갔습니다. 콜로서스는 대부분 해체되었고 몇 대만 정보기관에 남았으며, 일한 사람들은 공직 비밀법에 묶였습니다. 그래서 컴퓨터의 역사는 오랫동안 미국의 ENIAC에서 시작하는 것으로 적혔고, 1952년 튜링이 동성애로 기소되었을 때에도 그의 전쟁 공로는 공개되지 않았습니다. 1973년 프랑스의 정보 장교 귀스타브 베르트랑이 폴란드의 역할을 밝혔고, 1974년 공군 장교 프레더릭 윈터보텀의 책 『울트라의 비밀』로 영국의 해독이 처음 대중에게 알려졌습니다. 콜로서스의 상세한 기록은 2000년에야 공개되었습니다. 2009년 영국 총리는 튜링에게 정부를 대표해 사과했고, 2013년 사면이 내려졌습니다.

그러나 사람들이 들고 나간 생각은 비밀이 아니었습니다. 뉴먼은 맨체스터 대학으로 가서 왕립학회의 지원으로 계산 기계 연구실을 꾸렸고, 1948년 맨체스터에서는 세계 최초의 저장 프로그램⁠(stored program)⁠ 전자 컴퓨터가 돌아갔습니다. 튜링은 국립 물리 연구소의 저장 프로그램 컴퓨터⁠(stored-program computer)⁠ ACE(자동 계산 기관)를 설계한 뒤 맨체스터로 갔습니다. 굿은 베이즈 통계학의 옹호자가 되었고 1965년에는 스스로를 개량하는 '초지능 기계'의 가능성을 논했습니다. 터트는 캐나다 워털루 대학에서 그래프 이론의 거장이 되었고, 도널드 미치는 에든버러에서 인공지능⁠(artificial intelligence)⁠ 연구를 이끌었습니다. 해독반은 전후 정부 통신 본부(GCHQ)가 되었는데, 비밀의 전통은 그곳에서도 이어졌습니다. 1973년 GCHQ의 수학자 클리퍼드 콕스는 RSA 암호⁠(RSA cryptosystem)⁠와 같은 공개키 암호⁠(public-key cryptography)⁠, 곧 잠그는 열쇠는 모두에게 공개하고 여는 열쇠만 비밀로 두는 암호를 만들었지만, 그 사실은 1997년에야 공개되었습니다(디피–헬먼 키 교환⁠(Diffie–Hellman key exchange)⁠).

이어지는 곳. 튜링이 해독 기술을 들고 건너가 섀넌을 만난 곳은 벨 연구소였고, 전쟁 전 튜링이 박사 학위를 받은 곳은 프린스턴입니다. 튜링과 홀이 펠로였던 킹스 칼리지의 이야기는 20세기 초 케임브리지에 있습니다. 레예프스키가 플러그 배선을 건너뛴 것은 변환해도 변하지 않는 것을 붙잡는 대칭과 불변량의 생각이고, 증거를 로그로 더해 가는 밴버리즘은 조건부 확률⁠(conditional probability)⁠과 무작위성의 이야기로 이어집니다. 튜링이 전쟁 전에 던진 물음, 무엇을 기계로 계산할 수 있느냐는 정지 문제⁠(halting problem)⁠와 자기 참조⁠(self-reference)⁠와 대각선에 있습니다. 비밀을 지키는 수학 전체의 역사는 섀넌의 완전 비밀⁠(perfect secrecy)⁠에서 공개키 암호까지를 다룬 긴 글 「나머지로 지키는 비밀」에서 이어집니다.