클로드 섀넌(Claude Shannon)

클로드 섀넌은 1916년 미시간주의 작은 도시에서 태어나 게일로드라는 마을에서 자랐습니다. 어려서부터 무엇이든 만들기를 좋아해, 목장의 철조망을 전선 삼아 친구 집까지 전신을 놓았다는 이야기가 전합니다. 그가 자란 1920–30년대는 전화와 전신과 라디오가 세상을 잇기 시작한 때였습니다. 전화 회사의 기술자들은 전선 하나로 얼마나 많이 보낼 수 있는지를 물었지만, '정보'를 재는 단위는 아직 없었습니다. 나이퀴스트와 하틀리가 1920년대에 첫걸음을 뗐고, 그 물음을 끝까지 밀고 가 정보 이론이라는 분야를 한 번에 세운 사람이 섀넌입니다.

나이 세 ·

첫 업적은 스물한 살의 석사 논문이었습니다. 미시간 대학에서 전기 공학과 수학을 함께 공부하고 1936년 MIT 대학원에 들어간 그는, 공학자 버니바 부시의 미분 해석기⁠(differential analyzer)⁠, 곧 미분방정식⁠(differential equation)⁠을 톱니바퀴와 축의 회전⁠(rotation)⁠으로 푸는 거대한 아날로그 계산기의 계전기(전류로 스위치를 여닫는 부품) 회로를 다루었습니다. 그리고 1937년 논문에서 스위치 두 개를 직렬로 이으면 AND, 병렬로 이으면 OR가 된다는 것을 보였습니다. 한 줄로 이은 두 스위치는 둘 다 닫혀야 전류가 흐르고, 나란히 이은 두 스위치는 하나만 닫혀도 흐르기 때문입니다. 83년 전 불이 생각의 법칙으로 세운 불 대수가 그대로 회로의 계산이 된 것입니다. 복잡한 배선도를 식으로 적어 줄일 수 있게 되자 회로 설계는 손재주가 아니라 계산이 되었고, 이 논문은 흔히 20세기에 가장 중요한 석사 논문으로 꼽힙니다. 1940년의 박사 논문은 뜻밖에도 유전학에 대수를 쓰는 연구였습니다. 스승 부시의 권유로 콜드스프링하버의 유전학 연구소에 머물며 쓴 이 논문은 출판되지 않아 오래 묻혀 있었습니다.

박사 학위를 마친 1940–41년 그는 국가 연구 장학생으로 프린스턴 고등연구소에서 수학자 헤르만 바일과 지내며, 통신 체계를 일반적으로 분석하는 문제를 궁리하기 시작했습니다. 그리고 1941년 벨 연구소에 들어갔습니다. 미국 전화를 사실상 독점하던 AT&T의 연구소였던 이곳에는 20년 전부터 전송 속도⁠(velocity)⁠와 잡음을 연구한 나이퀴스트와 하틀리의 전통이 있었고, 전쟁이 시작되자 연구소 전체가 군사 연구에 동원되었습니다. 섀넌은 공학자 헨드릭 보드, 랠프 블랙먼과 함께 잡음 섞인 레이더 신호에서 적기의 위치를 걸러 내고 앞날을 예측하는 대공포 조준 문제를 연구했고, 음성 암호를 비롯한 암호 연구에도 참여했습니다.

1943년에는 미국을 방문한 튜링과 생각하는 기계에 대해 이야기를 나누었다고 전합니다. 1945년의 기밀 보고서를 다듬어 1949년에 낸 「비밀 체계의 통신 이론」에서 그는, 원래 메시지(평문⁠, plaintext⁠)에 섞는 열쇠가 모든 값이 같은 확률⁠(probability)⁠로 나오도록 고르게 무작위이고 평문만큼 길며 한 번만 쓰이면 엿듣는 사람이 암호문⁠(ciphertext)⁠에서 평문에 대해 얻는 상호 정보량⁠(mutual information)⁠이 정확히 0이라는 것, 그리고 열쇠의 가짓수가 평문의 가짓수보다 적으면 이런 완전한 비밀은 불가능하다는 것을 증명했습니다. 암호의 안전을 수학의 정리로 다룬 선구적인 논문이었습니다.

1948년 7월과 10월 『벨 시스템 기술 저널』에 두 번에 나뉘어 실린 「통신의 수학적 이론」이 그의 대표작입니다. 그는 모든 통신을 정보원, 송신기, 잡음이 섞이는 통로, 수신기, 목적지로 이어지는 한 장의 그림으로 그렸고, 메시지의 뜻은 제쳐 두고 '여러 가능성 가운데 무엇이 골라졌는가'만 재기로 했습니다. 확률 $p_i$로 나오는 기호들의 평균⁠(mean)⁠ 정보량은 엔트로피 $H = -\sum p_i \log_2 p_i$비트입니다. 공정한 동전 한 번은 1비트, 앞면이 90%로 나오는 동전은 결과를 대개 짐작할 수 있으니 약 0.47비트입니다. 비트라는 이름은 동료 존 튜키가 지었다고 섀넌이 논문에 밝혀 두었고, 엔트로피라는 이름은 폰 노이만이 권했다는 이야기가 전하지만 확실하지 않습니다. 같은 논문에서 그는 바로 앞의 글자나 낱말 몇 개에 따라 다음 것을 확률로 뽑는 n-그램⁠(n-gram)⁠으로, 앞을 길게 볼수록 점점 영어를 닮아 가는 글을 만들어 보였는데, 마르코프가 1913년 시의 글자를 세며 쓴 마르코프 연쇄⁠(Markov chain)⁠를 이어받은 것이었습니다.

그리고 두 개의 한계를 증명했습니다. 첫째는 원천 부호화 정리⁠(source coding theorem)⁠입니다. 기호들이 일정한 확률로 서로 독립적으로 나오는 정보원이라면, 원래대로 완전히 되살릴 수 있는 압축(무손실 압축⁠, lossless compression⁠)은 기호당 평균 H비트보다 짧아질 수 없고, 기호를 길게 묶으면 H에 얼마든지 가까워집니다. 둘째는 통로 부호화 정리⁠(noisy-channel coding theorem)⁠입니다. 잡음이 있는 통로에도 용량⁠(capacity)⁠ C가 있어서, 그보다 느리게 보내면 부호를 충분히 길게 잡아 오류 확률을 얼마든지 작게 할 수 있고, C보다 빠르면 그럴 수 없습니다. 1초에 1,000비트를 보내며 100개에 1개꼴로 틀린다면 전해지는 정보는 990비트가 아니라, 어느 비트가 틀렸는지 모르는 몫을 뺀 약 919비트라는 것이 그의 예였습니다. 잡음이 있어도 거의 완벽하게 보낼 수 있다는 결론은 당시 공학자들의 직관을 뒤집었습니다. 증명의 핵심은 부호를 무작위로 골라 평균을 보는 것이었고, 한 해 앞서 에르되시가 램지 수⁠(Ramsey number)⁠에 쓴 확률적 방법⁠(probabilistic method)⁠과 같은 생각입니다.

이듬해 「잡음이 있을 때의 통신」에서는 표본화 정리⁠(sampling theorem)⁠를 출발점으로 삼아, 대역폭⁠(bandwidth)⁠ B, 길이 T인 신호를 $2BT$차원 공간의 점으로 보았습니다. 대역폭 B인 신호는 1초에 2B번 잰 값으로 정해지니, 길이 T인 신호는 수 2BT개, 곧 그만한 차원의 공간에서 점 하나입니다. 잡음은 점을 흐릿한 공으로 번지게 하고, 받는 쪽이 헷갈리지 않으려면 부호어⁠(codeword)⁠마다의 공이 겹치지 않아야 합니다. 공을 몇 개나 채워 넣을 수 있는지를 세면 섀넌–하틀리 정리⁠(Shannon–Hartley theorem)⁠ $C = B\log_2(1 + S/N)$이 나옵니다. S/N은 신호의 세기를 잡음의 세기로 나눈 값이고 C는 1초에 믿을 만하게 보낼 수 있는 비트 수의 한계입니다. 같은 세기라면 정규분포⁠(normal distribution)⁠ 잡음이 가장 해롭다는 것도 보였는데, 세기가 같을 때 엔트로피가 가장 큰 분포가 정규분포이기 때문입니다(최대 엔트로피 원리⁠, principle of maximum entropy⁠). 1951년에는 사람에게 다음 글자를 맞히게 하는 실험으로 영어 한 글자의 엔트로피를 긴 문맥에서 대략 1비트 안팎으로 어림했고, 1959년 무렵에는 조금 틀려도 되는 손실 압축⁠(lossy compression)⁠의 한계인 율–왜곡 이론⁠(rate–distortion theory)⁠을 세웠습니다.

논문은 곧바로 널리 읽혔습니다. 1949년 록펠러 재단의 워런 위버가 쉬운 해설을 붙여 책으로 냈는데, 제목의 'A'가 'The'로 바뀌어 하나의 이론이 아니라 바로 그 이론이 되었습니다. 같은 1948년 여름 벨 연구소는 트랜지스터⁠(transistor)⁠를 발표했으니, 디지털 시대의 부품과 이론이 한 해에 같은 연구소에서 나온 셈입니다. 모두가 반긴 것은 아니었습니다. 확률론자 조지프 두브는 서평에서 논의가 수학적이라기보다 암시적이라고 꼬집었고, 증명의 빈틈은 1950년대에 브록웨이 맥밀런, 알렉산드르 힌친, 그리고 콜모고로프의 모스크바 학파가 메웠습니다. 한계에 실제로 다가가는 부호를 만드는 데에는 40년 넘게 걸렸습니다. 1993년의 터보 부호⁠(turbo code)⁠와 다시 발견된 LDPC 부호⁠(low-density parity-check code)⁠, 곧 여러 검사 조건을 얽어 두고 받는 쪽이 비트마다의 추측을 되풀이해 고쳐 가며 푸는 부호들이 비로소 섀넌의 한계에 바짝 다가갔습니다.

정보 이론은 곧 공학 밖으로 번졌습니다. 같은 1948년 MIT의 수학자 노버트 위너는 『사이버네틱스⁠(cybernetics)⁠』를 펴내 되먹임⁠(feedback)⁠과 통신과 제어로 기계와 생물을 함께 설명하자고 했고, 뉴욕의 메이시 회의에 모인 수학자, 신경생리학자, 인류학자들은 정보를 공통의 언어로 삼았습니다. 섀넌은 1951년 이 회의에서 미로 쥐 테세우스를 선보였습니다. 심리학자 조지 밀러는 사람이 한 번에 다룰 수 있는 정보를 비트로 쟀고, 생물학자들은 유전자를 '정보'로 부르기 시작했습니다. 1956년 섀넌은 학회지에 「밴드왜건」이라는 짧은 사설을 써서, 정보 이론이 유행어가 되어 아무 데나 쓰이고 있다며 그 뿌리는 수학이고 다른 분야에 옮길 때는 엄밀한 검증이 필요하다고 경고했습니다.

섀넌은 놀이를 사랑했습니다. 1950년에는 미로를 헤매며 길을 배우는 기계 쥐 '테세우스'를 만들었고, 같은 해 컴퓨터에 체스를 두게 하는 방법에 관한 논문을 썼습니다. 이 논문은 양쪽이 번갈아 가장 좋은 수를 둔다고 보고 수의 나무에서 값을 끌어올리는 미니맥스⁠(minimax)⁠와, 끝까지 읽지 못한 국면을 점수로 어림하는 평가 함수⁠(evaluation function)⁠의 틀을 적었습니다(게임 트리⁠(game tree)⁠ 탐색). 외발자전거를 타고 벨 연구소 복도를 다니며 저글링을 했다는 이야기도 유명합니다. 1956년에는 동료들과 최대 흐름 최소 절단 정리⁠(max-flow min-cut theorem)⁠를 증명해 발표했고, 그해 여름 인공지능⁠(artificial intelligence)⁠이라는 이름이 자리 잡은 다트머스 연구 모임의 제안자 네 사람 가운데 하나였으며, 같은 해 MIT로 옮겼습니다. 1961년에는 수학자 에드워드 소프와 함께 룰렛 공이 떨어질 곳을 어림하는 작은 컴퓨터를 신발 속에 숨겨 라스베이거스에서 시험하기도 했습니다.

1960년대 이후 그는 논문을 거의 쓰지 않았지만 이름은 계속 커졌습니다. 1966년 미국 국가 과학 훈장을 받았고, 1973년 정보 이론 학회가 만든 섀넌상의 첫 수상자가 되었으며, 1985년 교토상을 받았습니다. 같은 해 영국 브라이턴의 정보 이론 심포지엄에 예고 없이 나타나자 연구자들이 그를 둘러싸고 사인⁠(sine)⁠을 받으려 줄을 섰다는 이야기가 전합니다. 말년에는 알츠하이머병을 앓다가 2001년 2월 매사추세츠주 메드퍼드에서 세상을 떠났습니다.

이어지는 곳. 섀넌 논문의 예로 실린 동료 해밍의 부호는 실제로 쓸 수 있는 가장 이른 오류 정정 부호⁠(error-correcting code)⁠의 하나였고, 섀넌 자신과 MIT의 로버트 파노가 만든 섀넌–파노 부호⁠(Shannon–Fano code)⁠를 넘어, 어떤 부호어도 다른 부호어의 앞부분이 아닌 부호(접두 부호⁠, prefix code⁠) 가운데 평균이 가장 짧은 것은 파노의 학생 허프만이 찾았습니다(허프만 부호⁠, Huffman coding⁠). 1956년 MIT의 정보 이론 심포지엄에서 촘스키는 섀넌식의 유한 상태 모형으로는 영어를 다 적을 수 없다고 논증했습니다. 분포를 모르고도 엔트로피에 다가가는 렘펠–지브 압축⁠(Lempel–Ziv compression)⁠, 모형이 틀린 대가를 재는 쿨백–라이블러 발산⁠(Kullback–Leibler divergence)⁠, 분포 없이 문자열 하나의 정보량을 묻는 콜모고로프 복잡도⁠(Kolmogorov complexity)⁠, 물리학의 엔트로피와 정보를 잇는 맥스웰의 악마⁠(Maxwell's demon)⁠가 모두 그의 엔트로피에서 뻗어 나갑니다. 무작위로 고른 부호가 평균적으로 좋다는 생각의 뿌리와 갈래는 무작위성에 모았습니다. 1951년 그는 사람에게 영어 글의 다음 글자를 맞히게 해서 글자당 엔트로피를 어림했는데, 다음 토큰⁠(token)⁠을 맞히며 배우는 오늘날의 언어 모델⁠(language model)⁠도 같은 양, 곧 실제 글에 대한 교차 엔트로피⁠(cross-entropy)⁠로 평가합니다.

관계.

• 영향을 받음 조지 불 — 1937년 석사 논문에서 섀넌은 불이 1854년 논리의 법칙으로 세운 대수를 계전기⁠(relay)⁠ 회로의 설계 언어로 바꾸었습니다.
• 영향을 받음 해리 나이퀴스트 — 「통신의 수학적 이론」은 첫머리에서 나이퀴스트와 하틀리의 1920년대 논문을 출발점으로 밝히고, 나이퀴스트의 2B개 펄스와 열잡음⁠(thermal noise)⁠을 통로 용량의 식에 담았습니다.
• 영향을 받음 안드레이 마르코프 — 섀넌은 영어를 흉내 내는 정보원을 마르코프 과정⁠(Markov process)⁠으로 모형화했고, 이것은 마르코프가 1913년 시의 글자를 세며 시작한 방법을 이은 것입니다.
• 영향을 줌 안드레이 콜모고로프 — 콜모고로프는 1950년대 중반 섀넌의 이론을 소련에 소개하고 엄밀하게 다듬었으며, 그 연구에서 1960년대의 콜모고로프 복잡도로 나아갔습니다.
• 함께 연구 존 매카시 — 1956년 매카시와 함께 논문집 『오토마타 연구』를 엮었고, 다트머스 여름 연구 모임의 제안자로 이름을 올렸습니다.

연표.

• 1936년 미시간 대학을 마치고 MIT 대학원에 들어가다
• 1937년 스위치 회로를 불 대수로 다루는 석사 논문을 쓰다
• 1940년 유전학에 대수를 쓴 박사 논문을 마치고 프린스턴 고등연구소로 가다
• 1941년 벨 연구소에 들어가다
• 1945년 기밀 보고서 「암호의 수학적 이론」을 쓰다
• 1948년 「통신의 수학적 이론」을 발표하다
• 1949년 「잡음이 있을 때의 통신」과 「비밀 체계의 통신 이론」을 내다
• 1950년 미로 쥐 테세우스를 만들고 컴퓨터 체스 논문을 쓰다
• 1951년 추측 게임으로 영어 글자의 엔트로피를 어림하다
• 1956년 사설 「밴드왜건」을 쓰고 MIT 교수로 옮기다
• 1966년 미국 국가 과학 훈장을 받다
• 1985년 교토상을 받다