벨 연구소(Bell Labs)
AT&T의 규제된 독점이 벌어들인 돈으로 전화를 더 잘 걸기 위한 물음을 끝까지 파고들어 정보 이론, 오류 정정 부호(error-correcting code), 트랜지스터(transistor), 유닉스를 낳은 미국의 산업 연구소.
벨 전화 연구소는 1925년 뉴욕에서 AT&T와 그 제조 자회사 웨스턴 일렉트릭의 연구 부서를 합쳐 세워졌습니다. AT&T는 미국의 장거리 전화선과 대부분의 지역 전화망을 가진 거대한 독점 기업이었고, 정부는 그 독점을 인정하는 대신 요금과 사업 범위를 규제했습니다. 요금이 비용에 적정한 이윤을 더하는 식으로 정해졌으니, 먼 미래를 보는 연구비도 결국 수많은 가입자의 요금으로 조금씩 나누어 치를 수 있었다는 것이 흔한 설명입니다. 게다가 벨 시스템은 너무 커서, 잡음을 조금 줄이거나 전선 하나에 통화를 조금 더 싣는 개선도 수백만 회선에 곱해지면 막대한 돈이 되었습니다. 이 페이지는 전화 회사가 왜 순수한 물음에 돈을 댔는지, 거기서 무엇이 나왔는지, 그리고 1984년의 분할이 그 세계를 어떻게 바꾸었는지를 따라갑니다.
1920년대 전화 회사의 물음은 이미 수학의 모양을 하고 있었습니다. 대륙을 가로지르는 전선에는 진공관 증폭기가 줄지어 섰고, 진동수(frequency)를 달리해 한 전선에 여러 통화를 싣는 방식이 쓰이면서, 한 통로가 실어 나를 수 있는 진동수의 폭인 '대역폭(bandwidth)'이 돈이 되었습니다. AT&T의 해리 나이퀴스트는 1924년과 1928년 논문에서 대역폭이 B헤르츠인 통로로는 1초에 서로 뒤섞이지 않고 구별되는 펄스를 2B개까지만 보낼 수 있음을 보였습니다(푸리에 급수(Fourier series), 표본화 정리(sampling theorem)). 1928년 동료 랠프 하틀리는 기호 s가지를 n개 보낼 때의 정보를 가능한 메시지 수
공장도 수학을 불렀습니다. 웨스턴 일렉트릭은 전화기와 교환기 부품을 수백만 개씩 만들었고, 모든 부품이 조금씩 다른 것은 피할 수 없었습니다. 1924년 이곳의 통계학자 월터 슈하트는 관리도(control chart)를 제안했습니다. 제품의 측정값을 시간순으로 찍고, 평균(mean)에서 표준편차(값들이 평균에서 흔히 벗어나는 정도)의 세 배만큼 위아래로 떨어진 곳에 선을 긋는 그림입니다. 선 안의 흔들림은 우연의 몫으로 두고, 선을 넘으면 공정에 원인이 생겼다고 보고 찾아 나서라는 것입니다(정규분포(normal distribution), 분산(variance)). 그의 생각은 제자 격인 통계학자 에드워즈 데밍을 거쳐 전후 일본의 품질 관리로 건너갔습니다. 잡음도 뜻밖의 발견을 낳았습니다. 1932년 기술자 칼 잰스키는 대서양 횡단 무선 전화를 방해하는 잡음의 출처를 찾다가 은하수 한가운데서 오는 전파를 발견해 전파 천문학(radio astronomy)을 열었고, 1964년 천문학자 아노 펜지어스와 로버트 윌슨은 안테나에서 끝내 지워지지 않는 잡음을 쫓다가 우주 배경 복사(cosmic microwave background)를 찾아냈습니다. 우주가 뜨겁고 빽빽하던 초기에 나온 빛이 우주가 팽창하며 식어, 오늘날 하늘 모든 방향에서 고르게 오는 약한 전파입니다. 잡음이 적인 회사였기에, 잡음을 끝까지 캐는 일이 과학이 되었습니다.
2차 세계대전 동안 연구소는 레이더와 대공포 조준 장치, 그리고 루스벨트와 처칠의 통화를 지킨 음성 암호 장치 SIGSALY를 만들었습니다. 1941년 입사한 클로드 섀넌은 조준 장치의 예측과 암호를 연구했고, 1943년 초에는 SIGSALY를 검토하러 영국에서 온 앨런 튜링과 구내식당에서 생각하는 기계에 대해 이야기를 나누었다고 전합니다(블레츨리 파크). 1945년 섀넌의 기밀 보고서는 일회용 난수표(one-time pad) 방식의 암호가 완전하다는 것을 처음으로 정리의 형태로 증명했습니다. 원래 메시지(평문, plaintext)에 섞는 열쇠가 무작위이고, 평문만큼 길며, 한 번만 쓰이면, 암호문(ciphertext)을 아무리 들여다보아도 평문에 대해 알게 되는 것이 전혀 없다는 것입니다. 정보 이론의 말로는 암호문과 평문의 상호 정보량(mutual information)이 0입니다.
1948년은 연구소의 해였습니다. 6월 연구소는 물리학자 존 바딘, 월터 브래튼, 윌리엄 쇼클리가 전해 12월에 만든 트랜지스터, 곧 작은 전류로 큰 전류를 켜고 끄거나 키우는 반도체 소자를 발표했고, 7월과 10월 『벨 시스템 기술 저널』에는 섀넌의 「통신의 수학적 이론」이 실렸습니다. 섀넌은 정보의 단위를 비트(이 이름은 동료 존 튜키가 지었습니다)로 정하고, 원천이 내는 기호 하나당 평균 정보를 엔트로피(entropy)로 정의해, 원래대로 완전히 되살릴 수 있는 압축(무손실 압축, lossless compression)은 기호당 평균 비트 수가 엔트로피보다 짧을 수 없음을 보였습니다(원천 부호화 정리(source coding theorem)). 그리고 잡음이 있는 통로에도 통로 용량(channel capacity)이라는 속도(velocity)가 있어서, 그보다 느리게만 보내면 오류를 얼마든지 줄일 수 있다고 증명했습니다(통로 부호화 정리(noisy-channel coding theorem)). 나이퀴스트의 2B, 하틀리의 로그, 존슨과 나이퀴스트의 열잡음이 한 식
이론만이 아니었습니다. 1946년 로스앨러모스에서 옮겨 온 리처드 해밍은 주말마다 전기 스위치(계전기, relay)로 만든 계산기가 오류를 만나 작업을 버리는 데 화가 나서, 데이터 네 비트에 검사 비트(check bit) 세 개를 붙여 일곱 자리 가운데 틀린 한 자리를 스스로 찾아 고치는 부호를 1950년에 발표했습니다(오류 정정 부호, 해밍 거리(Hamming distance)). 튜키는 프린스턴 대학과 연구소를 오가며 통계학(statistics)과 자료 분석을 새로 짰고, 1965년 IBM의 제임스 쿨리와 함께 빠른 푸리에 변환(fast Fourier transform)을 발표했습니다. 소리 같은 신호 n개의 값을 사인파(sinusoid) 성분들로 나누는 계산에는 곱셈이
독점은 발명의 운명도 정했습니다. 1956년 미국 법무부와의 합의로 AT&T는 규제받는 통신 사업 밖으로 나가지 못하게 되었고, 가지고 있던 특허를 원하는 회사에 사용료 없이 허락해야 했습니다. 트랜지스터는 그렇게 세상의 것이 되었습니다. 같은 해 쇼클리는 캘리포니아로 가서 반도체 회사를 세웠고, 그를 떠난 연구원 여덟 명이 이듬해 세운 페어차일드 반도체에서 실리콘밸리가 자라났습니다. 트랜지스터로 불 대수(Boolean algebra)의 논리 소자를 싸게 만들 수 있게 되자, 1962년 벨 시스템은 T1 전송을 시작했습니다. 목소리의 세기를 1초에 8,000번 재어 그 값을 비트로 바꾸고, 그 비트들을 펄스로 나르는 디지털 전화입니다(긴 글 「잡음 너머로」).
같은 규제가 유닉스를 낳고 퍼뜨렸습니다. 1969년 거대한 운영 체제 공동 개발 계획(멀틱스)에서 빠져나온 프로그래머 켄 톰프슨과 데니스 리치는 남는 소형 컴퓨터로 작고 단순한 운영 체제를 만들었고, 1973년 무렵 그 핵심을 새로 만든 언어 C로 다시 썼습니다. 한 가지 일만 잘하는 작은 프로그램들을, 한 프로그램의 출력을 다음 프로그램의 입력으로 곧장 흘려보내는 파이프로 이어 쓰는 방식이 유닉스의 철학이 되었습니다. 문자열 찾기 도구 grep은 톰프슨이 1968년에 발표한 정규 표현식(regular expression)을 유한 오토마톤(finite automaton)으로 바꾸어 찾는 방법을 썼고, 스티븐 존슨의 yacc는 문맥 자유 문법(context-free grammar)을 받아, 프로그램 글을 그 문법 구조로 쪼개는 구문 분석기(parser)를 자동으로 만들어 냈으며, 두 파일의 차이를 보여 주는 diff는 순서를 지키며 두 파일에 공통으로 남는 가장 긴 줄의 열을 찾았습니다. 동적 계획법(dynamic programming)으로 풀리는 고전 문제이고 편집 거리(edit distance)와 짝을 이루는 문제입니다. AT&T는 1956년 합의 때문에 소프트웨어를 상품으로 팔 수 없었으므로, 유닉스를 원시 코드와 함께 대학에 싼값에 내주었습니다. 버클리를 비롯한 대학에서 한 세대의 프로그래머가 유닉스로 컴퓨터를 배웠습니다.
수학은 그 뒤로도 이어졌습니다. 1984년 수학자 나렌드라 카르마카르는 일차식으로 된 조건들을 지키며 일차식 목표를 가장 크게(또는 작게) 만드는 선형 계획법(linear programming) 문제를 푸는 새 방법, 내점법(interior-point method)을 내놓았습니다. 조건들이 만드는 다각형 모양 영역의 모서리를 따라 도는 대신 안쪽을 가로질러 답으로 다가가는 방법으로, 계산 시간이 문제 크기의 거듭제곱 정도로만 늘어나면서(다항식 시간, polynomial time) 실제로도 빨랐습니다(가장 좋은 것 고르기). 1989년 얀 르쿤과 동료들은 손으로 쓴 우편번호 숫자 그림으로 합성곱 신경망(convolutional neural network), 곧 작은 무늬 필터(filter)를 그림 전체에 밀며 적용하는 신경망(neural network)을 역전파(backpropagation)로 훈련했습니다. 1990년대 초 같은 연구소의 블라디미르 바프니크와 동료들은 두 무리 사이의 빈 띠를 가장 넓히는 분류기에 커널을 더해 서포트 벡터 머신(support vector machine)으로 다듬었습니다. 1994년 수학자 피터 쇼어는 양자역학의 중첩을 계산에 쓰는 양자 컴퓨터(quantum computer)가 큰 수를 빠르게 소인수분해(prime factorization)할 수 있음을 보여, 소인수분해가 어렵다는 데 기대는 RSA 암호(RSA cryptosystem)의 미래에 물음표를 던졌습니다.
그러나 이 세계를 받치던 독점은 끝나 가고 있었습니다. 1974년 법무부가 다시 독점 금지 소송을 냈고, 1982년 합의에 따라 1984년 1월 1일 벨 시스템은 장거리 전화와 제조와 연구소를 가진 AT&T, 그리고 일곱 개의 지역 전화 회사로 나뉘었습니다. 경쟁에 나선 AT&T는 컴퓨터와 유닉스를 팔 수 있게 되었지만, 이제 연구는 가까운 시일 안에 돈이 된다는 것을 스스로 증명해야 했습니다. 1996년 연구소의 대부분은 장비 회사 루슨트 테크놀로지스로 떨어져 나갔고, 2000년대 초 통신 거품이 꺼진 뒤 기초(basics) 연구는 크게 줄었습니다. 연구소는 2006년 알카텔루슨트를 거쳐 2016년 노키아에 속하게 되었습니다. 독점의 돈, 분명한 과제, 연구자의 자유, 그리고 한 건물에 모인 다양한 사람들이라는 조합은 다시 만들기 어렵다고들 합니다. 오늘날 큰 기술 기업들의 연구소가 종종 그 후계자로 비교되는 까닭입니다.
이어지는 곳. 전선 하나로 얼마나 보낼 수 있느냐는 물음의 앞 이야기는 전신과 해저 케이블의 시대에 있습니다. 섀넌이 입사 직전 1년을 보낸 곳이자 해밍이 전쟁 중 계산을 한 곳은 프린스턴 고등연구소와 로스앨러모스이고, 섀넌과 튜링이 만난 전쟁의 암호 이야기는 블레츨리 파크에서 이어집니다. 섀넌의 엔트로피를 곧바로 동역학계(dynamical system)로 가져간 곳은 모스크바 수학 학파입니다. 섀넌의 이론 위에서 MIT의 허프만은 자주 나오는 기호에 짧은 부호를 주어 평균 길이를 엔트로피에 가장 가깝게 만드는 허프만 부호(Huffman coding)를 찾았고, 유닉스의 압축 도구 compress는 앞에 나온 글자열을 가리켜 되풀이를 줄이는 렘펠–지브 압축(Lempel–Ziv compression)을 썼습니다. 소리와 그림을 사인파의 합이나 비트의 줄로 바꾸어 다루는 생각은 표현 바꾸기로, 무작위로 고른 부호가 평균적으로 좋다는 섀넌의 논법은 무작위성으로 이어집니다.
이 장소이 나오는 긴 글
이 장소을 언급하는 페이지
- k-평균 군집
… 꺾인다고 엘보 방법이라 부릅니다)을 고르는 경우가 많습니다. 이 반복은 스튜어트 로이드가 1957년벨 연구소에서 신호를 몇 단계의 값으로 나타내는(양자화) 문제로 적은 보고서에 나오며, 논문으로는 1982년에야 …
- 보로노이 다이어그램
… 영역의 무게중심으로 옮기기를 되풀이하는 것은 k-평균 군집을 푸는 로이드 알고리즘입니다(1957년벨 연구소의 스튜어트 로이드가 제안). 무게중심은 영역 안 점들까지의 유클리드 거리 제곱의 합을 가장 작게 하는 …
- 해밍 거리
… 원래 부호어가 가장 가까우니). 다만 이 반복 부호는 3비트를 보내 1비트만 전하니 낭비가 큽니다.벨 연구소의 해밍은 7비트로 4비트를 보내면서도 오류 하나를 고치는 오류 정정 부호를 만들어 1950년에 …
- 최소 신장 트리
… 있어서, 전체 시간은 변 m개를 정렬하는 O(m \log m) 이 좌우합니다(점근 표기법). 1957년벨 연구소의 로버트 프림이 발표한 방법(체코의 수학자 보이테흐 야르니크가 1930년에 먼저 찾았습니다)은 한 점에서 …
- 최대 흐름 최소 절단 정리
… 레스터 포드와 델버트 풀커슨이 증명했고, 같은 무렵 MIT의 피터 일라이어스와 에이미얼 파인스타인,벨 연구소의 섀넌도 함께 쓴 논문에서 독립적으로 증명했습니다. 처음 용량으로 관 가운데의 숫자(흐름/용량)를 …
- 원천 부호화 정리
… 얼마나 짧게 할 수 있는지의 한계는 한 세기 동안 아무도 몰랐습니다. 1920년대 전화 회사 AT&T와 그벨 연구소에서 해리 나이퀴스트와 랠프 하틀리가 전선 하나로 보낼 수 있는 신호의 양을 재려 했고, 벨 …
- 오류 정정 부호
… 확률입니다. 통로에서 뒤집히는 비트 수는 이항분포를 따르니 이항계수로 정확히 계산됩니다. 1950년벨 연구소의 리처드 해밍이 만든 해밍 부호 (7,4)는 데이터 4비트에 검사 비트 3개를 붙여 7비트로 …
- 섀넌–하틀리 정리
1920년대벨 연구소의 기술자들은 전선 하나로 얼마나 빨리 보낼 수 있는지 묻고 있었습니다. 해리 나이퀴스트는 1924년과 …
- 율–왜곡 이론
… 놓고 간격만 가장 좋게 고른 것입니다. 드문 꼬리에 대표값을 낭비하고, 흔한 가운데는 성기게 덮습니다.벨 연구소의 스튜어트 로이드(1957년 사내 보고서, 1982년 출판)와 조엘 맥스(1960)는 가장 좋은 …
- 기계 학습
… 윌리엄스가 여러 층의 신경망을 역전파로 학습시키는 방법을 널리 알리면서 되살아났습니다. 1989년벨 연구소의 얀 르쿤과 동료들은 손으로 쓴 우편번호 숫자를 합성곱 신경망(작은 필터 하나를 사진 위로 …
- 서포트 벡터 머신과 커널
… '퍼텐셜 함수'로 쓰는 생각은 1964년 소련의 아이제르만, 브라베르만, 로조노에르가 냈습니다. 1992년벨 연구소의 보저, 가이언, 바프니크가 둘을 합쳤고, 1995년 코르테스와 바프니크가 소프트 마진을 더했습니다. 이 …
- 인공지능
… 힌턴⟧, 로널드 윌리엄스는 여러 층의 신경망을 역전파로 학습시키는 방법을 널리 알렸고, 1989년벨 연구소의 얀 르쿤과 동료들은 손글씨 숫자를 합성곱 신경망으로 읽었습니다. 보상으로 배우는 강화 학습은 …
- 합성곱 신경망
… 구니히코의 네오코그니트론은 이 구조를 본뜬 층 구조였지만 역전파로 학습하지는 않았습니다. 1989년벨 연구소의 얀 르쿤과 동료들은 합성곱 신경망을 역전파로 학습시켜 우편번호 손글씨를 읽었고, 같은 계열의 망은 …