프랭크 로젠블랫(Frank Rosenblatt)

프랭크 로젠블랫은 1928년 뉴욕주 뉴로셸에서 태어나 브롱크스 과학 고등학교와 코넬 대학을 다녔고, 1956년 코넬에서 심리학 박사 학위를 받았습니다. 그 무렵 뇌와 기계는 서로를 비추는 거울이었습니다. 1943년 신경생리학자 워런 맥컬러와 논리학자 월터 피츠는 신경세포를, 입력의 합이 문턱⁠(threshold)⁠을 넘으면 발화하는 논리 소자로 그렸고, 1949년 심리학자 도널드 헵은 함께 발화하는 세포 사이의 연결이 강해진다는 학습 가설을 내놓았습니다. 컴퓨터는 막 연구실에 들어오고 있었습니다. 로젠블랫의 물음은 이것이었습니다. 규칙을 사람이 적어 주지 않아도, 예를 보며 스스로 배우는 기계를 만들 수 있을까?

나이 세 ·

1940–50년대의 이런 생각들을 한데 묶은 이름이 사이버네틱스⁠(cybernetics)⁠였습니다. 수학자 노버트 위너는 1948년 같은 제목의 책에서 되먹임⁠(feedback)⁠과 통신으로 기계와 동물을 함께 설명하자고 했고, 1946년부터 뉴욕에서 열린 메이시 회의에는 맥컬러를 의장으로 신경생리학자, 수학자, 인류학자가 모였습니다. 영국에서는 튜링이 1948년 보고서에서 훈련으로 조직되는 무작위 그물을 그렸지만 발표되지 않았고, 1951년 대학원생 마빈 민스키는 뉴런 40개를 흉내 낸 학습 기계 SNARC를 지었습니다. 1956년 다트머스 모임에서 '인공지능⁠(artificial intelligence)⁠'이라는 이름이 자리 잡은 뒤, 지능을 기호와 규칙의 조작으로 만들려는 쪽과 뉴런을 닮은 그물의 학습으로 만들려는 쪽이 갈라지기 시작했습니다. 로젠블랫은 뒤쪽의 가장 눈에 띄는 인물이었고, 그의 연구비는 미 해군 연구청에서 나왔습니다.

1957–58년 뉴욕주 버펄로의 코넬 항공 연구소에서 그가 내놓은 답이 퍼셉트론입니다. 입력 $\vec x$의 성분마다 가중치를 곱해 더한 값, 곧 내적⁠(dot product)⁠ $\vec w \cdot \vec x$에 경계를 원점에서 옮겨 주는 치우침 b를 더해 0보다 크면 한쪽, 작으면 다른 쪽으로 판정합니다. 새로운 것은 가중치를 고치는 규칙이었습니다. 정답이 $y = \pm 1$인 예를 틀리게 판정하면 $\vec w \leftarrow \vec w + \eta\,y\,\vec x$로 고치고(η는 한 번에 고치는 폭인 학습률⁠(learning rate)⁠), 맞히면 그대로 둡니다. 기하학으로 보면 $\vec w$는 두 무리를 가르는 직선(차원이 높으면 평면)에 수직인 벡터⁠(vector)⁠이고, 틀린 점이 나올 때마다 경계를 그 점이 제자리로 가는 쪽으로 조금씩 돌려 세웁니다. 예가 유한 개이고 두 무리를 직선 하나로 가를 수 있기만 하면, 예들을 몇 번 되풀이해 보여 주든 고치는 횟수가 유한하게 끝난다는 수렴 정리⁠(convergence theorem)⁠는 1962년 헨리 블록, 앨버트 노비코프 등이 증명했습니다. 가를 수 없는 자료에서는 가중치가 끝없이 흔들립니다.

로젠블랫은 이것을 실제 기계로 지었습니다. 1958년 7월 워싱턴의 기상청에 있던 IBM 704 컴퓨터로 한 시연에서 퍼셉트론은 카드의 왼쪽과 오른쪽에 찍힌 표시를 구별하는 법을 배웠다고 전하고, 『뉴욕 타임스』는 걷고 말하고 스스로를 의식할 기계의 배아라는 해군의 기대를 실었습니다. 이어 지은 '마크 I 퍼셉트론'은 20×20칸으로 늘어선 광전지 400개를 눈으로 삼고, 가중치를 전기 모터가 돌리는 가변 저항기에 담았습니다. 기계가 틀리면 모터가 저항기를 돌렸습니다. 이 기계는 지금 워싱턴의 스미스소니언 미국사 박물관에 있습니다. 신문의 기대는 기계가 할 수 있는 일을 한참 앞질렀고, 로젠블랫 자신도 퍼셉트론의 앞날을 크게 말하곤 했습니다. 1962년에는 이론과 실험을 모은 『신경역학의 원리』를 펴냈습니다.

로젠블랫만 있었던 것은 아닙니다. 1959년 MIT의 올리버 셀프리지는 여러 층의 '악마'들이 저마다 특징을 외치고 윗단이 가장 큰 외침을 고르는 패턴 인식 구조 '팬데모니엄'을 내놓았고, 1960년 스탠퍼드의 버나드 위드로와 학생 테드 호프는 출력과 정답의 차이의 제곱을 줄이는 쪽으로 가중치를 조금씩 고치는 적응 소자 ADALINE을 만들었습니다. 위드로–호프 규칙은 오차 제곱을 경사 하강법⁠(gradient descent)⁠으로 줄이는 것이어서, 오늘날의 신경망 학습에 훨씬 가까운 모습입니다. 이 시기 미국의 인공지능 연구는 냉전의 연구비로 빠르게 자랐습니다. 소련의 인공위성 스푸트니크(1957)에 놀란 미국 정부가 세운 고등 연구 계획국(ARPA)은 1960년대 MIT, 카네기 공대, 스탠퍼드의 인공지능 연구실에 큰돈을 댔는데, 그 돈의 대부분은 기호를 다루는 쪽으로 갔습니다.

한계도 곧 드러났습니다. 1969년 MIT의 마빈 민스키와 시모어 패퍼트는 책 『퍼셉트론』에서 한 층짜리 퍼셉트론이 입력의 홀짝(켜진 입력이 홀수 개인가. 입력이 둘인 가장 작은 경우가 XOR, 곧 둘 가운데 하나만 켜졌을 때 참인 연산)이나 그림이 한 덩어리로 이어졌는지 같은 전체적인 성질을 알아보기 어렵다는 것을 증명했습니다. 평면 위 XOR의 네 점, 곧 (0,0)과 (1,1)을 한쪽, (0,1)과 (1,0)을 다른 쪽으로 가르는 직선은 없습니다. 로젠블랫과 민스키는 같은 브롱크스 과학 고등학교를 나왔고, 학회에서 자주 맞섰다고 전합니다. 로젠블랫은 1962년 책에서 이미 여러 층의 퍼셉트론과 오차를 거꾸로 전하는 교정을 논했지만, 가운데 층의 가중치를 체계적으로 고치는 방법은 아직 없었습니다. 연쇄법칙⁠(chain rule)⁠으로 기울기⁠(slope)⁠를 거꾸로 계산하는 역전파⁠(backpropagation)⁠가 널리 쓰이게 된 것은 1986년입니다.

이 책이 신경망 연구를 '죽였다'는 이야기가 흔히 전하지만, 연구비와 관심은 이미 기호와 규칙으로 지능을 만들려는 쪽으로 옮겨 가고 있었습니다. 1969년 미국 의회는 국방부가 군사적 쓸모가 분명한 연구에만 돈을 대도록 하는 맨스필드 수정안을 통과시켰고, 1966년에는 기계 번역⁠(machine translation)⁠에 대한 ALPAC 보고서가, 1973년에는 영국의 라이트힐 보고서가 인공지능의 약속이 지켜지지 않았다고 평가했습니다. 1970년대 중반의 이 침체는 뒤에 첫 번째 '인공지능의 겨울'이라 불립니다. 로젠블랫은 뒤에 이타카의 코넬 대학에서 가르치며, 학습한 쥐의 뇌에서 뽑은 물질로 다른 쥐에게 학습이 옮겨 가는지 실험하는 등 관심을 넓혔습니다. 1971년 7월 마흔세 번째 생일에 체서피크만에서 보트 사고로 세상을 떠났고, 퍼셉트론은 가장 열성적인 옹호자를 잃었습니다. 그의 규칙은 오늘날 자료로부터 규칙을 배우는 기계 학습⁠(machine learning)⁠ 교과서의 첫 장에 실려 있습니다.

퍼셉트론의 생각은 겨울을 견디고 돌아왔습니다. 1982년 물리학자 존 홉필드는 에너지가 낮아지는 쪽으로 움직이는 되먹임 신경망으로 기억을 설명했고, 1986년 데이비드 럼멜하트, 제프리 힌턴, 로널드 윌리엄스가 역전파로 여러 층의 퍼셉트론을 훈련하는 방법을 널리 알렸으며, 같은 해 나온 두 권짜리 『병렬 분산⁠(variance)⁠ 처리』가 '연결주의⁠(connectionism)⁠'의 부활을 알렸습니다. 1988년 민스키와 패퍼트는 『퍼셉트론』 증보판의 후기에서, 새 연결주의가 1969년 책이 지적한 문제를 아직 풀지 못했다고 반박했습니다. 1980년대 말 전문가 시스템⁠(expert system)⁠의 거품이 꺼지며 두 번째 겨울이 왔지만, 1989년 벨 연구소의 얀 르쿤은 뉴욕주 버펄로 우체국을 지난 우편물의 손글씨 우편번호를 읽는 신경망을 만들었고, 2012년 깊은 신경망이 이미지 인식 대회에서 큰 차이로 이기면서 딥러닝⁠(deep learning)⁠의 시대가 열렸습니다. 전기전자공학자협회(IEEE)는 2004년부터 신경망 연구에 프랭크 로젠블랫상을 줍니다.

이어지는 곳. 틀린 만큼 가중치를 고치는 퍼셉트론 규칙은 오차의 기울기를 따라 내려가는 경사 하강법의 한 특수한 경우로 읽을 수 있고(가장 좋은 것 고르기), 경사를 따라 내려가는 계산은 1847년 코시의 방법에서 왔습니다. 퍼셉트론을 여러 층 쌓고 사이에 휘어지는 함수⁠(function)⁠를 넣은 것이 신경망이고, 예를 너무 잘 외운 기계가 새 예에서 틀리는 문제가 과적합⁠(overfitting)⁠입니다. 가장 가까운 예를 따라가는 다른 길은 최근접 이웃 분류⁠(k-nearest neighbors classification)⁠입니다. 기계가 생각할 수 있느냐는 물음은 튜링의 1950년 논문에서 왔고, 인공지능이라는 이름이 자리 잡은 1956년 다트머스 모임에는 섀넌도 이름을 올렸습니다. 2018년 튜링상⁠(Turing Award)⁠은 요슈아 벤지오, 힌턴, 르쿤에게, 2024년 노벨 물리학상은 홉필드와 힌턴에게 돌아갔습니다.

연표.

• 1946년 브롱크스 과학 고등학교를 졸업하다
• 1956년 코넬 대학에서 심리학 박사 학위를 받다
• 1957년 버펄로의 코넬 항공 연구소에서 퍼셉트론 보고서를 내다
• 1958년 워싱턴에서 IBM 704로 퍼셉트론을 시연하다
• 1960년 광전지 400개의 눈을 가진 마크 I 퍼셉트론을 완성하다
• 1962년 『신경역학의 원리』를 펴내다
• 1969년 민스키와 패퍼트의 『퍼셉트론』이 한 층짜리 퍼셉트론의 한계를 증명하다
• 1971년 마흔세 번째 생일에 체서피크만에서 보트 사고로 세상을 떠나다