월터 피츠(Walter Pitts)

월터 피츠는 1923년 미국 디트로이트의 가난한 노동자 집안에서 태어났습니다. 아버지는 폭력적이었고, 그는 동네 아이들을 피해 공공 도서관에 숨곤 했습니다. 열두 살 무렵 도서관에서 사흘 동안 러셀과 화이트헤드의 『수학 원리』를 읽고 잘못을 찾아 러셀에게 편지를 보냈으며, 러셀이 케임브리지로 와서 공부하라고 답했다는 이야기가 전합니다. 다만 자세한 사정은 뒷날 친구들의 회고로만 남아 있습니다. 확실한 것은 그가 열다섯 살에 집을 떠나 시카고로 갔고, 다시는 가족에게 돌아가지 않았다는 것입니다. 1930년대 말의 시카고 대학에는 수리 생물물리학이라는 새 분야를 세우던 니콜라스 라셰프스키의 모임이 있었고, 빈 학파의 철학자 루돌프 카르나프가 망명해 와 있었습니다. 뇌를 수학으로 설명하려는 시도와 논리학의 최전선이 한 캠퍼스에 모여 있던 것입니다.

나이 세 ·

그는 대학에 정식으로 등록하지 않은 채 캠퍼스 근처를 떠돌며 강의를 들었습니다. 1938–39년 시카고에 초빙 교수로 와 있던 러셀의 강의를 들었다고 하고, 카르나프의 연구실에 불쑥 찾아가 그의 책 『언어의 논리적 구문』의 문제점을 적은 노트를 내밀었다는 일화도 전합니다. 카르나프는 이 이름도 모르는 소년을 수소문해 대학의 허드렛일 자리를 구해 주었습니다. 그 무렵 그는 의대생 제롬 레트빈과 단짝이 되었고, 라셰프스키의 모임에서 신경 회로에 관한 짧은 논문들을 쓰기 시작했습니다. 1941년 신경생리학자 워런 맥컬러가 일리노이 대학 의과대학으로 오자 레트빈이 둘을 이어 주었고, 머물 곳이 없던 피츠는 레트빈과 함께 교외에 있던 맥컬러의 집에 들어가 살았습니다. 밤마다 부엌 식탁에서 스물다섯 살 가까이 차이 나는 두 사람이 뇌와 논리를 두고 토론했습니다.

두 사람이 붙든 물음은 이것이었습니다. 신경세포라는 생물학적 부품으로 이루어진 뇌가 어떻게 논리적인 생각을 할 수 있는가? 1943년 논문 「신경 활동에 내재한 생각들의 논리 계산」에서 그들은 뉴런을 대담하게 단순화했습니다. 뉴런은 발화하거나 하지 않거나 둘 중 하나이고(1 또는 0), 시간은 똑같은 간격의 걸음으로 흐릅니다. 뉴런에는 흥분성⁠(excitatory)⁠ 입력과 억제성⁠(inhibitory)⁠ 입력이 들어오는데, 한 걸음 전에 켜진 흥분성 입력의 수가 문턱⁠(threshold)⁠ $\theta$ 이상이고 억제성 입력이 하나도 켜져 있지 않으면 발화합니다(위의 식). 이것만으로 논리가 만들어집니다. 흥분성 입력 두 개에 문턱이 2이면 둘 다 켜져야 발화하니 '그리고'(AND), 문턱이 1이면 하나만 켜져도 발화하니 '또는'(OR), 문턱이 0이고 입력이 억제성이면 입력이 꺼져 있을 때만 발화하니 '아니다'(NOT)입니다. 이 세 가지로 불 대수⁠(Boolean algebra)⁠의 모든 식을 만들 수 있으므로, 유한한 입력에 대한 어떤 논리식이든 이런 뉴런의 그물로 계산할 수 있습니다. 거꾸로 되돌아오는 고리가 없는 그물이 하는 일은 모두 하나의 논리식으로 적힌다는 것도 그들은 증명했습니다.

고리가 있는 그물은 더 흥미로웠습니다. 자기 자신에게 흥분성 입력을 되돌려 주는 뉴런은 한 번 켜지면 계속 켜져 있으니, 과거에 무슨 일이 있었는지를 기억합니다. 고리를 가진 그물은 지금의 입력뿐 아니라 지나간 입력의 역사에 따라 다르게 반응할 수 있습니다. 그들은 튜링의 1936년 논문을 인용하며, 이런 그물에 기호를 읽고 쓰는 테이프를 붙이면 튜링 기계⁠(Turing machine)⁠가 계산하는 것을 모두 계산할 수 있다고 적었습니다. 테이프가 없는 유한한 그물은 어떨까요? 1951년 랜드 연구소의 논리학자 스티븐 클리니는 바로 이 물음, 곧 유한한 뉴런 그물이 알아볼 수 있는 입력의 패턴이 정확히 어떤 것인지를 물었고, 그 답으로 오늘날의 정규 표현식⁠(regular expression)⁠과 유한 오토마톤⁠(finite automaton)⁠ 이론을 내놓았습니다. 유한한 그물은 기억할 수 있는 상태의 수가 유한하므로, 예를 들어 괄호가 아무리 깊게 겹쳐도 짝이 맞는지를 판정하는 일은 할 수 없습니다(문맥 자유 문법⁠, context-free grammar⁠).

논문은 신경과학보다 컴퓨터 쪽에서 더 멀리 퍼졌습니다. 1945년 폰 노이만은 오늘날 컴퓨터 구조의 출발점인 「EDVAC 보고서 초안」에서 논리 소자를 설명하며 맥컬러–피츠의 뉴런 표기를 빌려 썼습니다. 한편 1943년 레트빈은 피츠를 MIT의 노버트 위너에게 데려갔고, 위너는 이 청년에게 크게 감탄해 자기 제자로 받아들이고 박사 학위를 주겠다고 했습니다. 피츠는 전쟁 중 한동안 뉴욕의 한 공학 회사에서 일하기도 했지만 곧 위너 곁으로 돌아왔고, 1946년부터 열린 메이시 회의에서 위너, 맥컬러, 폰 노이만과 함께 사이버네틱스라 불리게 될 새 과학의 가장 젊은 핵심 인물이 되었습니다. 동료들은 그가 논리학, 신경생리학, 수학의 어떤 주제든 즉석에서 깊이 있게 풀어낸다고 회고했습니다.

1947년 그와 맥컬러는 「우리는 보편자를 어떻게 아는가」에서 다른 물음을 던졌습니다. 우리는 네모를 크게 보든 작게 보든, 왼쪽에서 보든 오른쪽에서 보든 같은 네모로 알아봅니다. 뇌는 어떻게 이렇게 할까요? 그들의 답은 가능한 모든 이동과 확대를 가한 모양들에 대해 같은 값을 평균⁠(mean)⁠하면, 그 결과는 그런 변환에 흔들리지 않는 양, 곧 불변량⁠(invariant)⁠이 된다는 것이었습니다. 변환들이 이루는 군을 따라 평균을 내면 불변량이 나온다는 이 수학은 오늘날 이미지 인식에서 위치가 바뀌어도 같은 특징을 찾는 합성곱 신경망⁠(convolutional neural network)⁠의 설계 원리와 닮았습니다. 다만 합성곱 신경망은 평균을 내는 대신 같은 가중치⁠(weight)⁠를 모든 위치에 되풀이해 쓰는 방식으로 이 성질을 얻습니다(대칭과 불변량). 그들은 이것을 소리를 듣는 청각 피질과 눈을 움직이는 뇌 부위의 구조와 맞추어 보려 했습니다.

1952년 맥컬러가 MIT 전자 공학 연구소로 옮기면서 피츠와 레트빈도 함께 자리를 잡았습니다. 그런데 바로 그 무렵 위너가 갑자기 맥컬러와 그 주변 사람들과의 관계를 끊었습니다. 전기 작가들은 맥컬러의 무리에 대한 위너 아내의 악의적인 이야기를 계기로 보지만, 위너는 끝내 이유를 설명하지 않았습니다. 아버지처럼 여기던 사람에게서 버림받은 피츠는 무너졌습니다. 그는 삼차원 신경망에 관한 박사 논문 원고를 불태웠다고 전하며, 술에 기대면서 사람들과의 연락을 점점 끊었습니다. 1959년 그는 레트빈, 움베르토 마투라나, 맥컬러와 함께 「개구리의 눈이 개구리의 뇌에게 말하는 것」의 공저자가 되었습니다. 개구리의 시신경을 연구한 이 논문은 눈이 뇌에게 빛의 점들을 그대로 넘기는 것이 아니라 '작고 어두운 것이 움직인다' 같은, 이미 가공된 특징을 보낸다는 것을 보였습니다. 레트빈의 회고에 따르면, 뇌의 일을 순수한 논리로 설명하려던 피츠에게 이 결과는 오히려 깊은 낙담을 안겼다고 합니다.

그는 끝내 박사 학위를 받지 않았습니다. 1969년 5월, 그는 매사추세츠주 케임브리지의 하숙집에서 오랜 음주로 인한 간 질환의 합병증으로 마흔여섯 살에 세상을 떠났습니다. 넉 달 뒤인 그해 9월 맥컬러도 세상을 떠났습니다. 그의 이름이 붙은 논문은 몇 편 되지 않지만, 1943년 논문 한 편이 세 분야의 출발점이 되었습니다. 1951년 마빈 민스키는 이 뉴런 모형을 본떠 학습 기계 SNARC를 지었고, 1958년 로젠블랫은 맥컬러–피츠의 문턱 뉴런에 예로부터 가중치를 배우는 규칙을 더해 퍼셉트론⁠(perceptron)⁠을 만들었고, 이것이 오늘날 역전파⁠(backpropagation)⁠로 학습하는 심층 신경망을 비롯한 기계 학습⁠(machine learning)⁠의 먼 조상입니다. 클리니를 거쳐 오토마톤과 형식 언어⁠(formal language)⁠의 이론이 나왔고, 뇌의 계산을 수학으로 모형화하는 계산 신경과학도 여기서 시작되었습니다. 2015년 한 과학 잡지에 실린 그의 전기적 글은 '논리로 세상을 구원하려 한 사람'이라는 제목으로 그의 삶을 다시 알렸습니다.

이어지는 곳. 문턱 뉴런은 신경망과 퍼셉트론에서, 그것이 계산하는 논리는 불 대수에서 이어집니다. 유한한 그물이 알아보는 것은 유한 오토마톤과 정규 표현식이고, 테이프를 붙인 그물은 튜링 기계입니다. 함께 일한 사람들은 맥컬러와 위너이고, 변환에 흔들리지 않는 특징을 찾는 생각은 대칭과 불변량에 있습니다.

관계.

• 함께 연구 워런 맥컬러 — 1942년 무렵부터 맥컬러의 집에서 함께 살며 1943년의 논리 뉴런 논문과 1947년의 패턴 인식 논문을 썼고, 1952년 함께 MIT로 옮겼습니다.
• 스승 노버트 위너 — 1943년 MIT로 가서 위너의 제자가 되었고 위너는 그에게 박사 학위를 줄 계획이었지만, 1952년 위너가 갑자기 관계를 끊으면서 학위는 끝내 마무리되지 못했습니다.
• 영향을 받음 버트런드 러셀 — 어린 나이에 러셀과 화이트헤드의 『수학 원리』를 읽고 러셀에게 편지를 보냈다는 이야기가 회고로 전하며, 1943년 논문도 이 책의 기호를 썼습니다.
• 영향을 받음 앨런 튜링 — 1943년 논문은 튜링의 1936년 논문을 인용하며, 테이프를 붙인 뉴런 그물이 튜링 기계와 같은 것을 계산할 수 있다고 적었습니다.
• 영향을 줌 존 폰 노이만 — 폰 노이만은 1945년 「EDVAC 보고서 초안」에서 컴퓨터의 논리 소자를 설명하며 맥컬러–피츠의 뉴런 표기를 빌려 썼습니다.
• 영향을 줌 프랭크 로젠블랫 — 로젠블랫의 퍼셉트론은 맥컬러–피츠의 문턱 뉴런에 예로부터 가중치를 배우는 규칙을 더한 것입니다.

연표.

• 1938년 열다섯 살에 디트로이트의 집을 떠나 시카고로 가다
• 1942년 워런 맥컬러의 집에 들어가 함께 살며 연구하다
• 1943년 맥컬러와 「신경 활동에 내재한 생각들의 논리 계산」을 발표하고 MIT의 위너에게 가다
• 1946년 메이시 회의의 핵심 참가자가 되다
• 1947년 맥컬러와 「우리는 보편자를 어떻게 아는가」를 발표하다
• 1952년 위너가 관계를 끊어 큰 충격을 받다
• 1959년 「개구리의 눈이 개구리의 뇌에게 말하는 것」에 공저자로 참여하다