리처드 벨먼(Richard Bellman)

리처드 벨먼은 1920년 뉴욕에서 태어났습니다. 브루클린 칼리지와 위스콘신 대학에서 수학을 공부했고, 2차 세계대전 중에는 로스앨러모스의 이론 물리 부서에서 일했습니다. 1946년 프린스턴에서 솔로몬 레프셰츠의 지도로 미분⁠(differentiation)⁠ 방정식의 안정성⁠(stability)⁠에 관한 논문을 써서 박사 학위를 받았습니다. 순수한 해석학자로 출발한 그를 응용수학으로 이끈 것은 냉전이었습니다.

나이 세 ·

1949년부터 그는 캘리포니아 샌타모니카의 RAND 연구소와 일했습니다. 미 공군의 연구 계획에서 1948년 독립⁠(independence)⁠한 이 연구소는 게임 이론⁠(game theory)⁠, 선형 계획법⁠(linear programming)⁠, 시스템 분석이 모이는 곳이었습니다. 벨먼이 받은 문제들은 여러 단계에 걸친 결정이었습니다. 보급과 재고와 무기 배치처럼, 지금의 선택이 다음 선택의 조건을 바꾸는 문제입니다. 모든 선택의 조합을 따지면 경우의 수⁠(number of cases)⁠가 단계 수에 따라 지수적으로 불어납니다. 그의 답은 끝에서부터 거꾸로 생각하는 것이었습니다. 어떤 상태에 이르렀든 그 뒤로는 그 상태에서 가장 좋게 행동해야 한다는 '최적성의 원리'를 받아들이면, 각 상태의 값을 다음 상태들의 값으로 적는 방정식(위의 식)이 나오고, 그 방정식을 표로 한 칸씩 채우면 됩니다. 이것이 동적 계획법입니다.

이름에 얽힌 이야기는 자서전 『태풍의 눈』(1984)에 나옵니다. 연구라는 말을 몹시 싫어하던 국방 장관 윌슨의 눈을 피하려고 수학처럼 들리지 않는 '동적 계획법'을 골랐다는 것입니다. 다만 그가 이 말을 쓴 첫 논문(1952)이 윌슨이 장관이 된 1953년보다 앞서서, 이 회고가 그대로 사실일 수는 없다는 지적이 있습니다. 'programming'은 컴퓨터 프로그램이 아니라, 단치히의 선형 계획법에서처럼 계획표를 짜는 일을 뜻했습니다.

1957년 책 『동적 계획법』에서 그는 방법의 힘과 함께 한계도 이름 붙였습니다. 상태를 적는 변수가 하나 늘 때마다 채울 표가 몇 배씩 불어나는 어려움, 곧 차원의 저주입니다. 이 말은 오늘날 높은 차원의 자료를 다루는 통계⁠(statistics)⁠와 기계 학습⁠(machine learning)⁠ 전체에서 쓰입니다. 1958년 논문 「경로 문제에 관하여」에서는 최단 경로⁠(shortest path)⁠를 같은 방정식으로 풀었고, 같은 RAND의 레스터 포드가 1956년 내놓은 방법과 합쳐 오늘날 벨먼–포드 알고리즘⁠(Bellman–Ford algorithm)⁠이라 부릅니다. 연속 시간의 제어 문제로 옮긴 같은 방정식은 해밀턴–야코비–벨먼 방정식이라 불리며 최적 제어 이론⁠(control theory)⁠의 중심이 되었습니다.

그는 엄청나게 많이 썼습니다. 평생 600편이 넘는 논문과 30권이 넘는 책을 냈다고 집계됩니다. 1965년 서던캘리포니아 대학의 교수가 되었고, 1967년에는 생물학과 의학에 수학을 쓰는 학술지 『수리 생물과학』을 창간했습니다. 1973년 뇌종양 수술 뒤 몸이 크게 불편해졌지만 연구를 멈추지 않았습니다. 1976년 존 폰 노이만 이론상, 1979년 IEEE 명예 메달을 받았고, 1984년 로스앤젤레스에서 세상을 떠났습니다.

그의 방정식은 뜻밖의 곳에서 오래 살아남았습니다. 음성 인식과 통신의 비터비 알고리즘⁠(Viterbi algorithm)⁠은 1968년 짐 오무라가 지적했듯 동적 계획법의 한 형태이고, 오늘날의 강화 학습⁠(reinforcement learning)⁠은 벨먼 방정식을 자료로 풀어 가는 방법들의 모음입니다. 알파고가 국면의 값을 신경망⁠(neural network)⁠으로 어림한 것도, 벨먼이 표로 채우려던 값을 표가 너무 커서 함수⁠(function)⁠로 대신한 것입니다.

이어지는 곳. 동적 계획법이 왜 되는지(분배법칙⁠, distributive law⁠)와 언제 안 되는지, 그리고 최단 경로, 비터비, 구문 분석⁠(parsing)⁠이 한 계산이라는 이야기는 「같은 계산, 다른 덧셈」에 있습니다. 높은 차원에서 거리가 뜻을 잃는 모습은 차원의 저주와 「까마귀와 택시」에서, 그의 방정식을 뼈대로 한 학습은 강화 학습에서 볼 수 있습니다.

관계.

• 영향을 줌 리처드 서튼 — 서턴과 바토의 강화 학습은 상태의 값을 다음 상태의 값으로 적는 벨먼의 방정식을 뼈대로 삼습니다. 시간차 학습⁠(temporal-difference learning)⁠은 이 방정식을 표본⁠(sample)⁠으로 풀어 가는 방법입니다.

연표.

• 1920년 뉴욕에서 태어나다
• 1941년 브루클린 칼리지에서 수학 학사 학위를 받다
• 1946년 로스앨러모스에서 전시 연구를 거쳐, 프린스턴에서 레프셰츠의 지도로 박사 학위를 받다
• 1949년 RAND 연구소와 일하기 시작하다
• 1952년 「동적 계획법의 이론에 관하여」를 『미국 국립 과학원 회보』에 싣다
• 1957년 책 『동적 계획법』을 내고, 최적성의 원리와 '차원의 저주'를 말하다
• 1958년 「경로 문제에 관하여」로 최단 경로를 동적 계획법으로 풀다
• 1965년 서던캘리포니아 대학 교수가 되다
• 1967년 학술지 『수리 생물과학』을 창간하다
• 1973년 뇌종양 수술을 받고 몸이 불편해지다
• 1976년 존 폰 노이만 이론상을 받다
• 1979년 IEEE 명예 메달을 받다
• 1984년 로스앤젤레스에서 세상을 떠나고, 자서전 『태풍의 눈』이 나오다