블라디미르 바프니크(Vladimir Vapnik)

블라디미르 바프니크는 1936년 소련 우즈베크 공화국의 타슈켄트에서 태어났습니다. 그가 연구를 시작한 1960년대 초, 모스크바와 미국에서는 퍼셉트론⁠(perceptron)⁠ 같은 '보고 배우는 기계'가 막 등장해 있었습니다. 그런데 근본적인 물음 하나에는 답이 없었습니다. 기계가 손에 쥔 예 1,000개를 모두 맞히게 되었다고 해서, 처음 보는 1,001번째 예도 맞힐 것이라고 어떻게 말할 수 있을까요? 바프니크는 동료 알렉세이 체르보넨키스와 함께 이 물음에 확률론의 정리로 답했고, 그 답에서 서포트 벡터 머신이라는 알고리즘⁠(algorithm)⁠을 끌어냈습니다.

나이 세 ·

그는 1958년 우즈베크 국립 대학에서 수학을 공부하고, 1961년 모스크바의 제어과학 연구소(당시 이름은 자동화·원격 제어 연구소)에 들어가 1964년 통계학⁠(statistics)⁠으로 박사 학위를 받았습니다. 1963년 그는 알렉산드르 레르너와 함께 두 무리의 점을 곧은 경계로 가르되, 경계와 가장 가까운 점 사이의 거리, 곧 여백이 가장 넓은 경계를 고르는 방법을 발표했습니다. 이 '일반화된 초상' 알고리즘이 30년 뒤 서포트 벡터 머신의 뼈대가 됩니다. 그 뒤 거의 30년 동안 그는 이 연구소에 머물며 체르보넨키스와 이론을 쌓았습니다.

두 사람이 1968년 발표하고 1971년 자세히 증명한 결과는 큰 수의 법칙⁠(law of large numbers)⁠을 한 단계 올린 것입니다. 큰 수의 법칙은 규칙 하나를 미리 정해 두면, 그 규칙이 표본에서 틀리는 비율이 표본이 커질수록 실제로 틀리는 비율에 다가간다고 말합니다. 그런데 학습에서는 규칙을 표본을 보고 고릅니다. 수많은 후보 가운데 표본에서 가장 잘 맞는 것을 고르면, 그 규칙은 우연히 이 표본에 잘 맞는 쪽으로 뽑혔을 수 있습니다. 이것이 과적합⁠(overfitting)⁠의 정체입니다. 필요한 것은 후보 전체에 걸쳐 동시에, 곧 고르게 성립하는 큰 수의 법칙이고, 두 사람은 그것이 언제 성립하는지를 후보들의 모임이 얼마나 '풍부한가'로 정확히 적었습니다.

풍부함을 재는 양이 오늘날 VC 차원이라 부르는 수입니다. 점 $k$개에 두 가지 이름표를 붙이는 방법은 $2^k$가지인데, 후보 규칙들이 그 모든 이름표를 하나도 빠짐없이 만들어 낼 수 있으면 그 점들을 '산산이 가른다'고 합니다. 산산이 가를 수 있는 점의 최대 개수가 VC 차원입니다. 평면에서 직선 하나로 가르는 규칙들을 봅시다. 한 직선 위에 있지 않은 세 점은 $2^3 = 8$가지 이름표를 모두 직선으로 만들 수 있습니다. 그러나 네 점은 어떻게 놓아도 안 되는 이름표가 있습니다. 네 점이 볼록 사각형⁠(convex quadrilateral)⁠을 이루면 대각선끼리 같은 이름을 붙인 경우(XOR 모양)가 그렇고, 한 점이 나머지 셋이 이루는 삼각형 안에 있으면 안쪽 점만 다른 이름을 붙인 경우가 그렇습니다. 세 점이 한 직선 위에 있으면 가운데 점만 다른 이름을 붙일 수 없습니다. 그래서 평면의 직선 분류기의 VC 차원은 3이고, 일반적으로 $d$차원 공간의 초평면⁠(hyperplane)⁠ 분류기는 $d+1$입니다. 학습하는 층이 하나뿐인 퍼셉트론이 XOR을 가르지 못한다는 사실(1969년 민스키와 패퍼트는 이런 한계를 훨씬 일반적인 형태로 다루었습니다)이 여기서는 '용량⁠(capacity)⁠'의 수로 나타납니다.

정리의 내용은 이렇습니다. VC 차원이 유한하면, 자료가 어떤 분포에서 나오든 표본에서의 오차가 실제 오차에 모든 후보에 걸쳐 고르게 다가갑니다. 무한하면 그렇게 되지 않는 분포가 반드시 있습니다. 게다가 얼마나 다가가는지를 표본 수 $n$과 VC 차원 $d$로 적을 수 있습니다. 위의 식은 그 한 가지 표준적인 꼴로, 확률⁠(probability)⁠ $1-\delta$ 이상으로 실제 오차 $R$가 표본 오차 $R_{\text{emp}}$에 오른쪽 항을 더한 값을 넘지 않는다는 뜻입니다. 직선 분류기($d = 3$)를 표본 1,000개로 배우고 $\delta = 0.05$로 두면 더해지는 항이 약 0.16, 표본이 10만 개면 약 0.02입니다. 같은 1,000개라도 $d = 100$이면 약 0.64로, 보장이 거의 없어집니다. 이 한계는 어떤 분포에서도 성립하도록 만든 것이라 실제 오차보다 훨씬 비관적인 경우가 많고, 수억 개의 수를 가진 오늘날의 신경망⁠(neural network)⁠에는 이 식만으로 설명되지 않는 일반화가 관찰됩니다. 이 틈은 지금도 연구되는 물음입니다(편향–분산 분해⁠(bias–variance decomposition)⁠, 교차 검증⁠(cross-validation)⁠).

이론은 알고리즘의 지침이 되었습니다. 표본 오차만 줄이지 말고 후보 모임의 용량도 함께 조절하라는 것이 그가 '구조적 위험 최소화⁠(structural risk minimization)⁠'라 부른 원리이고, 정규화가 같은 일을 다른 말로 합니다. 1990년 미국으로 건너가 AT&T 벨 연구소에 들어간 그는 1992년 베른하르트 보저, 이자벨 가이옹과 함께, 1995년에는 코리나 코르테스와 함께 서포트 벡터 머신을 완성했습니다. 여백이 가장 넓은 경계를 찾는 문제는 볼록 최적화⁠(optimization)⁠ 문제(이차 계획 문제)라서, 극솟값⁠(local minimum)⁠에 갇히지 않고 전역 최적해를 확실히 찾을 수 있습니다. 라그랑주 승수법으로 문제를 바꾸어 쓰면, 답이 경계에 가장 가까운 소수⁠(prime number)⁠의 점, 곧 서포트 벡터⁠(support vector)⁠들만으로 정해진다는 것이 드러납니다. 게다가 바꾸어 쓴 문제에는 점들의 내적⁠(dot product)⁠만 나옵니다. 그래서 내적을 알맞은 조건(양의 정부호성)을 만족하는 다른 함수⁠(function)⁠, 곧 커널로 바꾸면, 점들을 훨씬 높은 차원으로 보낸 뒤 가르는 것과 같은 일을 그 좌표를 직접 계산하지 않고 할 수 있습니다. 여백이 넓으면 차원이 높아도 실질적인 용량이 작다는 것이 이론의 뒷받침입니다.

1990년대 후반부터 2000년대까지 서포트 벡터 머신은 글 분류, 손글씨 인식, 생물 정보학에서 가장 믿을 만한 방법 가운데 하나였고, 그 무렵 신경망은 이론이 약하고 다루기 까다롭다는 평을 들었습니다. 같은 연구부에 있던 르쿤의 합성곱 신경망⁠(convolutional neural network)⁠과는 같은 손글씨 숫자 자료에서 나란히 비교되었습니다. 2010년대에 신경망이 자료와 계산을 등에 업고 돌아오자 흐름은 다시 바뀌었지만, 무엇이 일반화를 보장하는가라는 그의 물음은 그대로 남았습니다. 그는 2002년 NEC 연구소, 2003년 컬럼비아 대학, 2014년 페이스북 AI 연구소로 옮기며 연구를 이었고, 1995년부터 런던 대학 로열 할러웨이의 교수도 겸했습니다. 2012년 벤저민 프랭클린 메달, 2017년 IEEE 존 폰 노이만 메달 등을 받았습니다.

1995년 책에서 그는 한 가지 원칙을 적었습니다. 제한된 정보로 문제를 풀 때, 중간 단계로 더 일반적인 문제를 풀지 말라는 것입니다. 분류만 하면 될 때 자료의 확률 분포 전체를 추정하려 들면, 필요 없이 어려운 문제에 자료를 낭비한다는 뜻입니다. 분포를 다 추정하는 대신 경계만 곧장 찾는 서포트 벡터 머신이 이 원칙의 예이고, 이 원칙은 최대 가능도⁠(likelihood)⁠로 모형 전체를 맞추는 통계학의 전통적인 길과 기계 학습⁠(machine learning)⁠의 길이 갈라지는 지점을 잘 보여 줍니다.

이어지는 곳. 여백을 넓히는 경계와 커널의 계산은 서포트 벡터 머신에서 직접 끌어 볼 수 있고, 그 최적화의 뒷면은 라그랑주 승수법과 볼록 최적화에 있습니다. 표본에서 잘 맞는 것과 새 자료에서 잘 맞는 것의 차이는 과적합, 편향–분산 분해, 교차 검증이 서로 다른 각도에서 다루고, 고르게 성립하는 큰 수의 법칙의 출발점은 큰 수의 법칙입니다. VC 차원 3을 만드는 XOR 모양은 퍼셉트론과 로젠블랫의 이야기와 이어지고, 같은 문제를 확률 모형으로 푸는 쪽은 로지스틱 회귀⁠(logistic regression)⁠입니다.

관계.

• 영향을 받음 프랭크 로젠블랫 — 1995년 책 『통계적 학습 이론의 본성』은 학습 문제 연구의 역사를 로젠블랫의 퍼셉트론에서 시작하고, 그 수렴 정리⁠(convergence theorem)⁠를 학습 이론의 첫 결과로 다룹니다.
• 함께 연구 얀 르쿤 — 1990년대 AT&T 벨 연구소 홈델의 같은 적응 시스템 연구부에 있었고, 손글씨 숫자 인식에서 서포트 벡터 머신과 합성곱 신경망이 나란히 비교되었습니다.

연표.

• 1958년 우즈베크 국립 대학에서 수학 석사 학위를 받다
• 1961년 모스크바의 제어과학 연구소에 들어가다
• 1963년 레르너와 여백을 넓히는 선형 분류기 '일반화된 초상'을 발표하다
• 1964년 통계학으로 박사 학위를 받다
• 1968년 체르보넨키스와 뒤에 VC 차원이라 불릴 양을 발표하다
• 1971년 빈도가 확률로 고르게 수렴⁠(convergence)⁠할 조건에 관한 논문을 내다
• 1974년 체르보넨키스와 『패턴 인식의 이론』을 펴내다
• 1990년 미국으로 건너가 AT&T 벨 연구소에 들어가다
• 1992년 보저, 가이옹과 커널을 쓰는 서포트 벡터 머신을 발표하다
• 1995년 코르테스와 여백 위반을 허락하는 SVM을 내고, 『통계적 학습 이론의 본성』을 펴내다
• 1998년 『통계적 학습 이론』을 펴내다
• 2003년 컬럼비아 대학 교수가 되다
• 2014년 페이스북 AI 연구소에 합류하다
• 2017년 IEEE 존 폰 노이만 메달을 받다