페이페이 리(Fei-Fei Li)

페이페이 리는 1976년 중국 베이징에서 태어나 청두에서 자랐고, 10대 중반에 부모를 따라 미국 뉴저지로 이민했습니다. 그가 연구를 시작한 2000년대 초, 컴퓨터가 사진 속 물체를 알아보게 하는 연구는 주로 알고리즘⁠(algorithm)⁠을 다듬는 경쟁이었습니다. 쓰이는 자료는 작았습니다. 널리 쓰인 자료들은 범주가 수십–100가지 남짓, 사진은 수천–수만 장이었습니다. 리는 문제의 병목이 알고리즘보다 자료에 있다고 보았습니다. 아이가 세상의 물체를 알아보게 되기까지 보는 장면의 수와 다양함에 견주면, 기계에게 보여 주는 세계가 너무 좁다는 것이었습니다. 그 생각으로 만든 자료가 이미지넷입니다.

나이 세 ·

그는 1999년 프린스턴 대학에서 물리학을 공부하고, 칼텍에서 피에트로 페로나와 크리스토프 코흐의 지도로 2005년 박사 학위를 받았습니다. 박사 과정 중에 동료들과 101가지 범주의 사진 약 9,000장을 모은 Caltech 101을 내놓았고, 범주마다 사진 몇 장만 보고 새 범주를 배우는 '적은 예로 배우기'를 연구했습니다. 일리노이 대학을 거쳐 2007년 프린스턴 대학 조교수가 된 그는 방향을 거꾸로 틀었습니다. 적은 예로 버티는 방법을 찾는 대신, 세상의 물체 범주 거의 전부를 담는 자료를 만들기로 한 것입니다.

이미지넷의 뼈대는 같은 대학의 심리학자 조지 밀러가 만든 영어 낱말망 워드넷에서 빌렸습니다. 워드넷은 명사를 뜻이 같은 낱말의 묶음(동의어 집합⁠(set)⁠)으로 모으고 '포유류 ⊃ 개 ⊃ 달마티안'처럼 위아래 관계로 이은 트리⁠(tree)⁠에 가까운 구조입니다. 리와 학생들은 동의어 집합마다 검색 엔진으로 후보 사진을 모은 뒤, 사진에 그 물체가 정말 있는지를 사람이 확인하게 했습니다. 후보 사진이 너무 많아 연구실 학생들만으로는 몇십 년이 걸릴 것으로 추산되었고, 리의 연구진은 이 일을 아마존 메커니컬 터크라는 온라인 작업 시장에서 세계 곳곳의 작업자들에게 나누어 맡겼습니다. 한 사진을 여러 사람이 보고 다수결로 정하되, 범주마다 헷갈리는 정도가 다르므로 필요한 동의 수를 범주별로 달리했습니다. 2009년 발표 때 5,247개 범주에 320만 장이던 자료는 뒤에 2만 1천여 범주, 1,400만 장 남짓으로 자랐습니다.

자료만으로는 연구의 방향이 바뀌지 않습니다. 2010년부터 2017년까지 해마다 열린 이미지넷 대규모 시각 인식 대회(ILSVRC)가 공통의 시험장이 되었습니다. 1,000가지 범주, 학습용 사진 약 120만 장으로 겨루고, 다섯 번 추측 안에 정답이 없는 비율, 곧 상위 5 오류율⁠(top-5 error rate)⁠로 순위를 매겼습니다. 우승 팀의 오류율은 2010년 28.2%, 2011년 25.8%였습니다. 2012년 힌턴의 제자들이 합성곱 신경망⁠(convolutional neural network)⁠ 알렉스넷으로 15.3%를 내자(2위 26.2%) 흐름이 바뀌었습니다. 그 뒤 2014년 6.7%, 2015년 층을 150개 넘게 쌓은 레즈넷이 3.57%를 기록했습니다. 알렉스넷의 기본 구조는 르쿤의 1990년대 신경망⁠(neural network)⁠과 크게 다르지 않았습니다. 드롭아웃⁠(dropout)⁠ 같은 몇 가지 기법이 더해졌지만, 가장 크게 달라진 것은 큰 신경망을 과적합⁠(overfitting)⁠에 덜 빠지게 학습시킬 만큼의 자료와, 그것을 돌릴 계산이었습니다.

이 숫자들을 읽을 때 조심할 점이 있습니다. 2015년 무렵 기계가 '사람보다 잘 본다'는 말이 퍼졌는데, 비교 대상인 사람의 오류율 약 5.1%는 대회 참가자였던 안드레이 카르파시가 시험 사진 일부를 직접 분류해 본 한 사람의 추정치였습니다. 게다가 이 대회는 사진 한 장에 이름표 하나를 고르는 정해진 과제만 잽니다. 이 과제의 점수가 사람을 넘었다고 해서 물체를 사람처럼 이해한다는 뜻은 아닙니다. 조명이나 배경이 조금 바뀌면 성능이 크게 떨어지는 사례도 여러 연구에서 보고되었습니다. 이미지넷 자체의 한계도 드러났습니다. 이름표에 적지 않은 오류가 있다는 분석이 나왔고, 2019년 연구진은 사람을 담은 범주들 가운데 부적절하거나 모욕적인 이름표를 걸러 내는 작업을 발표했습니다. 자료가 모델의 능력을 정하는 만큼, 자료의 편향도 모델로 옮겨 갑니다.

2009년 스탠퍼드 대학으로 옮긴 그는 2013년부터 2018년까지 스탠퍼드 인공지능⁠(artificial intelligence)⁠ 연구소 소장을 지냈고, 사진을 보고 문장으로 설명하는 연구, 병원에서 손 씻기 같은 행동을 카메라로 살펴 환자 안전을 돕는 연구를 이끌었습니다. 2017–18년에는 구글 클라우드의 AI 수석 과학자로 일했고, 2017년에는 여성과 소수⁠(prime number)⁠ 집단 학생에게 인공지능을 가르치는 비영리 단체 AI4ALL을 함께 세웠습니다. 2019년부터 스탠퍼드 인간 중심 AI 연구소(HAI)의 공동 소장을 맡아, 인공지능이 사람과 사회에 미치는 영향을 연구와 정책의 중심에 두자고 주장해 왔습니다. 2024년에는 사진 몇 장에서 3차원 공간을 이해하고 만들어 내는 '공간 지능'을 연구하는 회사 월드 랩스를 함께 세웠습니다.

이어지는 곳. 이미지넷 대회를 바꾼 모델의 구조는 합성곱 신경망에, 큰 모델이 작은 자료에서 겪는 문제는 과적합과 편향–분산 분해⁠(bias–variance decomposition)⁠에 있습니다. 대회의 시험용 사진을 따로 떼어 두는 까닭은 교차 검증⁠(cross-validation)⁠이 설명하고, 자료와 계산을 늘리면 성능이 어떻게 좋아지는지를 잰 관찰은 규모의 법칙⁠(scaling laws)⁠에 있습니다. 표본⁠(sample)⁠이 모집단⁠(population)⁠을 얼마나 닮았는지에 따라 결론이 달라진다는 점은 통계학⁠(statistics)⁠과 심프슨의 역설의 오래된 교훈과 같고, 이 모든 흐름의 큰 그림은 인공지능과 기계 학습⁠(machine learning)⁠에서 볼 수 있습니다.

관계.

• 영향을 줌 제프리 힌턴 — 그가 만든 이미지넷의 2012년 대회에서 힌턴의 제자들이 만든 알렉스넷이 우승했고, 두 사람은 2025년 퀸 엘리자베스 공학상을 함께 받았습니다.

연표.

• 1999년 프린스턴 대학에서 물리학 학사 학위를 받다
• 2004년 동료들과 101가지 범주의 사진 자료 Caltech 101을 내놓다
• 2005년 칼텍에서 전기공학 박사 학위를 받다
• 2007년 프린스턴 대학 조교수가 되어 이미지넷을 시작하다
• 2009년 이미지넷을 발표하고 스탠퍼드 대학으로 옮기다
• 2010년 이미지넷 대규모 시각 인식 대회가 처음 열리다
• 2012년 알렉스넷이 대회에서 우승하다
• 2013년 스탠퍼드 인공지능 연구소 소장이 되다
• 2017년 비영리 교육 단체 AI4ALL을 함께 세우고, 구글 클라우드의 AI 수석 과학자를 맡다
• 2019년 스탠퍼드 인간 중심 AI 연구소(HAI)의 공동 소장이 되다
• 2020년 미국 공학 한림원과 의학 한림원 회원이 되다
• 2023년 회고록 『The Worlds I See』를 펴내다
• 2024년 3차원 공간을 이해하는 AI를 연구하는 회사 월드 랩스를 함께 세우다
• 2025년 퀸 엘리자베스 공학상을 받다