심슨의 역설(Simpson's paradox)

신장 결석을 치료하는 두 방법, A(개복 수술)와 B(작은 구멍으로 하는 경피적 시술)를 비교한 실제 자료가 있습니다(1986년 영국 의학 저널에 실린 연구). 결석이 작은 환자에서는 A의 성공률이 93%(87명 중 81명), B가 87%(270명 중 234명)입니다. 결석이 큰 환자에서도 A가 73%(263명 중 192명), B가 69%(80명 중 55명)로 A가 낫습니다. 그런데 두 무리를 합치면 A가 , B가 로 뒤집힙니다(실제 자료로는 350명 중 273명 대 350명 중 289명). 두 부분에서 모두 진 B가 전체로는 이깁니다.

왼쪽 막대에서 노랑이 A, 파랑이 B이고, 지금은 보여 줍니다. 비밀은 오른쪽 그림에 있습니다. 한 치료의 전체 성공률은 작은 결석과 큰 결석 성공률의 가중 평균, 곧 기댓값⁠(expected value)⁠이고, 무게는 그 치료를 받은 환자 가운데 큰 결석 환자의 비율입니다. 위의 공식처럼 조건부 확률⁠(conditional probability)⁠로 쓴 것이 이것입니다. 그래서 치료마다 전체 성공률은 작은 결석 성공률(왼쪽 끝)과 큰 결석 성공률(오른쪽 끝)을 잇는 선분 위의 한 점입니다. A의 선분은 어디서나 B의 선분보다 위에 있지만, A는 어려운 큰 결석 환자를 나 맡았고 B는 만 맡았습니다. 점을 끌어 두 비율을 같게 만들면 역설이 사라집니다. 실제 자료로

그러면 어느 쪽을 믿어야 할까요? 이 자료에서는 나눠 본 결과입니다. A는 주로 큰 결석, 곧 어려운 환자에게 쓰였고, 결석 크기는 치료 선택과 결과 모두에 영향을 준 교란 변수⁠(confounding variable)⁠였습니다. 그러나 언제나 나눠 보는 것이 옳지는 않습니다. 나누는 기준이 처치의 결과라면(예를 들어 약을 먹은 뒤에 잰 혈압) 합쳐 본 쪽이 옳을 수 있습니다. 같은 숫자 표라도 어느 쪽이 옳은지는 표만으로 정해지지 않고, 무엇이 무엇의 원인인지를 알아야 합니다. 처치를 동전으로 정하는 무작위 대조 시험⁠(randomized controlled trial)⁠에서는 두 집단의 구성이 평균적으로 같아지므로 이런 뒤집힘이 체계적으로 생기지 않습니다.

같은 일이 연속적인 자료에서도 일어납니다. 집단마다 따로 그린 회귀 직선은 모두 기울기⁠(slope)⁠가 양수인데, 집단들을 합치면 음수가 될 수 있습니다. 상관관계⁠(correlation)⁠의 부호가 뒤집히는 것입니다. 비율을 (환자 수, 성공 수) 벡터⁠(vector)⁠로 그려도 보입니다. 이 화살표의 기울기가 곧 성공률입니다. 두 무리를 합치는 것은 두 화살표를 이어 붙여 더하는 일인데, A의 두 화살표가 각각 B의 짝보다 가파르더라도, A는 완만한(성공률이 낮은) 큰 결석 화살표가 길고 B는 가파른 작은 결석 화살표가 길어서 합 화살표는 A 쪽이 더 완만해질 수 있습니다. 전체 집합⁠(set)⁠을 어떻게 분할하느냐에 따라 결론이 달라지는 셈입니다. 흔히 인용되는 또 하나의 예는 1973년 미국 버클리 대학원 입학 자료입니다. 전체 합격률은 남성이 높았지만 학과별로 보면 여성에게 불리하다는 증거가 거의 없었고, 여성이 합격률 낮은 학과에 더 많이 지원한 것이 차이를 만들었습니다.

이어지는 곳. 부분마다의 확률⁠(probability)⁠을 부분의 비율을 무게로 삼아 합치는 규칙(전확률 공식⁠, law of total probability⁠)은 베이즈 정리⁠(Bayes' theorem)⁠의 분모를 계산할 때 쓰는 바로 그 식입니다. 검사가 양성일 전체 확률을 '병이 있는 사람'과 '없는 사람'으로 나누어 더하기 때문입니다. 이름은 1951년 영국의 통계학자 에드워드 심슨의 논문에서 왔지만, 비슷한 현상은 그보다 반세기쯤 앞서 칼 피어슨과 그의 조수였던 통계학자 조지 우드니 율도 지적했습니다(그래서 '율–심슨 효과'라고도 합니다).