중앙값(Median)
값들을 크기순으로 늘어놓았을 때 한가운데 오는 값. 거리의 합 Σ|x−c|를 가장 작게 하며, 평균(mean)과 달리 이상값(outlier)에 거의 흔들리지 않는다.
값들을 크기순으로 늘어놓았을 때 한가운데 오는 값이 중앙값입니다. 값의 절반은 그보다 작거나 같고, 절반은 그보다 크거나 같습니다. 아래 수직선의 일곱 점을 끌어 보세요. 평균은
가장 큰 점을 오른쪽 끝까지 보내도 중앙값은 꿈쩍하지 않지만 평균, 곧 기댓값(expected value)은 끌려갑니다. 평균은 모든 값의 크기를 쓰고, 중앙값은 순서만 쓰기 때문입니다. 그래서 소득이나 집값처럼 드물지만 아주 큰 값들이 한쪽으로 길게 늘어선 자료(긴 꼬리가 있는 자료, 지프의 법칙(Zipf's law)을 따르는 낱말 빈도가 그 예)에서는 중앙값이 "보통"을 더 잘 나타냅니다. 이렇게 이상값에 잘 흔들리지 않는 성질을 강건하다고 합니다.
무엇을 가장 작게 하는가. 대푯값 c 하나를 고를 때 "틀린 정도"를 어떻게 재느냐에 따라 답이 달라집니다. 거리의 합
첫 번째 그래프는 꺾인 직선들입니다. c를 오른쪽으로 조금 옮기면 c보다 왼쪽의 점들과는 멀어지고 오른쪽의 점들과는 가까워지므로, 기울기(slope)는 (왼쪽 점의 수) − (오른쪽 점의 수) =
이 차이는 직선 맞추기로 그대로 이어집니다. 세로 오차의 제곱 합을 줄이는 최소제곱 회귀(least-squares regression)는 정사영(orthogonal projection) 한 번으로 풀리지만 이상값 하나에 크게 끌려가고, 절댓값(absolute value) 합을 줄이는 직선은 강건한 대신 공식이 아니라 반복 계산으로 찾아야 합니다. 최소제곱(least squares)이 자리 잡기 전인 18세기에, 크로아티아 출신 예수회 학자 루제르 보스코비치(1757년, 지구 모양 측량 자료)와 라플라스는 절댓값 합을 기준으로 쓰기도 했습니다.
확률분포(probability distribution)의 중앙값. 확률변수(random variable) X에서는
수직선 위 여러 곳에 흙이 쌓여 있고 이것을 한 곳에 모두 모은다면, 옮기는 양 × 거리의 합이 가장 작은 곳이 중앙값입니다(첫 번째 그래프가 바로 그 비용입니다). 흙더미를 한 점이 아니라 다른 모양의 흙더미로 옮기는 문제로 넓혀, 분포 전체를 다른 분포로 옮기는 최소 비용을 따지는 것이 최적 수송(optimal transport)입니다.
평면이나 더 높은 차원에서도 같은 일이 일어납니다. 가로 거리와 세로 거리를 더한 맨해튼 거리(Manhattan distance)로 재면, 모든 점까지의 거리 합이 가장 작은 점은 x좌표들의 중앙값과 y좌표들의 중앙값을 따로 구해 짝지은 점입니다. 맨해튼 거리는 좌표마다의 절댓값 거리를 더한 것이라 좌표마다 따로 가장 작게 하면 되기 때문입니다.
중앙값을 구하는 가장 쉬운 방법은 값들을 정렬하는 것이지만, 더 빠른 방법이 있습니다. 퀵정렬(quicksort)처럼 기준값 하나를 골라 그보다 작은 값과 큰 값으로 나눈 뒤, 중앙값이 들어 있는 쪽만 계속 파고드는 것입니다. 1961년 토니 호어가 내놓은 이 방법(퀵셀렉트, quickselect)은 평균적으로 값의 개수 n에 비례하는 걸음(
이 개념이 나오는 긴 글
이 개념을 언급하는 페이지
- 기댓값
… 재는 것이 분산입니다. 평균 대신 한가운데 값을 쓸 수도 있습니다. 순서대로 늘어놓았을 때 가운데 오는중앙값은 극단적인 값 하나에 크게 흔들리지 않습니다. 기댓값은 확률을 무게로 삼은 가중평균입니다. 그런데 …
- 분산과 표준편차
… 자리입니다. 제곱 대신 거리 자체(절댓값)를 더한 합이 가장 작아지는 자리를 찾으면, 답은 평균이 아니라중앙값이 됩니다. 1, 2, 100이라면 제곱의 합은 평균 약 34.3에서, 거리의 합은 중앙값 2에서 가장 …
- 최소제곱 회귀
… 직선의 예측값의 차이를 잔차 라고 합니다. 잔차의 제곱 대신 절댓값의 합을 줄이면(L1 회귀), 평균 대신중앙값을 쓰는 것처럼 동떨어진 이상값 하나에 덜 흔들리는 직선이 나옵니다. 최소제곱법은 1805년 프랑스의 …
- k-평균 군집
… 만드는 자리라서 역시 줄거나 그대로입니다. 거리의 합이 아니라 거리 제곱 의 합이어야 평균이 답이라는 점은중앙값과 평균을 비교하면 보입니다. 나눔이 바뀔 때마다 값이 실제로 줄어들므로(거리가 같은 중심 사이에서는 …
- 최적 수송
… 흙을 모두 한 점 c로 모을 때의 비용 \sum_i a_i |x_i - c| 를 가장 작게 하는 c는중앙값이고, 거리 제곱으로 비용을 매기면 평균입니다. 같은 거리 제곱 비용으로 데이터를 점 k개짜리 분포로 가장 …
- 맨해튼 거리
… 따로 계산해 더할 뿐입니다. 그래서 여러 집에서 잰 택시 거리의 합이 가장 작은 모임 장소는 x좌표들의중앙값과 y좌표들의 중앙값으로 된 점입니다. 평균이 아닙니다. 한 줄로 늘어선 집들을 생각하면 이유가 보입니다. …
- 정렬 알고리즘
… 일 가운데 가장 흔한 것 중 하나이고, 정렬해 두면 이진 탐색으로 빨리 찾고, 같은 것끼리 모으고,중앙값을 바로 읽을 수 있습니다. 방법은 수십 가지이지만, 두 원소를 비교해 순서를 정하는 방법들은 비교 횟수로 …
- 힙과 우선순위 큐
… 되풀이하는 욕심쟁이 알고리즘입니다. 최대 힙과 최소 힙을 하나씩 두면 값이 계속 들어오는 동안에도중앙값을 곧바로 읽을 수 있고, 시뮬레이션에서는 다음에 일어날 사건을 시각순으로 꺼내는 데 씁니다. 배열 번호를 …
- 통계학
… 않습니다. 그래서 몇 개의 수로 줄입니다. 가운데가 어디인지는 평균(모두 더해 사람 수로 나눈 값)이나중앙값(순서대로 세웠을 때 한가운데 값)으로, 얼마나 퍼져 있는지는 분산과 표준편차로, 두 가지 양이 함께 …
- 애로의 불가능성 정리
… 때 둘씩 겨루는 다수결에 순환이 생기지 않습니다. 각자 가장 좋아하는 자리를 줄 위에 늘어놓았을 때 그중앙값에 있는 사람이 가장 좋아하는 후보가 다른 모든 후보를 이깁니다. 순위 대신 점수를 적게 하는 방식(승인 …