상호 정보량(Mutual information)

1948년 섀넌은 잡음 섞인 통로가 정보를 얼마나 나르는지를 이렇게 쟀습니다. 보내는 신호 X의 불확실성 H(X)에서, 받은 신호 Y를 본 뒤에도 남는 불확실성(모호도) H(X|Y)를 뺍니다. 받는 쪽이 실제로 알게 된 몫입니다. 섀넌은 이 양을 통로가 정보를 나르는 속도⁠(velocity)⁠로 삼고, 그 최댓값을 통로 용량⁠(channel capacity)⁠으로 정의했습니다. '상호 정보량'이라는 이름은 나중에 붙었는데, 이 양이 X와 Y에 대해 대칭이기 때문입니다. Y가 X에 대해 알려 주는 만큼 X도 Y에 대해 알려 줍니다.

$$I(X;Y) = H(X) - H(X\mid Y) = H(Y) - H(Y\mid X) = H(X) + H(Y) - H(X,Y)$$

가장 단순한 통로로 확인해 봅시다. 보내는 쪽은 확률⁠(probability)⁠ 로 1을, 나머지는 0을 보내고, 통로는 비트를 확률 로 뒤집습니다.

상호 정보량은 비트입니다. H(X) + H(Y) − H(X,Y)로 계산해도 , 결합 분포⁠(joint distribution)⁠ p(x,y)가 두 변수가 독립일 때의 분포 p(x)p(y)에서 얼마나 먼지를 쿨백–라이블러 발산⁠(Kullback–Leibler divergence)⁠으로 재도 비트로 같습니다. 마지막 식에서 두 성질이 바로 나옵니다. KL 발산⁠(KL divergence)⁠은 음수가 될 수 없으니 상호 정보량도 0 이상이고, 결합 분포가 곱과 꼭 같을 때, 곧 두 변수가 독립일 때만 0입니다. q = 0.5로 두면 받은 비트가 동전 던지기와 다를 바 없어 겹침이 사라집니다. q = 0이면 Y가 X의 복사본이라 두 막대가 완전히 포개집니다. q를 고정하고 a를 움직여 보면 a = 0.5에서 겹침이 가장 길고, 그 값 $1 - H(q)$가 이 통로의 용량입니다. 지금 q에서는 비트입니다. 섀넌의 통로 부호화 정리⁠(noisy-channel coding theorem)⁠는 이 용량⁠(capacity)⁠보다 느리게 보내면, 부호를 충분히 길게 한 오류 정정 부호⁠(error-correcting code)⁠로 오류를 얼마든지 줄일 수 있다고 말합니다.

상호 정보량은 상관계수와 무엇이 다를까요? 상관계수는 점들이 한 직선 둘레에 얼마나 몰렸는지를 잽니다. 상호 정보량은 x를 알 때 y의 불확실성(엔트로피⁠, entropy⁠)이 평균적으로 얼마나 주는지를 재므로 관계의 모양을 가리지 않습니다. 관계: , 잡음의 크기 .

포물선⁠(parabola)⁠, 물결, 원, X자는 모두 상관계수가 0에 가깝지만, x를 알면 y가 한두 곳 근처로 좁혀지므로 상호 정보량이 큽니다(포물선과 물결은 한 곳, 원과 X자는 두 곳). 칸으로 세어 얻은 추정값은 표본⁠(sample)⁠이 유한해서 조금 부풀려집니다. 서로 독립인 점들에서도 0.04비트 안팎이 나오는 것이 그 치우침입니다. 반대로 두 변수가 함께 정규분포(이변량 정규분포⁠(normal distribution)⁠)를 따를 때는 상관계수만 알면 상호 정보량이 정해집니다. 상관계수를 ρ라 하면 $I = -\tfrac12 \log_2(1-\rho^2)$이라서 상관계수 0.5는 약 0.208비트, 0.9는 약 1.198비트에 해당합니다.

정보는 가공해서 늘릴 수 없습니다. 원본 X를 복사한 Y, Y를 다시 복사한 Z처럼 $X \to Y \to Z$로 이어지고, Z를 만들 때 X를 따로 들여다보지 않고 Y만 쓴다면 언제나 $I(X;Z) \le I(X;Y)$입니다. 이를 데이터 처리 부등식⁠(data processing inequality)⁠이라 합니다. 말 전하기 놀이나 복사본을 다시 복사하는 경우를 생각해 봅시다. 한 번 옮길 때마다 비트가 확률 로 뒤집히고, 원본과 번째 복사본 사이에 남은 정보를 봅니다.

복사를 거듭할수록 정보는 줄기만 하고 0에 다가갑니다. 반면 원본에서 따로 만든 복사본을 여러 장 모아 보면 다수결로 원본을 되살릴 수 있어서, 정보가 원본의 엔트로피인 1비트(여기서 원본은 0과 1이 반반인 비트입니다)에 다가갑니다. 가공은 정보를 늘리지 못하지만, 새로운 관측은 늘립니다. 자료를 요약한 통계량이 알고 싶은 양(통계⁠(statistics)⁠에서는 모수⁠(parameter)⁠)에 대해 원래 자료와 똑같은 정보를 담으면 부등식이 등식이 됩니다. 그런 통계량을 충분 통계량⁠(sufficient statistic)⁠이라 부릅니다. 미국 국가안보국에서 암호를 연구하던 두 수학자 솔로몬 쿨백과 리처드 라이블러의 1951년 논문 제목 「정보와 충분성에 관하여」도 같은 생각을 담고 있습니다. 자료를 통계량으로 요약해도 두 가설을 구별하는 정보가 줄지 않을 조건이 바로 충분성입니다.

상호 정보량은 여러 곳에서 '관련성'의 잣대로 쓰입니다. 자료에서 규칙을 배우는 기계 학습⁠(machine learning)⁠에서는 예측에 쓸 입력 변수(특징) 가운데 정답과의 상호 정보량이 큰 것을 고릅니다. 예/아니오 질문을 나무 모양으로 이어 답을 정하는 결정 트리⁠(decision tree)⁠는, 질문 하나가 정답에 대해 주는 상호 정보량(정보 이득⁠, information gain⁠)이 가장 큰 질문부터 던집니다. 말뭉치(연구용으로 모은 글 뭉치)에서 두 단어가 우연보다 얼마나 자주 함께 나오는지를 재는 점별 상호 정보량⁠(pointwise mutual information)⁠ $\log_2 \frac{p(x,y)}{p(x)p(y)}$은 단어 임베딩⁠(word embedding)⁠의 바탕 가운데 하나입니다. 의료 영상에서는 서로 다른 장비로 찍은 두 사진을, 밝기 사이의 상호 정보량이 가장 커지도록 겹쳐 맞추기도 합니다.

이어지는 곳. 상호 정보량은 조건부 엔트로피⁠(conditional entropy)⁠로 정의되고 쿨백–라이블러 발산의 특별한 경우입니다. 대역이 제한되고 정규분포 잡음이 더해지는 연속 신호의 통로 용량을 계산하면 섀넌–하틀리 정리⁠(Shannon–Hartley theorem)⁠가 나오고, 압축을 어디까지 거칠게 해도 되는지 묻는 율–왜곡 이론⁠(rate–distortion theory)⁠은 반대로 상호 정보량을 가장 작게 하는 문제입니다. 상관계수가 놓치는 포물선·원 같은 의존성은 주성분 분석⁠(principal component analysis)⁠처럼 분산⁠(variance)⁠과 공분산(곧 상관계수의 재료)만 보는 방법도 놓칩니다. 측정이 계에 대해 얻은 상호 정보량은 공짜가 아니어서, 맥스웰의 악마⁠(Maxwell's demon)⁠가 분자를 골라내려면 정보를 지우는 값을 치러야 합니다. $X \to Y \to Z$처럼 다음 것이 바로 앞의 것에만 기대는 사슬이 곧 마르코프 연쇄⁠(Markov chain)⁠라서, 데이터 처리 부등식은 마르코프 연쇄에 대한 정리이기도 합니다.