상호정보량

1. 개요[편집]

상호정보량 Mutual Information
정의	$I(X;Y) = H(X)+H(Y)-H(X,Y)$
다른 얼굴	$D_{\mathrm{KL}}(p_{XY} \,\|\, p_X p_Y)$ — 독립으로부터의 거리
값의 범위	0 이상. 0이면 독립(선형 무상관이 아니라)
대칭성	있다. $I(X;Y) = I(Y;X)$
불변성	가역 매끄러운 변수변환에 불변 — 단위·감마보정 무관
대표 응용	다중모달 영상 정합 · 특징 선택 · 채널 용량 · 정보 병목
실무의 벽	추정. 표본 $N$ 개로는 $\log N$ 위를 증명 못 한다

상관계수는 “같이 커지냐”를 묻고, 상호정보량은 “얘를 알면 쟤가 좁혀지냐”를 묻는다. 후자가 훨씬 강한 질문이다.

상호정보량(mutual information)은 두 확률변수가 공유하는 정보의 양, 즉 한쪽을 알았을 때 다른 쪽의 불확실성이 평균적으로 얼마나 줄어드는지를 비트(또는 nat) 단위로 잰 값이다. 정의는 여러 형태로 쓰이지만 전부 같은 것이다.

$$I(X;Y) \;=\; H(X) + H(Y) - H(X,Y) \;=\; H(X) - H(X\mid Y) \;=\; D_{\mathrm{KL}}\bigl(p_{XY} \,\|\, p_X p_Y\bigr)$$

첫 번째 형태는 벤 다이어그램적이다 — 두 원의 넓이를 더하고 합집합을 빼면 교집합이 남는다.¹ 두 번째는 “조건을 걸면 엔트로피가 이만큼 준다”는 실무적 해석이고, 세 번째가 가장 쓸모 있다. 결합분포가 「독립이었다면 그랬을 분포」로부터 얼마나 떨어져 있는지를 쿨백-라이블러 발산으로 잰 것이라는 관점이다. 이 관점에서 비음수성과 “0이면 독립”이 공짜로 따라 나온다.

상관계수와의 차이가 이 문서의 존재 이유다. 피어슨 상관계수는 선형 관계만 본다. $Y = X^2$ 이고 $X$ 가 0 대칭이면 상관계수는 정확히 0이지만 $Y$ 는 $X$ 로 완전히 결정되므로 상호정보량은 무한대다. 상호정보량이 0이라는 것은 어떤 형태의 의존성도 없다는 뜻이고, 그래서 “무상관”보다 훨씬 센 주장이다. 대가는 나중에 나올 추정 난이도로 청구된다.

2. 성질[편집]

비음수성. $I \ge 0$ 이고 등호는 $X \perp Y$ 일 때만. KL 발산의 비음수성 그대로다.

대칭. $I(X;Y) = I(Y;X)$. KL은 비대칭인데 상호정보량은 대칭이라는 게 재미있는 지점인데, 인자가 $p_{XY}$ 와 $p_Xp_Y$ 로 둘 다 대칭적으로 들어가기 때문이다.

체인 룰. $I(X; Y,Z) = I(X;Y) + I(X;Z \mid Y)$. 조건부 상호정보량 $I(X;Z\mid Y) = \mathbb{E}_{Y}[\,I(X;Z)\text{ 를 } Y=y \text{ 아래서 계산}\,]$ 역시 비음수다. 다만 $I(X;Z\mid Y)$ 가 $I(X;Z)$ 보다 클 수도 작을 수도 있다 — 조건을 걸면 정보가 늘어나는 경우가 실제로 있다(XOR 관계가 대표적: $Z = X \oplus Y$ 이면 $I(X;Z)=0$ 인데 $I(X;Z\mid Y) = 1$).

데이터 처리 부등식. $X \to Y \to Z$ 가 마르코프 연쇄면

$$I(X;Y) \;\ge\; I(X;Z)$$

후처리로는 정보를 만들 수 없다. 원본을 잃은 뒤 아무리 정교한 필터·신경망을 통과시켜도 원본에 대한 정보는 늘지 않는다. 이 한 줄이 신호처리·기계학습에서 “이 파이프라인은 원리적으로 여기까지가 한계”라고 못 박는 근거로 계속 쓰인다.

채널 용량. 잡음 있는 채널의 용량은 입력분포에 대한 상호정보량의 최댓값이다.

$$C \;=\; \max_{p(x)} I(X;Y)$$

이 최댓값 아래의 어떤 전송률도 오류확률을 임의로 작게 만들며 달성 가능하고, 위쪽은 불가능하다(섀넌 채널 부호화 정리). 최적 입력분포를 수치적으로 찾는 표준 알고리즘이 블라후트-아리모토 교대 최소화이며, 율-왜곡 이론의 $R(D)$ 계산과 완전히 대칭인 구조다.

거리가 아니다, 그런데 사촌은 거리다. $I$ 자체는 거리가 아니지만 정보 변동(variation of information)

$$\mathrm{VI}(X,Y) \;=\; H(X\mid Y) + H(Y\mid X) \;=\; H(X,Y) - I(X;Y)$$

는 삼각부등식까지 만족하는 진짜 거리다. 군집 결과 두 개를 비교할 때 k-평균 군집화 문헌에서 이걸 쓰는 이유.

변수변환 불변성. $X' = f(X)$, $Y' = g(Y)$ 가 각각 가역인 매끄러운 함수면 $I(X';Y') = I(X;Y)$ 다. 단위를 바꾸든 로그를 씌우든 감마 보정을 하든 값이 변하지 않는다. 뒤에 나올 다중모달 영상 정합이 통하는 근본 이유가 정확히 이 성질이다.

3. 연속변수와 미분 엔트로피의 함정[편집]

연속변수로 넘어가면 엔트로피 자리에 미분 엔트로피 $h(X) = -\int f\log f$ 가 들어간다. 그런데 $h$ 는 여러모로 불량품이다.

• 음수가 될 수 있다. 폭 $1/2$ 균등분포의 미분 엔트로피는 $-1$ 비트다. “정보량이 음수”가 물리적으로 뭔지 묻지 말자 — 애초에 기준점이 없는 상대량이다.
• 스케일에 의존한다. $h(aX) = h(X) + \log|a|$. 미터로 재느냐 밀리미터로 재느냐에 따라 값이 달라진다.
• 이산화 극한이 발산한다. 폭 $\Delta$ 로 잘게 나눈 이산 엔트로피는 $h(X) - \log\Delta \to \infty$ 다.

그런데 상호정보량은 이 함정을 전부 피해 간다. $I = h(X) + h(Y) - h(X,Y)$ 에서 발산항 $-\log\Delta$ 가 정확히 상쇄되기 때문이다. 그래서

• $I \ge 0$ 이 연속변수에서도 그대로 성립하고,
• 격자 폭을 줄여 가며 계산한 이산 상호정보량은 연속 상호정보량으로 수렴한다(엔트로피와 달리).

대신 새 함정이 하나 생긴다. $Y = f(X)$ 처럼 결정론적 관계면 $I(X;Y) = \infty$ 다. 잡음이 전혀 없는 관측은 무한 비트를 나른다는 뜻이고, 유한 표본으로 이걸 추정하려 들면 값이 표본 수에 따라 끝없이 커지는 병리적 거동을 본다. 실무에서 “MI가 이상하게 계속 올라가요”의 절반은 이 경우다.

가우시안이면 닫힌 형태가 나온다. 결합 정규분포에서 상관계수 $\rho$ 에 대해

$$I(X;Y) \;=\; -\tfrac{1}{2}\log\bigl(1-\rho^2\bigr), \qquad I(\mathbf{X};\mathbf{Y}) \;=\; \tfrac{1}{2}\log \frac{\det \Sigma_{XX} \,\det \Sigma_{YY}}{\det \Sigma}$$

이다. 다변량 형태는 주성분 분석·정준상관분석과 곧장 연결된다.

4. 추정 — 여기가 진짜 전장이다[편집]

정의는 세 줄인데 실무의 90%는 추정에서 잡아먹힌다. 이유는 단순하다. 밀도를 알아야 하는데 우리에겐 표본밖에 없다.

비닝(이산화) + 플러그인. 가장 흔한 방법이고 가장 흔한 사고의 원인이다. 결합 히스토그램을 만들어 빈도로 확률을 대신 넣으면, 추정량이 위쪽으로 편향된다. 유한 표본의 우연한 요철이 전부 “의존성”으로 세어지기 때문이다. 밀러-매도 보정으로 1차 편향을 근사하면 nat 단위로

$$\mathbb{E}[\hat I] \;\approx\; I + \frac{(B_X-1)(B_Y-1)}{2N}$$

정도다. $B_X = B_Y = 32$, $N = 1000$ 이면 편향만 0.48 nat — 독립인 데이터에서도 “상당한 상호정보량”이 검출된다. 그래서 비닝 MI를 쓸 거면 반드시 순열 검정(한쪽을 무작위로 섞어 귀무분포를 만들고 그 위에 있는지 본다)을 붙여야 한다. 빈 개수를 줄이면 편향은 줄지만 진짜 구조를 뭉개는 반대 방향 오차가 커진다 — 전형적인 편향-분산 줄다리기다.

KSG 추정량. 크라스코프·슈퇴그바우어·그라스베르거(2004)가 제안한 $k$-최근접이웃 기반 추정량으로, 현재 사실상의 표준이다.² 핵심 아이디어는 결합 공간에서 정한 거리 척도를 주변 공간에서 재활용해 편향을 상쇄하는 것이다. 각 표본점에서 결합 공간의 $k$번째 최근접이웃까지의 거리 $\varepsilon_i$ 를 구하고, 그 거리 안에 들어오는 이웃 수를 $x$축·$y$축에서 각각 세어 $n_x(i)$, $n_y(i)$ 라 하면

$$\hat I(X;Y) \;=\; \psi(k) + \psi(N) - \bigl\langle \psi(n_x+1) + \psi(n_y+1) \bigr\rangle$$

이다($\psi$ 는 디감마 함수). 밀도를 명시적으로 추정하지 않고, 국소 밀도 오차가 결합·주변에서 서로 상쇄되도록 설계한 것이 요점이다. 실무 팁도 정착돼 있다 — $k$ 는 3~10 정도(작으면 분산↑, 크면 편향↑), 각 변수를 순위 변환하거나 표준화해 스케일을 맞추고, 동점(tie)이 있으면 아주 작은 잡음을 더해 깨 준다. 이웃 탐색은 KD-트리나 최근접 이웃 탐색 자료구조로 처리한다. 약점은 차원이다 — 차원의 저주 탓에 수십 차원을 넘어가면 최근접이웃 거리가 의미를 잃는다.

커널 밀도 기반. 커널 밀도 추정으로 $p_{XY}$, $p_X$, $p_Y$ 를 각각 추정해 넣는 방법. 대역폭 선택이 곧 결과를 결정하고, 고차원에서 무너지는 것은 KSG와 같다.

신경망 추정. MINE(Belghazi 외, 2018)은 KL의 돈스커-바라단 변분 표현

$$D_{\mathrm{KL}}(P\|Q) \;=\; \sup_{T} \; \mathbb{E}_P[T] - \log \mathbb{E}_Q[e^{T}]$$

에서 $T$ 를 신경망으로 두고 $P = p_{XY}$, $Q = p_Xp_Y$(미니배치에서 짝을 섞어 만든다)로 잡아 하한을 최대화한다. InfoNCE/대조학습 손실도 같은 계보의 하한이다. 다만 원리적 한계가 알려져 있다 — 표본 $N$ 개에 기반한 이런 하한들은 $\log N$ 을 넘는 상호정보량을 신뢰성 있게 증명할 수 없다(맥알레스터·스트라토스, 2020). 배치 크기 256이면 상한이 약 8 nat이라는 뜻이고, “우리 표현이 MI 20 nat을 달성했다”류의 주장을 읽을 때 이 사실을 기억해야 한다. 게다가 분산이 커서 학습이 불안정하기로 악명 높다.

정리하면 실무 권고는 이렇다. 저차원이면 KSG + 순열 검정, 고차원이면 애초에 절대적 MI 값을 믿지 말고 순위 비교에만 쓴다.

5. 응용[편집]

다중모달 영상 정합. 1995~97년 비올라·웰스와 콜리뇽·마스 그룹이 각각 제안한, 이 분야 최대의 성공 사례다.³ CT의 화소값(HU)과 MR의 화소값 사이에는 어떤 함수 관계도 없다 — 뼈는 CT에서 밝고 MR에서 어둡다. 그래서 SSD나 상관계수 같은 척도가 전부 무너지는데, 상호정보량은 **“값이 얼마나 비슷한가”가 아니라 “한쪽 값을 알면 다른 쪽 값이 좁혀지는가”**를 묻기 때문에 그대로 작동한다. 앞서 본 변수변환 불변성이 그 보증서다. 정합이 맞아 들어가면 결합 히스토그램이 흐릿한 구름에서 몇 개의 뭉치로 응집하고, 그 응집도가 곧 MI다. 겹침 영역 변화에 대한 취약성과 그 처방인 정규화 상호정보량

$$\mathrm{NMI}(A,B) \;=\; \frac{H(A)+H(B)}{H(A,B)}$$

를 포함한 실무 디테일은 이미지 정합 문서가 다룬다.

특징 선택. 목표 변수 $Y$ 와의 MI가 큰 특징을 고르되, 이미 고른 특징들과 겹치면 안 된다. 이 두 요구를 그대로 쓴 것이 mRMR(minimum redundancy maximum relevance, 펑·롱·딩 2005)의 점수

$$J(f) \;=\; I(f;Y) \;-\; \frac{1}{|S|}\sum_{g \in S} I(f;g)$$

이다. 결정 트리의 정보이득도 사실 같은 물건 — 분할 전후 엔트로피 차이가 곧 특징과 라벨의 상호정보량이다. 이쪽 주제는 특징 선택 문서로 넘긴다.

정보 병목. 티슈비·페레이라·비알렉(1999)은 ”$Y$ 에 대한 정보는 최대한 남기고 $X$ 자체는 최대한 잊는 표현 $T$” 를 찾는 문제를

$$\min_{p(t\mid x)} \; I(X;T) - \beta\, I(T;Y)$$

로 정식화했다. $\beta$ 가 압축과 예측 사이의 저울이고, 이 형태가 율-왜곡 이론의 라그랑주 형태와 판박이인 것은 우연이 아니다. 심층 학습의 표현 학습을 이 틀로 해석하려는 시도가 많았는데, 결정론적 신경망에서는 $I(X;T)$ 가 무한대라 논쟁이 컸다. 자세한 것은 정보 병목 참조.

전달 엔트로피와 인과성. 슈라이버(2000)의 전달 엔트로피는 조건부 상호정보량이다.

$$T_{Y\to X} \;=\; I\bigl(X_{t+1};\, Y_{t}^{(l)} \,\big|\, X_{t}^{(k)}\bigr)$$

”$X$ 자신의 과거를 이미 알고 있을 때, $Y$ 의 과거가 $X$ 의 미래에 대해 추가로 알려 주는 정보”라는 뜻이다. 그레인저 인과성의 비선형·비모수 일반화에 해당하고, 실제로 결합 가우시안이면 그레인저 인과성 통계량의 정확히 절반이 된다(바넷 외, 2009). 다만 이름과 달리 인과성을 증명하지는 않는다 — 관측되지 않은 공통 원인이 있으면 그대로 속는다. 신경과학·기후 시계열에서 널리 쓰이면서 이 경고문도 함께 널리 인용된다.

그 밖에. 관측 지점 고르기의 목적함수로 쓰는 능동 센싱, 독립성분분석의 목적함수, 그리고 손실 압축의 하한을 정의하는 $R(D)$ 까지 — 정보를 “줄어드는 불확실성”으로 재고 싶은 곳이면 어디에나 나타난다.

6. 정규화와 사촌 지표들[편집]

날것의 $I$ 는 단위가 비트라서 “이 값이 큰 건가”를 판단할 기준이 없다. 그래서 0~1로 눌러 담는 정규화가 여럿 쓰이는데, 표준이 하나가 아니라는 게 함정이다.

$$\frac{I(X;Y)}{\sqrt{H(X)H(Y)}}, \quad \frac{I(X;Y)}{\min\{H(X),H(Y)\}}, \quad \frac{2\,I(X;Y)}{H(X)+H(Y)}, \quad \frac{H(X)+H(Y)}{H(X,Y)}$$

앞의 셋은 01 범위이고 마지막(영상 정합의 NMI)은 12 범위다. 논문에서 “NMI = 0.7”을 봤을 때 어느 정의인지 확인하지 않으면 비교 자체가 무의미하다. $I/H(X)$ 형태는 불확실성 계수(uncertainty coefficient)라고 따로 불리며 비대칭이다.

군집 결과 비교에서는 조정 상호정보량(AMI)이 표준이다. 무작위 군집 배정끼리도 MI가 0이 아니라 양수이므로(앞서 본 편향), 무작위 기댓값을 빼고 최댓값으로 나눠 “우연 대비 얼마나 잘 맞았나”로 바꾼 것이다. k-평균 군집화나 계층적 군집화 결과를 정답 라벨과 비교할 때 랜드 지수 대신 이걸 쓰는 게 요즘 관례다.

MIC(maximal information coefficient, Reshef 외 2011)는 여러 격자 분할을 시도해 정규화 MI의 최댓값을 취하는 지표로, 발표 당시 “모든 종류의 관계를 공평하게 탐지한다”는 주장으로 화제였다가 검정력이 낮고 잡음에 취약하다는 반론에 크게 얻어맞았다. 교훈은 명확하다 — 의존성 탐지에는 공짜 점심이 없다.

다변량 확장은 지뢰밭이다. 변수 셋 이상으로 가면 자연스러운 일반화가 여러 개인데 서로 다른 것을 잰다.

• 전체 상관(total correlation) $\sum_i H(X_i) - H(X_1,\dots,X_n)$ — 항상 0 이상. “다 합쳐서 얼마나 얽혀 있나”.
• 상호작용 정보 $I(X;Y;Z)$ — 음수 가능. 음수면 시너지(셋이 모여야 정보가 생김), 양수면 중복.
• 부분 정보 분해(PID) — 중복·고유·시너지로 쪼개려는 시도인데, “무엇이 올바른 분해인가”에 대한 합의가 아직 없다.

그러니 다변량 MI 수치를 보고할 때는 어떤 정의를 썼는지를 반드시 적어야 한다. 이변량에서 통하던 직관이 셋부터는 통하지 않는다.

7. 공학·시뮬레이션에서의 쓰임[편집]

정보이론이 통계학 밖으로 나오면 대개 다음 형태로 나타난다.

• 민감도 해석. 소볼 지수는 분산 분해에 기반하므로 본질적으로 2차 통계량이고, 출력이 다봉이거나 꼬리가 두꺼우면 오해를 부른다. 대안으로 입력 $X_i$ 와 출력 $Y$ 사이의 $I(X_i;Y)$ 를 쓰는 엔트로피 기반 민감도가 있다. 분포 전체를 보므로 비단조·문턱 거동을 잡아내지만, 앞서 본 추정 비용을 그대로 물려받는다. 민감도 해석·불확실성 정량화 문서와 함께 읽어야 한다.
• 실험·센서 배치. “어느 조건에서 실험하면 파라미터를 가장 잘 좁힐 수 있나”를 $I(\theta; Y_d)$ 로 정식화하는 것이 베이지안 실험계획법이다. 여기서 상호정보량은 부분모듈 함수의 성질을 가질 때가 많아 탐욕적 선택에 근사 보장이 붙는다(능동 센싱 참조).
• 자료동화. 앙상블 칼만 필터에서 관측이 상태 추정을 얼마나 개선했는지를 “자유도 감소”로 재는데, 선형·가우시안 가정 아래 이 값이 정확히 상호정보량이다. 기상 관측망 설계에서 “이 위성 채널이 실제로 정보를 주는가”를 판단하는 표준 지표.
• 축소차수모델의 입력 선별. 대리 모델이나 축소차수모델을 만들 때 수십 개 설계변수 중 무엇을 남길지 고르는 데 MI 기반 선별이 쓰인다. 상관계수로 걸렀다가 2차 효과가 지배적인 변수를 통째로 놓치는 사고가 흔해서다.
• 결합 좌표 발견. 분자 시뮬레이션에서 반응 좌표를 고를 때 “이 좌표가 최종 상태에 대해 얼마나 정보를 주는가”를 MI로 재는 접근이 있다. 전이상태 이론의 좋은 반응좌표 조건을 정보이론으로 다시 쓴 셈.

공통된 실무 조언은 하나다. 절대값을 믿지 말고 순위를 믿어라. 추정 편향은 대체로 모든 후보에 비슷하게 얹히므로 “누가 더 큰가”는 살아남지만, “0.8 비트”라는 숫자 자체는 표본 수·비닝·추정량에 따라 흔들린다.

8. 관련 문서[편집]

• 쿨백-라이블러 발산 · 젠센-섀넌 발산 · 브레그만 발산
• 정보 엔트로피 · 최대 엔트로피 원리 · 정보 기하 · 피셔 정보
• 율-왜곡 이론 · 엔트로피 부호화 · 벡터 양자화
• 이미지 정합 · 전산 단층촬영 · 능동 센싱
• 특징 선택 · 정보 병목 · 결정 트리 · 심층 학습
• 커널 밀도 추정 · 최근접 이웃 탐색 · KD-트리 · 차원의 저주

9. Footnotes[편집]

1. 벤 다이어그램 비유는 변수 두 개까지만 안전하다. 셋으로 확장한 “상호작용 정보” $I(X;Y;Z)$ 는 음수가 될 수 있어서 넓이로 해석되지 않는다. XOR 관계가 대표적인 반례이고, 이 때문에 “정보 벤 다이어그램”을 진지하게 밀면 곧 음의 넓이를 가진 영역을 그려야 하는 곤란에 빠진다. ↩

2. Kraskov, A., Stögbauer, H., & Grassberger, P. (2004). “Estimating mutual information”. Phys. Rev. E 69, 066138. 인용수가 1만을 훌쩍 넘는데, 정작 저자들은 통계학자가 아니라 복잡계 물리 쪽 사람들이다. 논문 자체도 “일단 이렇게 하면 편향이 상쇄된다”는 구성적 논증이 중심이고 엄밀한 일치성 증명은 한참 뒤에야 다른 사람들이 채워 넣었다. 일단 돌려 보고 잘 되면 쓰는 이 바닥 국룰. ↩

3. 두 그룹이 거의 동시에 독립적으로 발표했고, 지금은 “Viola-Wells 방식”과 “Maes/Collignon 방식”으로 나란히 인용된다. 차이는 확률 추정 방식으로, 전자는 파젠 창으로 매끄럽게 추정하고 후자는 결합 히스토그램을 직접 쓴다. 임상 소프트웨어에 실제로 들어간 것은 대체로 후자 계열인데, 이유가 “빠르니까”라는 게 이 바닥답다. ↩