정보 기하

오류 제보
통계 수치해석 계산물리 마지막 수정: 2026-08-06 05:31:26
○ 공개 검수 대기 표시 기준 보기

1. 개요

정보 기하
Information Geometry
대상확률분포족의 모수 공간
계량피셔 정보행렬 (첸초프 정리로 유일)
접속α-접속족, e-접속과 m-접속이 쌍대
발산KL = 브레그만 발산 (지수족)
정립Rao(1945), Chentsov(1972), Amari(1985~)

정보 기하(information geometry)는 확률분포족의 모수 공간을 평평한 좌표평면이 아니라 리만 다양체로 보고, 미분기하의 언어로 통계와 학습 알고리즘을 다시 쓰는 분야다. 모수 θ\theta 는 좌표이고, 각 점은 하나의 확률분포이며, 두 분포가 얼마나 다른지는 피셔 정보 행렬이 정하는 계량

gij(θ)=Iij(θ)=E[∂log⁡p∂θi∂log⁡p∂θj]g_{ij}(\theta) = I_{ij}(\theta) = \mathbb{E}\left[\frac{\partial \log p}{\partial\theta_i}\frac{\partial \log p}{\partial\theta_j}\right]

으로 잰다. 근거는 이미 쿨백-라이블러 발산 문서에 나온다 — DKL(pθ∥pθ+dθ)≈12dθ⊤I dθD_{\mathrm{KL}}(p_\theta\|p_{\theta+d\theta}) \approx \frac{1}{2}d\theta^\top I \,d\theta 이므로, KL은 국소적으로 피셔 계량이 만드는 제곱거리의 절반이다. 정보 기하는 이 관찰을 국소에서 대역으로 밀고 나간 결과물이다.

왜 이런 짓을 하냐면, 좌표계에 의존하는 결론과 의존하지 않는 결론을 구분할 수 있게 되기 때문이다. 가우시안을 (μ,σ)(\mu,\sigma) 로 쓰든 (μ,σ2)(\mu,\sigma^2) 로 쓰든 (μ/σ2,−1/2σ2)(\mu/\sigma^2, -1/2\sigma^2) 로 쓰든 분포 자체는 같다. 그런데 경사하강법의 궤적은 셋이 전부 다르다. “그럼 무엇이 진짜인가”라는 질문에 답하려면 기하가 필요하다.

2. 왜 하필 피셔 계량인가 — 첸초프 정리

“피셔 정보를 계량으로 쓰자”는 것이 편의적 선택이 아니라는 점이 이 분야의 첫 번째 정리다. 첸초프(Chentsov, Čencov) 정리는 유한 표본공간 위 확률분포의 단체(simplex)에서, 마르코프 사상 — 통계적 충분성을 보존하는 변환 — 에 대해 불변인 리만 계량은 상수배를 제외하면 피셔 계량 하나뿐이라고 말한다.1

이게 무슨 뜻인지 풀어 쓰면 이렇다. 데이터를 요약해도 정보를 잃지 않는 변환(충분통계량)을 거쳤을 때 두 분포 사이의 거리가 변하지 않아야 한다는 것은, 통계적으로 협상 불가능한 요구다. 그 요구 하나를 걸면 계량이 자동으로 결정된다. 즉 “왜 유클리드 거리 말고 피셔 계량이냐”는 취향의 문제가 아니라 정리의 결론이다. 통계학에서 이렇게 깔끔하게 유일성이 나오는 대상은 흔치 않다.

3. 쌍대 평탄 구조와 르장드르 변환

리만 다양체라고 하면 보통 레비-치비타 접속 하나를 떠올리지만, 정보 기하의 진짜 특징은 접속이 한 무리로 온다는 것이다. 아마리는 α∈[−1,1]\alpha \in [-1,1] 로 매개되는 α\alpha-접속족을 도입했고, 그중 두 끝이 특별하다.

  • α=1\alpha = 1: e-접속(지수형). 지수족을 자연모수 θ\theta 로 쓰면 이 접속에 대해 평평하다.
  • α=−1\alpha = -1: m-접속(혼합형). 같은 지수족을 기대모수 η=E[T(x)]\eta = \mathbb{E}[T(x)] 로 쓰면 이 접속에 대해 평평하다.
  • α=0\alpha = 0: 레비-치비타 접속. 피셔 계량의 표준 측지선을 준다.

핵심은 e-접속과 m-접속이 피셔 계량에 대해 서로 쌍대라는 것이고, 이런 구조를 쌍대 평탄(dually flat)이라 부른다. 그리고 두 좌표계를 잇는 것이 르장드르 변환이다. 지수족의 로그 분배함수 ψ(θ)\psi(\theta) 를 잡으면

η=∇ψ(θ),θ=∇φ(η),ψ(θ)+φ(η)−θ ⁣⋅ ⁣η=0\eta = \nabla\psi(\theta), \qquad \theta = \nabla\varphi(\eta), \qquad \psi(\theta) + \varphi(\eta) - \theta\!\cdot\!\eta = 0

이고, 쌍대 퍼텐셜 φ\varphi 는 음의 엔트로피다. 그러니까 자연모수 ↔ 기대모수는 열역학의 에너지 ↔ 엔트로피 관계와 같은 르장드르 쌍이며, 통계역학의 앙상블 형식과 통계추론이 같은 뼈대를 공유한다는 사실이 여기서 드러난다.2 ∇2ψ=I(θ)\nabla^2\psi = I(\theta) 라 계량 자체도 퍼텐셜의 헤세로 나온다.

4. KL은 브레그만 발산 — 피타고라스 정리

지수족에서 KL을 자연모수로 써 보면 정체가 드러난다.

DKL(pθ1∥pθ2)=ψ(θ2)−ψ(θ1)−(θ2−θ1) ⁣⋅ ⁣∇ψ(θ1)D_{\mathrm{KL}}(p_{\theta_1}\|p_{\theta_2}) = \psi(\theta_2) - \psi(\theta_1) - (\theta_2-\theta_1)\!\cdot\!\nabla\psi(\theta_1)

이것은 볼록함수 ψ\psi 의 **브레그만 발산**이다 — 한 점에서 그은 접평면과 함수값의 차이. 유클리드 제곱거리(ψ=∥θ∥2/2\psi = \|\theta\|^2/2)와 이토쿠라-사이토 발산이 같은 틀의 다른 사례이며, 비대칭성은 “어느 점에서 접평면을 그었나”의 차이일 뿐이라는 것도 알 수 있다.

브레그만 구조가 주는 최고의 선물이 정보 기하의 피타고라스 정리다. 세 분포 P,Q,RP, Q, R 에 대해, PP 와 QQ 를 잇는 m-측지선과 QQ 와 RR 을 잇는 e-측지선이 QQ 에서 (피셔 계량 의미로) 직교하면

DKL(P∥R)=DKL(P∥Q)+DKL(Q∥R)D_{\mathrm{KL}}(P\|R) = D_{\mathrm{KL}}(P\|Q) + D_{\mathrm{KL}}(Q\|R)

이 근사가 아니라 정확히 성립한다. 직각삼각형에서 빗변의 제곱이 두 변의 제곱의 합인 그 정리가, 거리가 아닌 KL에 대해 그대로 살아난다는 것이 이 분야에서 가장 예쁜 결과다.

여기서 정보 사영이 따라 나온다. 부분다양체 M\mathcal{M} 위에서 min⁡q∈MD(p∥q)\min_{q\in\mathcal{M}} D(p\|q) 를 푸는 것과 min⁡q∈MD(q∥p)\min_{q\in\mathcal{M}} D(q\|p) 를 푸는 것은 서로 다른 사영이고, 각각 M\mathcal{M} 이 e-평탄일 때와 m-평탄일 때 유일해가 보장된다. 볼록한(m-평탄) 제약집합 위에서 D(q∥p)D(q\|p) 를 최소화하는 것이 최대엔트로피 원리와 그 유명한 이-사영(I-projection)이고, 모형족 위에서 D(p^n∥q)D(\hat{p}_n\|q) 를 최소화하는 것이 곧 최대우도추정이다.3

5. 다시 보는 알고리즘

기하로 다시 보면 익숙한 알고리즘들이 전부 사영과 측지선의 언어로 번역된다.

  • 기댓값 최대화 알고리즘. 아마리는 EM을 데이터 다양체와 모형 다양체 사이를 오가는 두 사영의 교대로 재해석했다(em 알고리즘). E-단계는 현재 모형에 대해 잠재변수 분포를 맞추는 사영, M-단계는 그 결과를 모형족으로 되돌리는 사영이며, 어느 쪽 인수를 고정하고 KL을 줄이느냐가 둘을 가른다. 닐과 힌턴의 자유에너지 관점 — 같은 함수를 두 좌표에 대해 번갈아 최소화하는 좌표 하강 — 이 정확히 같은 그림의 해석학 버전이다. 다만 아마리의 em과 표준 EM은 특정 조건(예컨대 모형이 곡선지수족이 아닐 때)에서만 일치하고, 일반적으로는 다른 알고리즘이다.
  • 변분 추론. 평균장 근사족은 지수족의 곱이라 e-평탄이고, ELBO 최대화는 그 위에서 역방향 KL D(q∥p)D(q\|p) 를 줄이는 사영이다. 반면 기대 전파(EP)의 적률 정합은 순방향 KL D(p∥q)D(p\|q) 를 줄이는 반대 방향 사영이다. “왜 VI는 분산을 과소평가하고 EP는 꼬리를 덮으려 하는가”라는 실무 관찰이, 두 사영이 애초에 다른 방향이었다는 사실로 정리된다.
  • 자연경사법. 파라미터 공간에서 가장 가파른 방향은 좌표계에 따라 달라지지만, 분포 공간에서 “KL 거리 ϵ\epsilon 이내에서 손실을 가장 많이 줄이는 방향”은 좌표계와 무관하다. 그 방향이 Δθ=−η I(θ)−1∇θL\Delta\theta = -\eta\, I(\theta)^{-1}\nabla_\theta L 이다(Amari 1998). I−1I^{-1} 이 붙는 순간 모수를 로그 스케일로 재든 선형으로 재든 같은 궤적을 그린다. 지수족에서는 자연모수에 대한 자연경사가 기대모수에 대한 보통 경사와 같아진다는, 르장드르 쌍대성의 직접적 귀결도 따라온다.
  • K-FAC과 근사. 문제는 II 가 d×dd\times d 이고 신경망에서 dd 가 수백만이라는 것이다. 역행렬은커녕 저장도 안 된다. 그래서 층 단위로 크로네커 곱 구조를 가정해 근사하는 K-FAC(Martens & Grosse 2015), 대각·블록대각 근사, 준-뉴턴법식 저계수 갱신이 나왔다. 강화학습의 TRPO가 정책 갱신 폭을 KL로 제한하는 것도 같은 계보이며, 정책경사에서 스텝 크기를 파라미터가 아니라 정책 분포로 재는 발상이 여기서 나온다.

6. 한계와 현실

정보 기하는 설명력은 압도적인데 계산은 무겁다는 평을 오래 받아 왔다. 피셔 행렬 조립·역행렬 비용, 지수족 밖에서는 쌍대 평탄 구조가 깨진다는 점, 딥러닝의 손실 지형이 애초에 잘 정의된 통계적 모형족이 아닐 수도 있다는 점이 실제 장벽이다. 그럼에도 자연경사 계열이 살아남은 이유는, 잘 조건화된 방향으로 스텝을 재는 것이 조건수가 나쁜 문제에서 실질적 이득을 주기 때문이다. 아담 같은 대각 전처리 옵티마이저를 “대각 피셔 근사”로 읽는 관점도 여기서 나온다 — 엄밀히 같지는 않지만, 왜 그런 스케일링이 통하는지에 대한 가장 그럴듯한 설명이다.

공학 쪽에서는 불확실성 정량화의 모형 식별 가능성 진단, 계량 기반 실험 설계, 그리고 열역학·통계와 학습 알고리즘을 같은 언어로 묶는 개념적 도구로서의 가치가 더 크다. “이 알고리즘은 좌표계를 바꾸면 답이 달라지는가”라는 질문 하나만 습관으로 남아도 본전은 뽑는다.

7. 관련 문서

8. Footnotes

  1. 원 정리는 유한 표본공간에 대한 결과다. 무한 표본공간·매끄러운 통계 다양체로의 확장은 Ay–Jost–Lê–Schwachhöfer(2015) 계열에서 정리됐다. 인용할 때 “첸초프 정리에 의해 무조건 유일”이라고 쓰면 세미나에서 손 드는 사람이 반드시 나온다. ↩

  2. 그래서 통계역학을 먼저 배운 사람은 정보 기하를 보고 “이거 그냥 르장드르 변환 아니냐”고 하고, 통계를 먼저 배운 사람은 통계역학을 보고 “이거 그냥 지수족 아니냐”고 한다. 둘 다 맞다. 같은 수학이 두 학과에서 다른 이름으로 100년쯤 따로 자랐을 뿐이다. ↩

  3. 명명법이 문헌마다 어긋나는 대표적 구역이다. 치사르 계열은 D(q∥p)D(q\|p) 최소화를 I-projection이라 부르고 그 반대를 reverse I-projection이라 부르는데, 아마리 계열은 같은 것을 각각 e-사영·m-사영이라 부른다. 논문을 읽을 때는 이름 말고 어느 인수를 고정했는지 수식을 직접 보는 편이 안전하다. ↩

이 문서가 문제를 푸는 데 도움이 됐나요? 한 번의 클릭이 다음 검수 순서를 정합니다.

의견을 반영할게요. 감사합니다.

다음으로 읽기 볼록 최적화 약 5분 더 탐색 →