정보 기하

편집 역사 토론
통계 수치해석 계산물리 마지막 수정: 2026-08-06 05:31:26

1. 개요[편집]

정보 기하
Information Geometry
대상확률분포족의 모수 공간
계량피셔 정보행렬 (첸초프 정리로 유일)
접속α-접속족, e-접속과 m-접속이 쌍대
발산KL = 브레그만 발산 (지수족)
정립Rao(1945), Chentsov(1972), Amari(1985~)

정보 기하(information geometry)는 확률분포족의 모수 공간을 평평한 좌표평면이 아니라 리만 다양체로 보고, 미분기하의 언어로 통계와 학습 알고리즘을 다시 쓰는 분야다. 모수 θ\theta 는 좌표이고, 각 점은 하나의 확률분포이며, 두 분포가 얼마나 다른지는 피셔 정보 행렬이 정하는 계량

gij(θ)=Iij(θ)=E[∂log⁡p∂θi∂log⁡p∂θj]g_{ij}(\theta) = I_{ij}(\theta) = \mathbb{E}\left[\frac{\partial \log p}{\partial\theta_i}\frac{\partial \log p}{\partial\theta_j}\right]

으로 잰다. 근거는 이미 쿨백-라이블러 발산 문서에 나온다 — DKL(pθ∥pθ+dθ)≈12dθ⊤I dθD_{\mathrm{KL}}(p_\theta\|p_{\theta+d\theta}) \approx \frac{1}{2}d\theta^\top I \,d\theta 이므로, KL은 국소적으로 피셔 계량이 만드는 제곱거리의 절반이다. 정보 기하는 이 관찰을 국소에서 대역으로 밀고 나간 결과물이다.

왜 이런 짓을 하냐면, 좌표계에 의존하는 결론과 의존하지 않는 결론을 구분할 수 있게 되기 때문이다. 가우시안을 (μ,σ)(\mu,\sigma) 로 쓰든 (μ,σ2)(\mu,\sigma^2) 로 쓰든 (μ/σ2,−1/2σ2)(\mu/\sigma^2, -1/2\sigma^2) 로 쓰든 분포 자체는 같다. 그런데 경사하강법의 궤적은 셋이 전부 다르다. “그럼 무엇이 진짜인가”라는 질문에 답하려면 기하가 필요하다.

2. 왜 하필 피셔 계량인가 — 첸초프 정리[편집]

“피셔 정보를 계량으로 쓰자”는 것이 편의적 선택이 아니라는 점이 이 분야의 첫 번째 정리다. 첸초프(Chentsov, Čencov) 정리는 유한 표본공간 위 확률분포의 단체(simplex)에서, 마르코프 사상 — 통계적 충분성을 보존하는 변환 — 에 대해 불변인 리만 계량은 상수배를 제외하면 피셔 계량 하나뿐이라고 말한다.1

이게 무슨 뜻인지 풀어 쓰면 이렇다. 데이터를 요약해도 정보를 잃지 않는 변환(충분통계량)을 거쳤을 때 두 분포 사이의 거리가 변하지 않아야 한다는 것은, 통계적으로 협상 불가능한 요구다. 그 요구 하나를 걸면 계량이 자동으로 결정된다. 즉 “왜 유클리드 거리 말고 피셔 계량이냐”는 취향의 문제가 아니라 정리의 결론이다. 통계학에서 이렇게 깔끔하게 유일성이 나오는 대상은 흔치 않다.

3. 쌍대 평탄 구조와 르장드르 변환[편집]

리만 다양체라고 하면 보통 레비-치비타 접속 하나를 떠올리지만, 정보 기하의 진짜 특징은 접속이 한 무리로 온다는 것이다. 아마리는 α∈[−1,1]\alpha \in [-1,1] 로 매개되는 α\alpha-접속족을 도입했고, 그중 두 끝이 특별하다.

  • α=1\alpha = 1: e-접속(지수형). 지수족을 자연모수 θ\theta 로 쓰면 이 접속에 대해 평평하다.
  • α=−1\alpha = -1: m-접속(혼합형). 같은 지수족을 기대모수 η=E[T(x)]\eta = \mathbb{E}[T(x)] 로 쓰면 이 접속에 대해 평평하다.
  • α=0\alpha = 0: 레비-치비타 접속. 피셔 계량의 표준 측지선을 준다.

핵심은 e-접속과 m-접속이 피셔 계량에 대해 서로 쌍대라는 것이고, 이런 구조를 쌍대 평탄(dually flat)이라 부른다. 그리고 두 좌표계를 잇는 것이 르장드르 변환이다. 지수족의 로그 분배함수 ψ(θ)\psi(\theta) 를 잡으면

η=∇ψ(θ),θ=∇φ(η),ψ(θ)+φ(η)−θ ⁣⋅ ⁣η=0\eta = \nabla\psi(\theta), \qquad \theta = \nabla\varphi(\eta), \qquad \psi(\theta) + \varphi(\eta) - \theta\!\cdot\!\eta = 0

이고, 쌍대 퍼텐셜 φ\varphi 는 음의 엔트로피다. 그러니까 자연모수 ↔ 기대모수는 열역학의 에너지 ↔ 엔트로피 관계와 같은 르장드르 쌍이며, 통계역학의 앙상블 형식과 통계추론이 같은 뼈대를 공유한다는 사실이 여기서 드러난다.2 ∇2ψ=I(θ)\nabla^2\psi = I(\theta) 라 계량 자체도 퍼텐셜의 헤세로 나온다.

4. KL은 브레그만 발산 — 피타고라스 정리[편집]

지수족에서 KL을 자연모수로 써 보면 정체가 드러난다.

DKL(pθ1∥pθ2)=ψ(θ2)−ψ(θ1)−(θ2−θ1) ⁣⋅ ⁣∇ψ(θ1)D_{\mathrm{KL}}(p_{\theta_1}\|p_{\theta_2}) = \psi(\theta_2) - \psi(\theta_1) - (\theta_2-\theta_1)\!\cdot\!\nabla\psi(\theta_1)

이것은 볼록함수 ψ\psi 의 **브레그만 발산**이다 — 한 점에서 그은 접평면과 함수값의 차이. 유클리드 제곱거리(ψ=∥θ∥2/2\psi = \|\theta\|^2/2)와 이토쿠라-사이토 발산이 같은 틀의 다른 사례이며, 비대칭성은 “어느 점에서 접평면을 그었나”의 차이일 뿐이라는 것도 알 수 있다.

브레그만 구조가 주는 최고의 선물이 정보 기하의 피타고라스 정리다. 세 분포 P,Q,RP, Q, R 에 대해, PP 와 QQ 를 잇는 m-측지선과 QQ 와 RR 을 잇는 e-측지선이 QQ 에서 (피셔 계량 의미로) 직교하면

DKL(P∥R)=DKL(P∥Q)+DKL(Q∥R)D_{\mathrm{KL}}(P\|R) = D_{\mathrm{KL}}(P\|Q) + D_{\mathrm{KL}}(Q\|R)

이 근사가 아니라 정확히 성립한다. 직각삼각형에서 빗변의 제곱이 두 변의 제곱의 합인 그 정리가, 거리가 아닌 KL에 대해 그대로 살아난다는 것이 이 분야에서 가장 예쁜 결과다.

여기서 정보 사영이 따라 나온다. 부분다양체 M\mathcal{M} 위에서 min⁡q∈MD(p∥q)\min_{q\in\mathcal{M}} D(p\|q) 를 푸는 것과 min⁡q∈MD(q∥p)\min_{q\in\mathcal{M}} D(q\|p) 를 푸는 것은 서로 다른 사영이고, 각각 M\mathcal{M} 이 e-평탄일 때와 m-평탄일 때 유일해가 보장된다. 볼록한(m-평탄) 제약집합 위에서 D(q∥p)D(q\|p) 를 최소화하는 것이 최대엔트로피 원리와 그 유명한 이-사영(I-projection)이고, 모형족 위에서 D(p^n∥q)D(\hat{p}_n\|q) 를 최소화하는 것이 곧 최대우도추정이다.3

5. 다시 보는 알고리즘[편집]

기하로 다시 보면 익숙한 알고리즘들이 전부 사영과 측지선의 언어로 번역된다.

  • 기댓값 최대화 알고리즘. 아마리는 EM을 데이터 다양체와 모형 다양체 사이를 오가는 두 사영의 교대로 재해석했다(em 알고리즘). E-단계는 현재 모형에 대해 잠재변수 분포를 맞추는 사영, M-단계는 그 결과를 모형족으로 되돌리는 사영이며, 어느 쪽 인수를 고정하고 KL을 줄이느냐가 둘을 가른다. 닐과 힌턴의 자유에너지 관점 — 같은 함수를 두 좌표에 대해 번갈아 최소화하는 좌표 하강 — 이 정확히 같은 그림의 해석학 버전이다. 다만 아마리의 em과 표준 EM은 특정 조건(예컨대 모형이 곡선지수족이 아닐 때)에서만 일치하고, 일반적으로는 다른 알고리즘이다.
  • 변분 추론. 평균장 근사족은 지수족의 곱이라 e-평탄이고, ELBO 최대화는 그 위에서 역방향 KL D(q∥p)D(q\|p) 를 줄이는 사영이다. 반면 기대 전파(EP)의 적률 정합은 순방향 KL D(p∥q)D(p\|q) 를 줄이는 반대 방향 사영이다. “왜 VI는 분산을 과소평가하고 EP는 꼬리를 덮으려 하는가”라는 실무 관찰이, 두 사영이 애초에 다른 방향이었다는 사실로 정리된다.
  • 자연경사법. 파라미터 공간에서 가장 가파른 방향은 좌표계에 따라 달라지지만, 분포 공간에서 “KL 거리 ϵ\epsilon 이내에서 손실을 가장 많이 줄이는 방향”은 좌표계와 무관하다. 그 방향이 Δθ=−η I(θ)−1∇θL\Delta\theta = -\eta\, I(\theta)^{-1}\nabla_\theta L 이다(Amari 1998). I−1I^{-1} 이 붙는 순간 모수를 로그 스케일로 재든 선형으로 재든 같은 궤적을 그린다. 지수족에서는 자연모수에 대한 자연경사가 기대모수에 대한 보통 경사와 같아진다는, 르장드르 쌍대성의 직접적 귀결도 따라온다.
  • K-FAC과 근사. 문제는 II 가 d×dd\times d 이고 신경망에서 dd 가 수백만이라는 것이다. 역행렬은커녕 저장도 안 된다. 그래서 층 단위로 크로네커 곱 구조를 가정해 근사하는 K-FAC(Martens & Grosse 2015), 대각·블록대각 근사, 준-뉴턴법식 저계수 갱신이 나왔다. 강화학습의 TRPO가 정책 갱신 폭을 KL로 제한하는 것도 같은 계보이며, 정책경사에서 스텝 크기를 파라미터가 아니라 정책 분포로 재는 발상이 여기서 나온다.

6. 한계와 현실[편집]

정보 기하는 설명력은 압도적인데 계산은 무겁다는 평을 오래 받아 왔다. 피셔 행렬 조립·역행렬 비용, 지수족 밖에서는 쌍대 평탄 구조가 깨진다는 점, 딥러닝의 손실 지형이 애초에 잘 정의된 통계적 모형족이 아닐 수도 있다는 점이 실제 장벽이다. 그럼에도 자연경사 계열이 살아남은 이유는, 잘 조건화된 방향으로 스텝을 재는 것이 조건수가 나쁜 문제에서 실질적 이득을 주기 때문이다. 아담 같은 대각 전처리 옵티마이저를 “대각 피셔 근사”로 읽는 관점도 여기서 나온다 — 엄밀히 같지는 않지만, 왜 그런 스케일링이 통하는지에 대한 가장 그럴듯한 설명이다.

공학 쪽에서는 불확실성 정량화의 모형 식별 가능성 진단, 계량 기반 실험 설계, 그리고 열역학·통계와 학습 알고리즘을 같은 언어로 묶는 개념적 도구로서의 가치가 더 크다. “이 알고리즘은 좌표계를 바꾸면 답이 달라지는가”라는 질문 하나만 습관으로 남아도 본전은 뽑는다.

7. 관련 문서[편집]

8. Footnotes[편집]

  1. 원 정리는 유한 표본공간에 대한 결과다. 무한 표본공간·매끄러운 통계 다양체로의 확장은 Ay–Jost–Lê–Schwachhöfer(2015) 계열에서 정리됐다. 인용할 때 “첸초프 정리에 의해 무조건 유일”이라고 쓰면 세미나에서 손 드는 사람이 반드시 나온다. ↩

  2. 그래서 통계역학을 먼저 배운 사람은 정보 기하를 보고 “이거 그냥 르장드르 변환 아니냐”고 하고, 통계를 먼저 배운 사람은 통계역학을 보고 “이거 그냥 지수족 아니냐”고 한다. 둘 다 맞다. 같은 수학이 두 학과에서 다른 이름으로 100년쯤 따로 자랐을 뿐이다. ↩

  3. 명명법이 문헌마다 어긋나는 대표적 구역이다. 치사르 계열은 D(q∥p)D(q\|p) 최소화를 I-projection이라 부르고 그 반대를 reverse I-projection이라 부르는데, 아마리 계열은 같은 것을 각각 e-사영·m-사영이라 부른다. 논문을 읽을 때는 이름 말고 어느 인수를 고정했는지 수식을 직접 보는 편이 안전하다. ↩