최대우도추정

편집 역사 토론
통계 수치해석 마지막 수정: 2026-08-06 04:38:19

1. 개요[편집]

최대우도추정
Maximum Likelihood Estimation
약칭MLE
정립R. A. Fisher (1912~1922)
목적함수로그가능도의 합
점근 성질일치성 · 정규성 · 효율(정칙 조건 하)
불편성보장 안 됨

최대우도추정(maximum likelihood estimation, MLE)은 관측된 데이터가 나올 확률을 가장 크게 만드는 모수값을 추정치로 채택하는 방법이다. 관측 x1,…,xnx_1,\dots,x_n 이 독립이면

θ^=arg⁡max⁡θL(θ;x)=arg⁡max⁡θ∑i=1nlog⁡p(xi;θ)\hat\theta = \arg\max_{\theta} L(\theta;x) = \arg\max_{\theta} \sum_{i=1}^{n} \log p(x_i;\theta)

가 정의 전부다. 통계학에서 이만큼 단순하면서 이만큼 널리 쓰이는 원리는 없다. 회귀, 로지스틱 회귀, 은닉 마르코프 모형, 가우시안 혼합 모형, 딥러닝의 교차 엔트로피 손실까지 전부 이 한 줄의 특수한 경우다.

핵심은 우도가 확률이 아니라는 것이다. L(θ;x)L(\theta;x) 는 xx 를 고정하고 θ\theta 를 움직이며 읽는 함수라서 θ\theta 에 대해 적분해도 1이 아니고, 따라서 ”θ\theta 가 이 값일 확률”이 아니다. 그 해석을 원하면 사전분포를 얹어 베이즈로 가야 한다. 신뢰구간 해석을 두고 매년 벌어지는 논쟁의 뿌리가 여기 있다.

2. 왜 로그를 씌우는가, 그리고 불변성[편집]

로그를 씌우는 이유는 셋 다 실용적이다. (1) 곱이 합이 된다 — 미분이 항별로 분리되고, 자동 미분과 미니배치 근사가 그대로 먹힌다. (2) 언더플로 회피 — n=105n = 10^5 개 확률의 곱은 배정밀도에서 순식간에 0으로 죽는다. 로그 공간에서는 그냥 큰 음수일 뿐이다. (3) 모양이 좋아진다 — 지수족에서는 로그가능도가 자연모수에 대해 오목(concave)해져서, 최대화가 볼록 최적화 문제가 된다.

MLE만의 특권은 불변성(invariance)이다. 임의의 함수 gg 에 대해

g(θ)^=g(θ^)\widehat{g(\theta)} = g(\hat\theta)

가 성립한다. 분산의 MLE를 구했으면 표준편차의 MLE는 그냥 제곱근이고, 반감기의 MLE를 구했으면 붕괴상수의 MLE는 그냥 ln⁡2/t^1/2\ln 2 / \hat{t}_{1/2} 다. 이게 당연해 보이지만 전혀 당연하지 않다 — 베이즈 사후평균에는 이 성질이 없다. E[g(θ)]≠g(E[θ])\mathbb{E}[g(\theta)] \ne g(\mathbb{E}[\theta]) 이기 때문이며, 사실 이건 젠센 부등식 그 자체다. 최빈값(MAP)도 좌표계를 바꾸면 야코비안 때문에 옮겨간다.

3. 점근 성질 — MLE를 기본값으로 쓰는 이유[편집]

정칙 조건과 모형이 참이라는 가정 아래, n→∞n \to \infty 에서 다음이 성립한다.

  • 일치성. θ^→θ0\hat\theta \to \theta_0 (확률수렴). 표본 로그가능도의 평균이 −DKL(pθ0∥pθ)-D_{\mathrm{KL}}(p_{\theta_0}\|p_\theta) + 상수로 수렴하고, 쿨백-라이블러 발산이 θ=θ0\theta = \theta_0 에서만 0이라는 사실이 증명의 뼈대다.
  • 점근 정규성. n(θ^−θ0)  →  N(0,  I1(θ0)−1)\sqrt{n}(\hat\theta - \theta_0) \;\to\; \mathcal{N}\big(0,\; I_1(\theta_0)^{-1}\big). 여기 I1I_1 은 관측 1개당 피셔 정보다.
  • 점근 효율. 그 극한 분산이 정확히 크라메르-라오 하한이다. 즉 큰 표본에서 MLE보다 잘하는 정칙 불편추정량은 없다.

여기서 “모형이 참이라는 가정”이 얼마나 무거운 전제인지는 아래에서 다시 다룬다. 그리고 이 정리들은 전부 점근이다. n=12n = 12 짜리 실험 데이터에 MLE 표준오차를 뽑아 놓고 “이론적으로 효율적”이라고 쓰는 보고서는 정리를 인용한 게 아니라 정리의 제목만 인용한 것이다.

4. 정칙 조건이 깨지는 곳[편집]

교과서가 조용히 넘어가는 부분이 실무에서는 매일 터진다.

  • 지지집합이 모수에 의존. U(0,θ)U(0,\theta) 의 MLE는 θ^=max⁡ixi\hat\theta = \max_i x_i 인데, 이건 미분해서 얻은 게 아니라 ”θ\theta 가 최댓값보다 작으면 우도가 0”이라는 구조에서 나온다. 수렴 속도가 n\sqrt{n} 이 아니라 n−1n^{-1} 이고 — n(θ0−θ^)n(\theta_0 - \hat\theta) 가 지수분포로 수렴한다 — 극한분포도 정규가 아니다. 수렴은 오히려 더 빠른데, 그 대가로 정규근사에 기댄 표준오차·신뢰구간 공식이 전부 무효가 된다.
  • 경계에 놓인 모수. 분산 성분이 0인지 검정할 때 참값이 모수공간의 경계에 있다. 이때 우도비 통계량은 χ12\chi^2_1 이 아니라 χ02\chi^2_0 과 χ12\chi^2_1 의 50:50 혼합으로 수렴한다(체르노프). 그냥 χ12\chi^2_1 로 읽으면 p-값이 보수적으로 나오는 쪽이라 “안전한 실수”지만, 실수는 실수다.
  • 우도가 무한대로 발산. 가우시안 혼합 모형에서 성분 하나의 평균을 관측점 x1x_1 에 붙이고 그 성분의 분산을 0으로 보내면 우도는 무한대로 간다. 전역 최대점이 존재하지 않는다. 그래서 실무의 EM은 전역해가 아니라 잘 행동하는 국소해를 찾는 절차이며, 분산 하한을 걸거나 약한 사전분포를 얹어 특이점을 막는 것이 국룰이다.1

5. 불편성은 보장되지 않는다[편집]

가장 흔한 오해가 “MLE는 좋은 추정량이니 불편하겠지”다. 아니다. 정규분포 분산의 MLE는

σ^MLE2=1n∑i=1n(xi−xˉ)2\hat\sigma^2_{\mathrm{MLE}} = \frac{1}{n}\sum_{i=1}^{n}(x_i - \bar{x})^2

로 분모가 nn 이며, 기댓값은 n−1nσ2\frac{n-1}{n}\sigma^2 이라 아래로 편향돼 있다. 표본평균 xˉ\bar x 를 쓰느라 자유도 하나를 이미 소비했기 때문이고, 불편추정량을 원하면 n−1n-1 로 나눈 표본분산을 써야 한다. 불변성이 좋은 성질이라고 했는데 그 대가가 바로 이것이다 — 불변성과 불편성은 동시에 만족될 수 없다. σ^\hat\sigma 가 불편이면 σ^2\hat\sigma^2 은 불편일 수 없기 때문. 다만 편향이 O(1/n)O(1/n) 이라 표본이 커지면 사라지고, 이런 종류의 유한표본 편향을 잡는 도구가 잭나이프·부트스트랩 보정이다.

6. 실제로 어떻게 푸는가[편집]

해석해가 나오는 건 정규분포·지수분포·선형모형 정도고, 나머지는 전부 수치 최적화다.

  • 뉴턴-랩슨. θ←θ+[−∇2log⁡L]−1∇log⁡L\theta \leftarrow \theta + [-\nabla^2 \log L]^{-1}\nabla \log L. 국소 2차 수렴이지만, 최적점에서 멀면 헤세가 부정부호가 되어 엉뚱한 방향으로 뛴다. 라인서치나 신뢰 영역 방법으로 묶어 쓰는 것이 전제.
  • 피셔 스코어링. 헤세를 기대 정보 I(θ)I(\theta) 로 대체한다. II 는 항상 준정부호라 상승 방향이 보장되고, 일반화선형모형에서는 이것이 반복 가중최소제곱(IRLS)과 똑같은 식으로 떨어진다. 로지스틱 회귀 솔버가 사실상 최소자승법을 반복해서 부르고 있는 이유.
  • 기댓값 최대화 알고리즘. 잠재변수가 있어 로그 안에 합이 갇힌 경우(혼합모형, HMM, 결측 데이터), 하한을 세우고 올리는 절차로 우회한다. 단조 증가가 보장되는 대신 수렴이 선형이고 국소해에 붙는다.
  • 경사법 계열. 데이터가 크면 확률적 경사하강법이 답이다. 딥러닝의 학습은 사실상 조건부 분포에 대한 MLE이며, 분류의 교차 엔트로피 손실이 곧 음의 로그가능도다.

7. 모형이 틀렸을 때 — AIC와 샌드위치[편집]

현실의 모형은 참이 아니다. 그럼에도 MLE는 KL 의미에서 참분포에 가장 가까운 θ∗\theta^* 로 수렴하며, 이를 준최대우도추정(QMLE)이라 부른다. 문제는 이때 정보 등식 E[ss⊤]=−E[∇2log⁡L]\mathbb{E}[ss^\top] = -\mathbb{E}[\nabla^2 \log L] 이 깨진다는 것이다. 두 행렬을 각각 BB, AA 라 하면 올바른 점근 공분산은

Cov(θ^)≈1nA−1BA−1\mathrm{Cov}(\hat\theta) \approx \tfrac{1}{n} A^{-1} B A^{-1}

이고, 이 모양 때문에 샌드위치 추정량(로버스트 표준오차)이라 부른다. 모형이 맞으면 A=BA = B 라 I−1I^{-1} 로 접힌다. 이분산이나 상관 오차가 의심되는 회귀에서 로버스트 표준오차가 기본값처럼 쓰이는 이유가 이것이며, 순진한 표준오차보다 대개 커진다.2

같은 정신으로 모형을 고르는 것이 아카이케 정보 기준이다.

AIC=−2log⁡L(θ^)+2k\mathrm{AIC} = -2\log L(\hat\theta) + 2k

로그가능도를 그대로 쓰면 모수를 늘릴수록 항상 좋아지므로, 예측 KL의 편향 보정항으로 모수 개수 kk 를 벌점으로 붙인 것이다. 표본이 작으면 AICc, 참모형 선택이 목적이면 klog⁡nk\log n 을 쓰는 BIC로 간다. 셋 중 무엇을 쓸지는 취향이 아니라 목적(예측이냐 모형 식별이냐)의 문제다.

8. 시뮬레이션·공학에서[편집]

가우스 잡음 ε∼N(0,σ2I)\varepsilon \sim \mathcal{N}(0,\sigma^2 \mathbf{I}) 을 가정하면 로그가능도가 −12σ2∥y−f(θ)∥2-\frac{1}{2\sigma^2}\|y - f(\theta)\|^2 + 상수라, MLE와 최소자승법이 정확히 같은 문제가 된다. 잡음 분산이 점마다 다르면 가중최소제곱, 잡음이 두꺼운 꼬리를 가지면 후버 손실 같은 로버스트 형태가 각각 대응하는 MLE다. “왜 하필 제곱합을 최소화하나”라는 질문의 정직한 답은 “가우스 잡음을 가정했기 때문”이지 “그게 자연스러워서”가 아니다.

모형 보정(역문제)에서는 여기에 정규화가 붙어 사실상 MAP이 되고, 불확실성 정량화에서는 θ^\hat\theta 주변의 정보행렬로 라플라스 근사 사후분포를 세운 뒤 대리 모델로 전파하는 흐름이 표준 코스다. 칼만 필터의 잡음 공분산 튜닝도 예측오차 분해로 얻은 로그가능도를 최대화하는 MLE 문제로 쓰는 것이 정석이며, “Q와 R을 감으로 맞춘다”는 관행보다 훨씬 방어 가능하다.3

9. 관련 문서[편집]

10. Footnotes[편집]

  1. 그래서 EM을 돌리다 성분 하나의 분산이 10−1410^{-14} 로 수렴하며 로그가능도가 갑자기 치솟으면, 축하할 일이 아니라 특이점에 빨려 들어간 것이다. 재시작하거나 하한을 걸어야 한다. “우도가 올라갔으니 잘 되고 있다”는 판단이 배신하는 몇 안 되는 지점. ↩

  2. 로버스트 표준오차가 항상 순진한 표준오차보다 크다는 것은 신화다. 작아지는 경우도 있고, 표본이 작으면 샌드위치 자체가 아래로 편향돼 신뢰구간이 실제보다 좁아진다. HC1~HC3 같은 유한표본 보정이 존재하는 이유다. ↩

  3. 실제로 해 보면 로그가능도 곡면이 Q와 R의 비율 방향으로는 뾰족하고 전체 스케일 방향으로는 거의 평평한 경우가 많다. 정보행렬을 찍어 보면 고유값이 몇 자릿수씩 벌어져 있는데, 이건 최적화가 안 되는 게 아니라 데이터가 그 방향에 대해 할 말이 없다는 뜻이다. ↩