라플라스 근사

통계 수치해석 마지막 수정: 2026-08-19 04:41:05

1. 개요[편집]

라플라스 근사(Laplace approximation)는 적분하고 싶은 함수의 로그를 최빈값 주변에서 2차까지 전개해, 피적분함수를 가우스 함수로 갈아 끼우는 점근 근사다. 베이즈 통계에서는 사후분포를 최빈값(MAP) 중심의 정규분포로 바꾸는 도구로 쓰이며, 이때 공분산은 음의 로그사후분포 헤세 행렬의 역행렬이 된다.

p(\theta \mid \mathcal{D}) \;\approx\; \mathcal{N}\big(\hat\theta,\; H^{-1}\big), \qquad H = -\nabla^2 \log p(\theta\mid\mathcal{D})\Big|_{\theta=\hat\theta}

한 줄 요약: 최적화 한 번 + 2계 미분 한 번으로 사후분포를 사는 방법. 표본을 뽑는 마르코프 연쇄 몬테카를로나 분포족 위에서 최적화하는 변분 추론과 달리, 이미 최대우도추정/MAP을 위해 돌린 최적화의 부산물만 재활용한다는 점이 최대의 장점이다. 이름은 18세기 라플라스가 확률 적분을 다루며 쓴 방법에서 왔고, 물리 쪽에서 안장점 근사·최급강하법이라 부르는 것과 뿌리가 같다.

2. 유도 — 로그를 두 번 미분하면 공분산이 나온다[편집]

관심 대상은 대개 이런 꼴의 적분이다.

Z = \int e^{-n g(\theta)}\, d\theta

$g$ 가 $\hat\theta$ 에서 최소이면 그 점에서 $\nabla g = 0$ 이므로 테일러 전개의 1차항이 사라지고

g(\theta) \approx g(\hat\theta) + \tfrac{1}{2}(\theta-\hat\theta)^{\!\top} A\,(\theta-\hat\theta), \qquad A = \nabla^2 g(\hat\theta)

가 된다. 이걸 대입하면 남는 것은 다변량 가우스 적분뿐이라 닫힌 형태로 계산된다.

Z \;\approx\; e^{-n g(\hat\theta)} \left(\frac{2\pi}{n}\right)^{d/2} \big|A\big|^{-1/2}

베이즈 문맥에서는 $e^{-ng(\theta)}$ 자리에 $p(\mathcal{D}\mid\theta)p(\theta)$ 를 놓고 $\hat\theta$ 를 MAP으로 잡으면, 정규화된 형태가 곧 $\mathcal{N}(\hat\theta, H^{-1})$ 이다. 곡률이 급하면(헤세가 크면) 사후분포가 좁고, 평평하면 넓다 — 헤세 행렬이 불확실성의 척도가 되는 이유가 여기 한 줄로 정리된다.

3. 증거와 BIC[편집]

정규화 상수 $Z$ 자체가 곧 주변우도(marginal likelihood, 증거)라는 점이 이 근사의 진짜 값어치다. 모형 $M$ 에 대해

\log p(\mathcal{D}\mid M) \approx \log p(\mathcal{D}\mid\hat\theta) + \log p(\hat\theta) + \tfrac{d}{2}\log 2\pi - \tfrac{1}{2}\log|H|

이고, 첫 항이 적합도, 뒤의 세 항이 오컴 인자(Occam factor) — 사전분포 대비 사후분포가 얼마나 좁아졌는가 — 노릇을 한다. 파라미터를 늘려 적합도를 올려도 사후분포의 부피가 줄어들면서 벌점이 자동으로 붙는다는 것 — 베이즈가 모형 선택에서 과적합을 스스로 막는 메커니즘이 바로 이 항이다.

여기서 $H \approx n\,\bar{I}$ (표본 수에 비례)라 두고 $n$ 에 무관한 항을 전부 버리면

-2\log p(\mathcal{D}\mid M) \;\approx\; -2\log p(\mathcal{D}\mid\hat\theta) + d\log n + O(1)

즉 베이즈 정보 기준이 떨어져 나온다. BIC가 “라플라스 근사에서 살아남은 두 항”이라 불리는 이유이고, 사전분포가 통째로 $O(1)$ 안에 묻혀 사라지는 것도 이 유도에서 보인다. 더 정확한 근사가 필요하면 항을 버리지 말고 그대로 쓰면 되며, 그것이 흔히 말하는 “라플라스 증거”다. 아카이케 정보기준이 기대 KL 발산의 편향보정에서 나오는 것과는 출발점이 다르다.

4. 오차는 얼마나 되나[편집]

라플라스 근사는 점근 근사다. 표본 수 $n$ 이 커질수록 사후분포가 $\hat\theta$ 근처에 몰리고, 로그가 그 좁은 영역에서 2차식에 가까워지면서 근사가 좋아진다. 표준적인 결과는

Z = Z_{\text{Laplace}}\big(1 + O(n^{-1})\big)

로, 상대오차가 $O(n^{-1})$ 이다. 3차·4차 미분항으로 보정을 하나 더 붙이면 $O(n^{-2})$ 로 내려간다. 티어니와 카데인(1986)의 완전 지수형 라플라스(fully exponential Laplace)는 사후 기댓값처럼 두 적분의 비를 계산할 때 분자·분모의 $O(n^{-1})$ 오차가 상쇄되어 $O(n^{-2})$ 정확도가 나온다는 것을 보였고, 이것이 소표본에서도 라플라스가 의외로 잘 버티는 이유다.

반대로 말하면 $n$ 이 작거나, 파라미터 차원 $d$ 가 $n$ 과 함께 커지면 보장이 없다. “표본이 충분하면 정규분포”라는 베른슈타인-폰 미제스식 논리가 라플라스 근사의 밑바닥에 깔려 있고, 그 조건이 깨지는 곳에서 근사도 같이 깨진다.

5. 무엇을 헤세로 쓸 것인가[편집]

실무에서 가장 자주 사고가 나는 지점이다. 진짜 헤세 $\nabla^2 \log p$ 는 최빈값이 아닌 곳에서는 물론이고 최빈값 근처에서도 양정치가 아닐 수 있다. 수치 오차로 음의 고유값이 하나만 나와도 $H^{-1}$ 이 공분산 자격을 잃는다. 그래서 대체물을 쓴다.

선택	정의	성질
관측 정보행렬	$-\nabla^2 \log p$ 그대로	정확하지만 양정치 보장 없음
피셔 정보 행렬	스코어의 외적 기댓값	항상 반양정치, 모형 분포에 대한 기댓값 필요
일반화 가우스-뉴턴(GGN)	야코비안 $\times$ 손실 헤세 $\times$ 야코비안	반양정치, 지수족 손실에서 피셔와 일치

신경망처럼 파라미터가 수백만 개면 $H$ 를 통째로 저장하는 것부터 불가능하므로 구조를 가정한다. 대각 근사, 크로네커 인수분해(K-FAC), 저계수+대각, 마지막 층만 등이 표준 선택지다. K-FAC 문서가 말하듯 $F^{-1}$ 이 싸지는 순간 최적화뿐 아니라 라플라스 사후분포가 곧바로 따라온다.

6. 부활 — INLA와 마지막 층 라플라스[편집]

한동안 “MCMC가 있는데 왜 근사를 쓰냐”는 취급을 받던 이 기법은 두 방향에서 화려하게 복귀했다.

INLA(Integrated Nested Laplace Approximation, 뤼에·마르티노·쇼팽 2009)는 잠재 가우스 모형 — 공간 통계, 시계열, 일반화 가법 모형처럼 잠재장이 가우스 마르코프 확률장인 구조 — 에서 초모수마다 라플라스 근사를 중첩해 적용하고 수치적으로 적분한다. 잠재장의 정밀도 행렬이 희소하다는 점을 이용해 행렬식과 주변분산을 값싸게 뽑는 것이 핵심이며, MCMC로 몇 시간 걸리던 공간 모형을 몇 초에 끝내면서 R-INLA는 역학·생태·공간역학의 사실상 표준 도구가 됐다.¹

마지막 층 라플라스(last-layer Laplace)는 딥러닝 쪽의 재발견이다. 사전학습된 신경망의 가중치 전부에 사후분포를 얹는 대신 마지막 선형 층에만 라플라스 근사를 붙이면, 훈련을 다시 하지 않고 사후 처리만으로 불확실성이 생긴다. 크리스티아디 등(2020)은 ReLU 망의 과확신 문제가 이 최소한의 베이즈화만으로도 크게 완화됨을 보였고, 다스베르거 등(2021)의 laplace 라이브러리가 GGN·K-FAC·마지막 층 조합을 표준 레시피로 묶었다. 예측 분포를 만들 때는 비선형 망을 $\hat\theta$ 에서 선형화한 뒤 가우스를 통과시키는 방식(선형화 예측)이 그냥 표본을 뽑는 것보다 잘 작동한다는 것이 반복 관측된다.² 비용 면에서 드롭아웃 기반 근사나 앙상블과 겨룰 만한 몇 안 되는 선택지다.

7. 언제 깨지는가[편집]

다봉 사후분포. 라플라스는 봉우리 하나만 본다. 라벨 스위칭이 있는 혼합모형, 대칭성이 있는 신경망처럼 봉우리가 여러 개면 질량의 대부분을 놓친다. 봉우리마다 라플라스를 세워 가중합하는 것이 최소한의 처방이다.
경계에 붙은 최빈값. 분산 성분이 0에서 최대가 되는 경우처럼 MAP이 정의역 경계에 있으면 $\nabla \log p = 0$ 이 성립하지 않아 유도의 첫 줄부터 무너진다. 로그·로짓 변환으로 경계를 무한대로 밀어내는 것이 정석.
재파라미터화 비불변성. $\sigma$ 로 근사한 결과와 $\log\sigma$ 로 근사한 결과가 다르다. 가우스가 되기 가장 좋은 좌표계를 고르는 것이 사실상 기법의 일부이며, 분산·비율 파라미터는 로그·로짓 스케일에서 근사하는 게 국룰이다.
특이 모형. 혼합모형·신경망처럼 참값에서 피셔 정보가 특이해지는 모형에서는 2차 근사의 전제 자체가 깨진다. BIC 문서에서 다루는 와타나베의 특이학습이론이 정확히 이 지점을 겨냥한다.
두꺼운 꼬리와 비대칭. 가우스는 꼬리를 항상 과소평가한다. 꼬리 확률이 중요한 신뢰성 해석에서는 라플라스로 얻은 사후분포를 그대로 쓰지 말고, 중요도 표본추출의 제안분포로만 쓰고 가중치로 보정하는 편이 안전하다.

8. 세 근사의 자리[편집]

	라플라스 근사	변분 추론	마르코프 연쇄 몬테카를로
하는 일	최빈값에서 곡률 맞춤	분포족 안에서 KL 최소화	사후분포에서 표본 추출
비용	최적화 1회 + 헤세	최적화 (반복)	체인 수천~수만 스텝
정확도	점근적, $O(n^{-1})$	편향 남음, 상한 없음	점근적으로 정확
다봉	못 잡음	대개 봉우리 하나	잡을 수 있음(느림)

라플라스와 VI의 관계는 미묘하다. 둘 다 가우스로 갈아 끼우지만, 라플라스는 최빈값에 고정한 뒤 곡률만 읽고, VI는 위치와 폭을 함께 최적화한다. 그래서 VI는 사후분포의 질량이 몰린 곳으로 중심을 옮길 수 있는 반면 라플라스는 못 하고, 대신 라플라스는 목적함수를 새로 정의할 필요 없이 기존 훈련 파이프라인에 얹힌다. 불확실성 정량화 실무에서 “일단 헤세부터 뽑아 보고, 이상하면 그때 MCMC”라는 순서가 굳은 것도 이 비용 구조 때문이다.³

9. 관련 문서[편집]

INLA가 이름값을 하는 지점은 “중첩”(nested)이다. 잠재장에는 라플라스, 초모수에는 격자 적분을 쓰는 2층 구조인데, 초모수가 대여섯 개를 넘어가면 그 격자 적분이 다시 차원의 저주에 걸린다. 그래서 R-INLA 문서가 “초모수는 되도록 적게”라고 반복해서 경고한다. ↩
직관적으로도 말이 된다. 가중치 공간의 가우스를 비선형 망에 통과시키면 출력 분포는 더 이상 가우스가 아닌데, 근사 자체가 이미 “2차까지만 믿겠다”는 선언이므로 예측 단계에서도 1차까지만 믿는 것이 일관적이다. 표본을 뽑으면 훈련 때 본 적 없는 가중치 조합이 나와 예측이 터지는 일이 흔하다. ↩
헤세 뽑기가 공짜라는 말은 아니다. 파라미터 $d$ 개면 $O(d^2)$ 저장에 $O(d^3)$ 분해다. $d$ 가 수백이면 즐겁게 돌아가고, 수만이면 구조 가정 없이는 손도 못 댄다. “최적화 부산물”이라는 표현이 참인 구간은 생각보다 좁다. ↩