제프리스 사전분포

통계 수치해석 마지막 수정: 2026-08-14 04:23:47

1. 개요[편집]

제프리스 사전분포 Jeffreys Prior
정의	π(θ) ∝ √det I(θ)
제안	Harold Jeffreys (1946)
핵심 성질	재매개변수화 불변
기하학적 정체	피셔-라오 계량의 부피측도
이항 비율	Beta(1/2, 1/2) — 아크사인 분포
척도모수	π(σ) ∝ 1/σ (부적절)
다차원	권장하지 않음 → 참조 사전분포

제프리스 사전분포(Jeffreys prior)는 모형의 피셔 정보 행렬 $I(\theta)$ 의 행렬식의 제곱근에 비례하도록 잡은 사전분포로,

\pi(\theta) \;\propto\; \sqrt{\det I(\theta)}

모수를 어떻게 잡아 쓰든 같은 사전 믿음을 나타내는 유일한 자연스러운 규칙으로 제안됐다. 해럴드 제프리스가 1946년 논문과 Theory of Probability 개정판에서 정리했고, 오늘날 “무정보 사전분포”라는 이름으로 팔리는 것들의 원형이다.

동기는 아주 구체적인 불만에서 나왔다. 균등 사전분포는 무정보가 아니다. $\theta$ 에 균등을 주면 $\theta^2$ 에는 균등이 아니고, $\log\theta$ 에는 또 다른 모양이 된다. 확률밀도는 변수변환에서 야코비안을 먹기 때문이다. “아무것도 모른다”는 상태가 좌표계를 바꾸면 달라진다면 그건 무지가 아니라 취향이다. 제프리스의 답은 야코비안을 정확히 상쇄하는 가중치를 모형 자신에게서 뽑아 오자는 것이었고, 그 가중치가 $\sqrt{\det I}$ 였다.

2. 불변성 — 규칙의 전부[편집]

재매개변수화 $\theta = g(\varphi)$ 를 하고 야코비안 $J = \partial\theta/\partial\varphi$ 라 두자. 로그가능도의 연쇄법칙에서 스코어가 $J^\top$ 로 곱해지므로 정보행렬은

I_\varphi(\varphi) = J^\top I_\theta(g(\varphi))\, J \quad\Longrightarrow\quad \sqrt{\det I_\varphi} = |\det J|\,\sqrt{\det I_\theta}

로 변환된다. 한편 확률밀도의 변환 규칙은 $\pi_\varphi(\varphi) = \pi_\theta(g(\varphi))\,|\det J|$ 다. 두 식의 $|\det J|$ 가 같은 자리에 같은 지수로 붙는다. 따라서 ” $\theta$ 좌표에서 제프리스 규칙을 적용한 뒤 $\varphi$ 로 변환한 것”과 ” $\varphi$ 좌표에서 제프리스 규칙을 적용한 것”이 정확히 같다. 규칙이 좌표 선택과 가환(commute)한다는 이 한 줄이 제프리스 사전분포의 존재 이유 전부이며, 다른 모든 성질은 여기서 파생된다.

실용적으로도 이게 중요한 이유는, 같은 모형을 부르는 방식이 분야마다 다르기 때문이다. 신뢰성 공학은 고장률 $\lambda$ 로, 신뢰성 시험자는 평균수명 $1/\lambda$ 로, 통계 소프트웨어는 $\log\lambda$ 로 쓴다. 균등 사전분포를 쓰면 세 사람의 사후분포가 서로 다르고, 제프리스 사전분포를 쓰면 같다.

3. 대표 사례[편집]

모형	피셔 정보	제프리스 사전	적절성
정규 평균 $\mu$ ( $\sigma$ 기지)	$1/\sigma^2$	상수	부적절
정규 표준편차 $\sigma$ ( $\mu$ 기지)	$2/\sigma^2$	$1/\sigma$	부적절
정규 분산 $\sigma^2$	$1/(2\sigma^4)$	$1/\sigma^2$	부적절
이항 비율 $p$	$1/(p(1-p))$	$\mathrm{Beta}(1/2,1/2)$	적절
포아송 평균 $\lambda$	$1/\lambda$	$\lambda^{-1/2}$	부적절

정규 표준편차의 $1/\sigma$ 는 “척도모수에는 로그 균등”이라는 오래된 관행과 정확히 일치한다( $\log\sigma$ 에 균등을 주면 $\sigma$ 에는 $1/\sigma$ 다). 분산 눈금으로 옮겨도 규칙이 일관됨을 확인해 두면 감이 잡힌다. $\pi(\sigma^2)=1/\sigma^2$ 에 야코비안 $d\sigma^2/d\sigma = 2\sigma$ 를 곱하면 $2/\sigma$ , 즉 $\pi(\sigma)\propto 1/\sigma$ 로 되돌아온다.

가장 예쁜 것은 이항 쪽이다. $\mathrm{Beta}(1/2,1/2)$ 는 적절한 분포라서 표본이 하나도 없어도 사후분포가 정의되고, 성공 $s$ 회/실패 $f$ 회 뒤 사후평균은 $(s+\tfrac12)/(n+1)$ 이다. 관측이 전부 성공이어도 추정값이 1에 딱 붙지 않는다는 뜻이라, $0/20$ 이나 $20/20$ 같은 자료에서 최대우도가 뱉는 경계값 참사를 자연스럽게 막는다. 흔히 쓰는 $\mathrm{Beta}(1,1)$ (균등)이나 할데인의 $\mathrm{Beta}(0,0)$ 과의 차이가 실제로 갈리는 지점이 딱 이 극단 자료다.¹

4. 정보 기하로 읽으면 “다양체 위의 균등분포”[편집]

이항의 $1/\sqrt{p(1-p)}$ 가 왜 하필 그 모양인지는 정보 기하로 보면 한눈에 들어온다. 피셔 정보는 분포 공간 위의 리만 계량이므로 선소는 $ds = dp/\sqrt{p(1-p)}$ 이고, 이를 적분하면

\phi = 2\arcsin\sqrt{p} \;\in\; [0,\pi]

라는 호길이 좌표가 나온다. 베르누이 모형 전체가 길이 $\pi$ 짜리 곡선인 것이다. 제프리스 사전분포는 이 좌표에서 정확히 균등분포이고, 정규화 상수 $B(\tfrac12,\tfrac12)=\pi$ 가 바로 그 총길이다. 일반적으로도 $\sqrt{\det I}\,d\theta$ 는 피셔-라오 계량이 유도하는 부피 원소이며, 제프리스 사전분포란 결국 “모수 공간이 아니라 분포들의 다양체 위에서 균등하게”라는 선언이다.

$\phi = 2\arcsin\sqrt{p}$ 가 이항의 고전적 분산안정화 변환이라는 사실도 같은 이야기의 다른 표현이다. 계량이 상수가 되는 좌표 = 정보가 균일한 좌표 = 분산이 모수에 안 휘둘리는 좌표. 자연경사법이 최적화에서 하는 일과 정확히 같은 발상이 사전분포 쪽에 나타난 것으로 보면 된다.

5. 다차원에서는 제프리스 본인도 안 썼다[편집]

문제는 모수가 둘 이상일 때다. 정규분포의 $(\mu,\sigma)$ 에 규칙을 곧이곧대로 적용하면 $I = \mathrm{diag}(1/\sigma^2,\,2/\sigma^2)$ 이므로

\pi(\mu,\sigma) \propto \frac{1}{\sigma^2}

가 나온다. 그런데 제프리스 자신은 이 결합 사전을 권하지 않고, $\mu$ 와 $\sigma$ 를 따로 다뤄 얻은 $\pi(\mu,\sigma)\propto 1/\sigma$ 를 썼다. 이유는 미학이 아니라 결과다. $1/\sigma$ 쪽이 고전적 $t$ 구간과 정확히 일치하는 사후분포를 주는 반면 $1/\sigma^2$ 쪽은 어긋난다. 규칙을 만든 사람이 자기 규칙의 예외를 먼저 만든 것이다.

더 심각한 파탄은 모수 개수가 표본과 함께 늘어날 때 나온다. 네이만-스콧 문제 — 집단 $i=1,\dots,n$ 마다 관측 두 개씩 $y_{ij}\sim N(\mu_i,\sigma^2)$ — 에서 $\sigma^2$ 의 최대우도추정량은 참값의 절반으로 수렴하는 비일관 추정량이다. 여기에 결합 제프리스 사전을 씌우면 사후분포도 같은 곳으로 수렴한다. 즉 제프리스 사전은 이 병을 고쳐 주지 않는다. 반면 $\sigma$ 를 관심모수, $\mu_i$ 를 성가신 모수로 놓고 만든 사전 $\pi\propto 1/\sigma$ 는 일관성을 회복시킨다.

이 관찰이 참조 사전분포(reference prior, 베르나르도 1979 · 버거-베르나르도 1992)의 출발점이다. 아이디어는 “사전분포가 사후분포로 갱신되며 얻는 기대 정보량(사전과 사후 사이의 쿨백-라이블러 발산의 기댓값)을 점근적으로 최대화하는 사전”을 찾자는 것으로, 자료가 최대한 말하게 두는 사전이라는 해석이 가능하다. 1차원에서는 제프리스 사전과 일치하지만, 다차원에서는 모수를 관심-성가심 순서로 묶어 순차적으로 유도하기 때문에 어느 모수에 관심이 있느냐에 따라 답이 달라진다. 처음 들으면 이상하지만, 같은 자료로 “평균이 궁금할 때”와 “분산이 궁금할 때” 요구되는 무지의 표현이 다르다는 것은 오히려 자연스럽다. 그래서 실무 권고는 명확하다. 1차원이면 제프리스, 그 이상이면 참조 사전분포를 찾아보거나 약한 정보 사전분포를 손으로 넣어라.²

6. 부적절 사전분포 — 확인은 선택이 아니라 의무[편집]

위 표에서 보듯 제프리스 사전분포는 대부분 적분이 발산하는 부적절 사전분포다. 그 자체로 죄는 아니다. 베이즈 규칙은 사후분포만 적절하면 돌아가기 때문이다. 문제는 그 적절성이 공짜가 아니고, 확인이 사용자의 몫이라는 점이다.

\int L(\theta)\,\pi(\theta)\,d\theta < \infty

이 적분이 유한한지는 모형과 실제로 관측된 자료에 함께 달려 있다. 유명한 사고 사례가 몇 개 있다.

로지스틱 회귀의 완전분리. 어떤 선형결합이 두 클래스를 완벽히 가르면 최대우도추정값이 무한대로 달아나고, 평평한 사전분포로는 사후분포도 적분 불가능해진다. 자료를 조금만 바꿔도 나타났다 사라지는 종류의 사고다.
계층 모형의 집단 간 분산. $\pi(\tau)\propto 1/\tau$ 를 그대로 쓰면 $\tau\to0$ 에서 사후분포가 적분되지 않는다. 집단 수가 적을 때 특히 위험하고, 그래서 반코시(half-Cauchy)나 반정규 같은 적절한 약정보 사전을 쓰는 것이 현대적 처방이다.
베이즈 인수는 애초에 못 쓴다. 부적절 사전분포는 정규화 상수가 임의라서 주변가능도가 임의의 배수만큼 흔들린다. 베이즈 정보 기준이 사전분포 없이 굴러가는 것과는 사정이 다르며, 모형 비교에 부적절 사전을 쓰려면 부분/내재 베이즈 인수 같은 별도 장치가 필요하다.

여기서 진짜 무서운 것은 실패가 조용하다는 점이다. 마르코프 연쇄 몬테카를로는 사후분포가 적절한지 확인하지 않는다. 부적절한 사후분포 위에서도 깁스 표집기는 태연히 돌고, 체인은 그럴듯한 모양의 트레이스를 그리며, 요약통계까지 뽑힌다. 발산이 눈에 보이려면 체인을 아주 길게 돌려야 하는 경우가 많다. 적절성은 시뮬레이션이 아니라 종이 위에서 확인해야 한다.³

7. 실무에서 만나는 자리[편집]

벌점최대우도의 정체. 퍼스(1993)의 편향보정 로지스틱 회귀는 로그가능도에 $\tfrac12\log\det I(\theta)$ 를 더해 최대화하는 것인데, 이는 정확히 제프리스 사전분포의 사후최빈값이다. 표준 오차 계산을 그대로 두면서 $O(1/n)$ 편향을 제거하고, 덤으로 완전분리 상황에서도 유한한 추정값을 준다. 사전분포를 안 쓴다고 믿는 사람들이 매일 쓰고 있는 제프리스 사전.
기본값 사전으로. 모수가 하나뿐인 하위 모형(비율, 고장률, 계수 척도)에 대한 소프트웨어 기본값에서 자주 보인다. 다만 앞 절의 이유로 요즘 권고는 “무정보를 흉내내지 말고 약한 정보를 명시하라” 쪽으로 기울어 있다.
크라메르-라오 하한·D-최적 설계와의 접점. $\sqrt{\det I}$ 를 사전분포로 쓰는 것과 $\det I$ 를 최대화하도록 실험점을 배치하는 것은 같은 양을 다른 목적으로 쓰는 일이다. 전자는 “정보가 많은 영역에 사전확률을 많이 준다”이고 후자는 “정보가 많아지도록 실험을 짠다”이다. 베이즈 최적 설계에서는 아예 둘이 한 식 안에서 만난다.
누구도 무정보는 아니다. 제프리스 사전은 좌표 선택에는 둔감하지만 모형 선택에는 여전히 민감하다. 같은 자료를 이항으로 보느냐 포아송으로 보느냐에 따라 “무지의 표현”이 달라진다. 사전분포를 자동으로 정해 주는 규칙은 사전분포를 없애 주는 규칙이 아니다.⁴

8. 관련 문서[편집]

세 사전의 사후평균은 각각 $(s+\tfrac12)/(n+1)$ , $(s+1)/(n+2)$ , $s/n$ 이다. 마지막이 할데인 사전인데 자료가 전부 한쪽이면 사후분포가 적절하지 않다. “무정보”라는 이름을 놓고 세 진영이 백 년째 싸우는 중이고, 각자 자기 기준(불변성·라플라스의 후속법칙·최대우도 재현)에서는 다 옳다. ↩
여기 얽힌 병리 중 가장 유명한 것이 도위드-스톤-지덱(1973)의 주변화 역설이다. 부적절 사전분포로 얻은 사후분포를 주변화하는 순서를 바꾸면 서로 다른 답이 나오는데, 적절한 사전분포에서는 절대 일어나지 않는 일이다. 부적절 사전분포는 “아주 넓은 적절한 사전분포의 극한”처럼 행동해 주지 않는다는 경고로 읽으면 된다. ↩
실제로 계층 모형에 $1/\tau$ 사전을 쓴 체인이 $\tau$ 를 0 근처에서 몇 만 번 배회하다가 결국 붕괴하는 광경은 초심자 통과의례에 가깝다. 더 나쁜 시나리오는 붕괴하지 않고 그럴듯한 요약표가 나와서 그대로 논문에 실리는 쪽이다. 트레이스 플롯은 사후분포의 존재를 증명하지 않는다. ↩
제프리스는 지구물리학자였고, 지진파 주시 곡선을 다루다가 “선행 연구가 없는 물리량을 어떻게 추정할 것인가”라는 실무 문제에서 이 규칙을 만들었다. 통계 이론가가 아니라 자료에 시달린 사람이 만든 규칙이라는 점은 각주로 남길 만하다. 참고로 그는 판구조론을 끝까지 반대한 것으로도 유명하다. 통계에서 옳았다고 지구과학에서도 옳은 것은 아니다. ↩