베타-이항 분포

1. 개요

베타-이항 분포 Beta-binomial distribution
모수	시행 수 $n$, 형상 $\alpha,\beta>0$
평균	$n\mu$, $\mu=\alpha/(\alpha+\beta)$
분산	$n\mu(1-\mu)\,[1+(n-1)\rho]$, $\rho=1/(\alpha+\beta+1)$
정체	성공확률이 베타로 흔들리는 이항 = 폴리아 항아리
극한	$\alpha+\beta\to\infty$ 이면 이항, $\alpha=\beta=1$ 이면 이산 균등

「이항으로 맞췄더니 꼬리가 20배 두껍다」의 표준 해답.

베타-이항 분포(beta-binomial distribution)는 성공확률 $p$ 가 고정되지 않고 베타 분포 $\mathrm{Beta}(\alpha, \beta)$ 를 따르는 이항 분포의 혼합이다.

$$p \sim \mathrm{Beta}(\alpha, \beta), \qquad X \mid p \sim \mathrm{Bin}(n, p)$$

$p$ 를 적분해 없애면 확률질량함수는

$$P(X = k) = \binom{n}{k}\frac{B(k + \alpha,\ n - k + \beta)}{B(\alpha, \beta)}, \qquad k = 0, \dots, n$$

이다($B$ 는 베타 함수). 베타 분포가 이항의 켤레사전분포라 이 적분이 닫힌다. 베이즈 관점에서 이것은 사전 예측 분포(아직 $p$ 를 모를 때 다음 $n$ 번의 성공 횟수)이고, 빈도주의 관점에서는 과분산 이항 자료의 모형이다. 스켈럼(1948)이 후자의 관점에서 정리했다.

로트마다 불량률이 다른 품질 자료, 어미마다 기형 위험이 다른 독성 실험의 한배 새끼, 선수마다 실력이 다른 타율, 셀마다 반응률이 다른 단일세포 자료 — 집단 안은 이항인데 집단 사이에 $p$ 가 흔들리는 상황 전부가 여기 해당한다. 베타 분포 문서의 「과분산」 절이 분산 공식 한 줄을 다뤘으니, 이 문서는 그 바깥 — 군집 내 상관 $\rho$ 로 보는 해석, 폴리아 항아리, 적합과 검정, 꼬리 — 를 다룬다.

2. 적률과 군집 내 상관

$\mu = \alpha/(\alpha+\beta)$ 와 $\rho = 1/(\alpha+\beta+1)$ 로 다시 모수화하면 깔끔하다.

$$E[X] = n\mu, \qquad \mathrm{Var}[X] = n\mu(1-\mu)\big[1 + (n-1)\rho\big]$$

$\rho$ 는 같은 집단 안 두 시행 결과의 상관계수다. 시행 $i, j$ 의 성공 지시변수를 $Y_i, Y_j$ 라 하면 $\mathrm{Cov}(Y_i, Y_j) = \mathrm{Var}(p) = \mu(1-\mu)\rho$ 이고, 각각의 분산이 $\mu(1-\mu)$ 이니 상관이 $\rho$ 다. 그러면 $X = \sum Y_i$ 의 분산은 독립일 때의 $n\mu(1-\mu)$ 에 쌍 $n(n-1)$ 개의 공분산이 얹혀 위 식이 된다.

여기서 실무 직관 두 개가 나온다.

• 설계 효과. 분산 팽창 인자 $1 + (n-1)\rho$ 는 표본조사의 군집 표본 설계 효과(design effect)와 같은 식이다. $\rho = 0.09$, $n = 20$ 이면 2.7 배 — 같은 1000 건이라도 20 건씩 50 집단으로 모으면 유효 표본 크기가 약 367 건으로 줄어든다(유효표본크기의 이항판).
• $n$ 이 클수록 과분산이 커진다. 팽창 인자는 $n$ 에 선형이다. $n = 1$ 이면 베르누이라 과분산이 아예 없고(이진 자료 한 개로는 $p$ 가 흔들리는지 알 수 없다), $n \to \infty$ 이면 $X/n$ 의 분포가 베타 분포 자체로 수렴한다.

예로 $n = 20$, $\mathrm{Beta}(2, 8)$ 이면 $\mu = 0.2$, $\rho = 1/11 = 0.0909$, 분산은 이항의 3.2 대신 8.727 이다(SciPy betabinom 로 확인). 같은 평균을 유지하면서 $\alpha + \beta$ 를 1000 으로 키우면($\mathrm{Beta}(200, 800)$) 분산이 3.261 로 이항에 거의 붙는다. $\alpha = \beta = 1$ 이면 $p$ 가 균등이고, 놀랍게도 $X$ 는 $\{0, \dots, n\}$ 위의 이산 균등이 된다(모든 $k$ 에서 정확히 $1/(n+1)$).¹

3. 폴리아 항아리

같은 분포가 완전히 다른 이야기에서도 나온다. 항아리에 빨간 공 $\alpha$ 개, 파란 공 $\beta$ 개가 있다. 하나를 뽑아 색을 보고, 같은 색 공을 하나 더 넣어 함께 돌려놓는다. 이것을 $n$ 번 하면 빨간 공을 뽑은 횟수가 $\mathrm{BetaBin}(n, \alpha, \beta)$ 다(에겐베르거·폴리아, 1923).²

「부익부」 강화 과정이 「모르는 $p$ 가 처음에 한 번 정해지는 혼합」과 같은 분포를 준다는 것이 드 피네티 정리의 대표 예다 — 폴리아 항아리의 뽑기 순서는 교환 가능(exchangeable)하고, 교환 가능한 이진 수열은 $p$ 에 대한 혼합으로 쓸 수 있다. 빨간 2개·파란 8개로 시작해 20번 뽑기를 4만 번 시뮬레이션하면 평균 4.000, 분산 8.666, $P(X = 0) = 0.0871$(이론 0.0887)로 맞는다.

시뮬레이션 관점의 함의: 강화·전염·선호적 연결처럼 과거 결과가 미래 확률을 끌어당기는 과정에서 얻은 횟수 자료는, 각 시행이 독립이 아닌데도 이항처럼 보이고, 실제로는 과분산 이항이 된다. 「독립 시행」 가정을 검정 없이 넣으면 신뢰구간이 체계적으로 좁아진다.

4. 적합과 과분산 검정

자료가 $m$ 개 집단의 $(x_i, n_i)$ 일 때.

적률법. $\hat\mu = \sum x_i/\sum n_i$ 와 표본분산으로 $\rho$ 를 푼다(모든 $n_i = n$ 이면 $\hat\rho = \big(s^2/(n\hat\mu(1-\hat\mu)) - 1\big)/(n-1)$). 빠르지만 $\hat\rho$ 가 음수로 나올 수 있다 — 그건 과소분산 신호이고 베타-이항으로는 표현할 수 없다.

최우추정. 로그우도 $\sum_i \log P(x_i \mid n_i, \alpha, \beta)$ 를 수치 최적화한다. 로그 베타 함수는 로그 감마로 계산하고, 양수 제약은 $\log\alpha$, $\log\beta$ 로 바꿔 없앤다. $\mathrm{Beta}(2, 8)$, $n = 20$ 집단을 $m$ 개 뽑아 MLE 로 $\rho$ 를 추정하는 것을 200번 반복하면:

집단 수 $m$	$\hat\rho$ 중앙값	5~95% 범위
50	0.085	0.054 – 0.129
500	0.091	0.077 – 0.107

참값 0.0909. $\rho$ 는 $\mu$ 보다 훨씬 추정이 어렵다 — 집단 50개로는 ±40% 수준이고, 집단 수가 아니라 집단 크기를 늘려서는 잘 줄지 않는다($n = 1$ 이면 아예 식별이 안 되는 것의 연장선).

과분산 검정. 가장 단순한 것은 고전적인 이항 분산지수 검정으로, $\chi^2 = \sum (x_i - n_i\hat\mu)^2/(n_i\hat\mu(1-\hat\mu))$ 를 자유도 $m-1$ 의 카이제곱과 비교한다. 위 예의 한 표본($m = 50$)에서 $\chi^2 = 216.9$, 자유도 49, p 값 $5\times10^{-23}$ — 과분산이 압도적으로 드러난다. 이항 대 베타-이항의 우도비 검정도 쓰지만, 귀무가설 $\rho = 0$ 이 모수공간의 경계라 점근분포가 $\chi^2_1$ 이 아니라 $\tfrac12\chi^2_0 + \tfrac12\chi^2_1$ 혼합이 된다는 점에 주의할 것.³

5. 꼬리 — 이항이 위험을 과소평가하는 방식

과분산의 진짜 비용은 분산이 아니라 꼬리에서 나온다. $n = 20$, 평균 불량률 0.2 에서 「20개 중 10개 이상 불량」 확률은

• 이항 $\mathrm{Bin}(20, 0.2)$: 0.0026
• 베타-이항 $(2, 8)$: 0.0529

로 20배 차이다. 「로트 불량률은 늘 20% 언저리」라고 이항으로 공정을 모델링하면, 실제로는 스무 번에 한 번꼴로 나오는 대량 불량 로트를 400번에 한 번으로 본다. 신뢰성 시험의 합격 판정, 임상시험 기관별 반응률, 몬테카를로 실패율 추정(코드 설정마다 실패 확률이 다르면 실행 묶음별 실패 수가 베타-이항이 된다)이 모두 같은 함정을 공유한다.

6. 계산 메모

• 확률질량 계산. 큰 $n$ 에서는 로그 감마로 $\log B$ 를 계산한다. 연속 비율 $P(k+1)/P(k) = \frac{(n-k)(k+\alpha)}{(k+1)(n-k-1+\beta)}$ 로 점화하면 전체 분포를 $O(n)$ 에 얻는다.
• 난수. $p \sim \mathrm{Beta}$ 를 뽑고 $\mathrm{Bin}(n, p)$ 를 뽑는 2단계가 가장 간단하다. 베타 난수는 감마 두 개의 비로 만든다(감마 분포).
• 회귀. 공변량이 있으면 $\mu$ 에 로짓 링크를 걸고 $\rho$ 를 공통 모수로 두는 베타-이항 회귀를 쓴다. 대안은 준우도(quasi-binomial)로 분산만 $\phi$ 배 부풀리는 것인데, 이건 꼬리를 고치지 않는다.
• 다변량. 범주가 셋 이상이면 디리클레 분포와 다항분포의 혼합인 디리클레-다항 분포가 같은 역할을 한다. 포아송 쪽의 쌍둥이는 감마-포아송 혼합인 음이항 분포다.

7. 관련 문서

• 베타 분포 · 이항 분포 · 베타 함수 · 켤레사전분포 · 디리클레 분포
• 음이항 분포 · 감마 분포 · 포아송 분포 · 계층 베이즈 모형
• 최대우도추정 · 유효표본크기 · 순서 통계량

8. Footnotes

1. 라플라스가 「해가 내일도 뜰 확률」을 계산할 때 쓴 균등 사전분포가 바로 이 $\alpha = \beta = 1$ 이다. 그 결과 $n$ 일 연속 해가 떴으면 내일 뜰 확률이 $(n+1)/(n+2)$ 라는 계승 규칙이 나온다. 정작 라플라스 본인은 「해가 뜨는 원리를 아는 사람에겐 이 확률이 훨씬 크다」고 단서를 달았다. 사전분포 고르기가 모델링의 절반이라는 얘기를 1814년에 이미 한 셈. ↩

2. 원래 목적은 전염병 통계였다 — 한 명이 걸리면 다음 사람이 걸릴 확률이 올라가는 「전염」을 공 한 개 추가로 흉내 낸 것. 공 넣기 한 줄이 드 피네티 정리의 단골 예제가 될 줄은 본인들도 몰랐을 것이다. ↩

3. 「분산 성분이 0 인가」를 검정할 때마다 튀어나오는 경계 문제. 그냥 $\chi^2_1$ 을 쓰면 p 값이 두 배로 보수적이 되는데, 논문 심사에서 아무도 안 잡는 경우가 국룰이다. ↩