베타 분포

1. 개요

베타 분포 Beta Distribution
밀도	$f(x) = x^{\alpha-1}(1-x)^{\beta-1}/B(\alpha,\beta)$, $0<x<1$
모수	모양 $\alpha>0$, $\beta>0$
평균	$\alpha/(\alpha+\beta)$
분산	$\mu(1-\mu)/(\alpha+\beta+1)$
누적분포	정규화 불완전 베타 함수 $I_x(\alpha,\beta)$
관계	감마의 비, 균등 순서 통계량, 디리클레의 2차원판
시뮬레이션	비율·확률의 불확실성, PERT 일정, 다항식 카오스(야코비)

$[0, 1]$ 위에서 모양을 마음대로 바꿀 수 있는 분포가 필요하다면 일단 이것부터. 종 모양, U 자, J 자, 평평한 것까지 모수 두 개로 다 된다.

베타 분포(beta distribution)는 구간 $(0, 1)$ 위의 연속 분포로 밀도가

$$f(x;\alpha,\beta) = \frac{x^{\alpha-1}(1-x)^{\beta-1}}{B(\alpha,\beta)},\qquad 0 < x < 1$$

이다. 정규화 상수 $B(\alpha, \beta)$ 가 베타 함수이고 누적분포는 정규화 불완전 베타 함수 $I_x(\alpha, \beta)$ 다. 평균 $\mu = \alpha/(\alpha+\beta)$, 분산 $\mu(1-\mu)/(\alpha+\beta+1)$ 이므로 $\alpha+\beta$ 를 「집중도」(가상의 표본 크기)로, $\mu$ 를 위치로 읽을 수 있다.

베타 함수 문서가 이미 누적분포 계산(연분수·대칭 전환)과 켤레사전분포로서의 베이즈 A/B 테스트를 다뤘다. 이 문서는 그 바깥 — 베타가 어디서 저절로 나오는가(순서 통계량, 감마의 비), 어떻게 뽑는가(난수 생성), 어떻게 맞추는가(적합), 그리고 시뮬레이션 쪽 쓰임새(PERT, 과분산, 다항식 카오스)를 다룬다. 다변량판은 디리클레 분포다.

2. 모양

모수 두 개의 크기에 따라 모양이 완전히 바뀐다.

경우	모양
$\alpha = \beta = 1$	균등 분포
$\alpha, \beta > 1$	단봉, 최빈값 $(\alpha-1)/(\alpha+\beta-2)$
$\alpha, \beta < 1$	U 자, 양 끝으로 발산
$\alpha < 1 \le \beta$	0 에서 발산하는 J 자 (반대도 대칭)
$\alpha = \beta = \tfrac12$	아크사인 분포 — 체비쇼프 절점의 극한 밀도
$\alpha = \beta \to \infty$	$\tfrac12$ 근처 정규 분포에 가까워짐

$\mathrm{Beta}(\tfrac12, \tfrac12)$ 의 밀도 $1/(\pi\sqrt{x(1-x)})$ 은 체비쇼프 다항식 절점이 구간 끝으로 몰리는 바로 그 밀도이고, 1차원 랜덤 워크가 양수 쪽에 머문 시간 비율의 극한 분포(레비의 아크사인 법칙)이기도 하다. U 자 모양은 분산이 최대 $\mu(1-\mu)$ 에 가까워지는 경우인데, $\mathrm{Beta}(\tfrac12,\tfrac12)$ 의 분산은 $0.125$ 로 상한 $0.25$ 의 절반이다.

3. 어디서 저절로 나오나

감마의 비. $X \sim \mathrm{Gamma}(\alpha)$, $Y \sim \mathrm{Gamma}(\beta)$ 가 독립이면 $X/(X+Y) \sim \mathrm{Beta}(\alpha, \beta)$ 이고, 놀랍게도 $X + Y$ 와 독립이다. 일정 비율로 일어나는 두 종류 사건의 대기 시간 중 한쪽이 차지하는 비율이 베타라는 뜻이다. 감마 분포에서 베타로, 다시 디리클레로 가는 사다리의 첫 칸이다.

균등 순서 통계량. $U_1, \dots, U_n$ 이 독립 균등 난수이고 $U_{(k)}$ 가 $k$ 번째로 작은 값이면

$$U_{(k)} \sim \mathrm{Beta}(k,\ n - k + 1),\qquad \mathbb E[U_{(k)}] = \frac{k}{n+1}.$$

$U_{(k)} \le p$ 는 「$n$ 개 중 $p$ 이하가 $k$ 개 이상」, 즉 $\mathrm{Bin}(n, p) \ge k$ 와 같은 사건이라 이항 분포 꼬리확률이 불완전 베타 함수가 되는 이유가 이것이다. $n = 10$, $k = 3$ 으로 20만 번 뽑아 보면 표본 평균 0.2726(이론 $3/11 = 0.2727$), $\mathrm{Beta}(3, 8)$ 에 대한 콜모고로프-스미르노프 검정 p 값 0.60 이었다. 연속 분포 $F$ 에서 뽑은 표본의 $k$ 번째 순서 통계량은 $F^{-1}(U_{(k)})$ 이므로, 표본 분위수의 신뢰구간을 분포 가정 없이 이 베타로 만든다. 클로퍼-피어슨 이항 구간도, 몬테카를로 결과의 분위수(예: 95% 응답 상한)에 대한 비모수 구간(윌크스 공식)도 같은 뿌리다.

베이즈 갱신. 균등 사전에서 $n$ 번 중 $k$ 번 성공을 관측한 사후분포가 $\mathrm{Beta}(k+1, n-k+1)$ 이다. 사전 $\mathrm{Beta}(\alpha, \beta)$ 는 「$\alpha - 1$ 번 성공, $\beta - 1$ 번 실패를 미리 본 것」으로 읽힌다(이건 베타 함수 문서 참고).

4. 난수 생성

• 감마의 비. 감마 난수 둘을 뽑아 $X/(X+Y)$. 가장 단순하고 범용이다. 감마 생성기가 좋으면(마사글리아-창) 이것으로 충분하다. $\mathrm{Beta}(\tfrac12, \tfrac12)$ 를 20만 개 뽑아 KS 검정을 하면 p 값 0.79 로 문제없다. 단 $\alpha, \beta$ 가 아주 작으면 감마 난수가 0 으로 언더플로해 $0/0$ 이 나올 수 있다 — 로그 공간 감마 생성으로 우회한다.
• 역변환. $I_x^{-1}(u)$ 를 뉴턴으로 푼다(역변환 표본추출). 준몬테카를로처럼 균등 입력과 출력의 단조 대응이 필요할 때 쓴다. 느리다.
• 욘크(1964). 균등 난수 $U, V$ 로 $X = U^{1/\alpha}$, $Y = V^{1/\beta}$ 를 만들어 $X + Y \le 1$ 이면 $X/(X+Y)$ 를 받아들인다. 받아들일 확률이 $\Gamma(\alpha+1)\Gamma(\beta+1)/\Gamma(\alpha+\beta+1)$ 이다 — $(\tfrac12, \tfrac12)$ 에서 0.785, $(1, 1)$ 에서 0.5, $(2, 2)$ 에서 0.167, $(5, 5)$ 에서 0.004(각 백만 번 시뮬레이션으로 일치 확인). 그래서 두 모수가 모두 1 미만일 때 전용이다.¹
• 쳉(1978)의 BB·BC. 로지스틱형 밀도를 덮개로 쓰는 기각표본추출. BB 는 $\min(\alpha,\beta) > 1$, BC 는 나머지에 쓰며 모수 전 범위에서 받아들일 확률이 유계로 좋다. 많은 라이브러리의 기본이다.

5. 적합 — 적률법과 최우추정

관측 비율 데이터 $x_1, \dots, x_m \in (0,1)$ 에 베타를 맞추는 두 방법.

적률법. 표본 평균 $\bar x$ 와 분산 $s^2$ 로 $c = \bar x(1-\bar x)/s^2 - 1$ 을 만들고 $\hat\alpha = \bar x c$, $\hat\beta = (1-\bar x)c$. 닫힌꼴이라 빠르다. 단 $s^2 \ge \bar x(1-\bar x)$ 이면 $c \le 0$ 이 되어 해가 없다 — 분산이 베타가 낼 수 있는 상한을 넘었다는 뜻이다(데이터에 0·1 이 섞였거나 두 집단이 섞인 경우).

최우추정. 로그우도의 정류 조건이

$$\psi(\alpha) - \psi(\alpha+\beta) = \overline{\log x},\qquad \psi(\beta) - \psi(\alpha+\beta) = \overline{\log(1-x)}$$

이다. $\psi$ 는 디감마 함수. 충분통계량이 $\log x$ 와 $\log(1-x)$ 의 평균이라 양 끝 근처 값에 민감하다. 적률법 결과를 초기값으로 뉴턴을 돌리면(헤시안에 삼감마 함수) 몇 번에 수렴한다. $\mathrm{Beta}(2, 5)$ 에서 50 개를 뽑은 한 실험에서 적률법은 $(1.80, 3.64)$, 최우추정은 $(1.91, 3.83)$ 이었다. 데이터에 정확히 0 이나 1 이 있으면 $\log 0$ 때문에 최우추정이 정의되지 않는다. 실무에서는 $(x(m-1) + \tfrac12)/m$ 같은 압축 변환으로 끝을 살짝 안쪽으로 당긴다.² 디리클레 쪽의 같은 고정점·뉴턴 이야기는 디리클레 분포에 있다.

6. 시뮬레이션에서

6.1. PERT — 세 점 추정

일정·비용 불확실성 시뮬레이션의 PERT(1959, 폴라리스 미사일 개발 일정 관리에서 유래)는 작업 기간을 최솟값 $a$, 최빈값 $m$, 최댓값 $b$ 세 숫자로 받아 베타로 만든다. 현재 흔히 쓰는 「PERT 분포」는

$$\alpha = 1 + 4\frac{m-a}{b-a},\qquad \beta = 1 + 4\frac{b-m}{b-a}$$

를 $[a, b]$ 로 늘린 베타다. 이 모수는 최빈값이 정확히 $m$ 이고 평균이 $(a + 4m + b)/6$ 이 되도록 고른 것이다. $a = 0$, $m = 2$, $b = 10$ 이면 $\alpha = 1.8$, $\beta = 4.2$, 평균 3.0, 최빈값 2.0 으로 맞는다. 원 논문의 표준편차 $(b-a)/6$ 은 베타 가정에서 정확히 나오는 값이 아니라 근사이고, 이 근사가 꼬리 위험을 과소평가한다는 비판이 오래됐다³.

6.2. 과분산 — 베타-이항

이항 분포의 $p$ 자체가 실험마다 $\mathrm{Beta}(\alpha, \beta)$ 로 흔들리면 성공 횟수는 베타-이항 분포가 되고, 분산이

$$np(1-p)\cdot\frac{\alpha+\beta+n}{\alpha+\beta+1}$$

로 커진다. $n = 20$, $\mathrm{Beta}(2, 8)$ 이면 평균 $p = 0.2$ 인 이항의 분산 3.2 가 8.73 으로 2.73 배가 된다. 로트(lot)마다 불량률이 다른 품질 데이터, 개체마다 반응 확률이 다른 생물 실험처럼 「이항이라기엔 너무 퍼진」 데이터의 표준 모형이다. 포아송 쪽의 같은 구조(감마-포아송 = 음이항)는 감마 분포에 있다.

6.3. 다항식 카오스 — 야코비 기저

불확실성 정량화의 다항식 카오스 전개 전개는 입력 분포에 직교하는 다항식을 기저로 쓴다(시우·카니아다키스 2002 의 위너-아스키 체계). 정규 입력엔 에르미트, 균등엔 르장드르, 그리고 베타 입력엔 야코비 다항식 $P_n^{(\beta-1,\,\alpha-1)}$ 이 짝이다(구간 $[-1, 1]$ 로 옮긴 관례). 물성값·비율처럼 물리적으로 유계인 입력을 정규로 모델링하면 음수나 1 초과 값이 표본에 들어와 시뮬레이터가 터지는데, 베타 입력 + 야코비 기저는 이 문제를 원천 차단한다. 해당 가우스-야코비 구적점이 곧 확률적 배치 절점이다.

7. 관련 문서

• 베타 함수 · 감마 분포 · 디리클레 분포 · 이항 분포 · 켤레사전분포 · 감마 함수 · 디감마 함수
• 역변환 표본추출 · 기각표본추출 · 난수 생성기 · 최대우도추정
• 불확실성 정량화 · 다항식 카오스 전개 · 체비쇼프 다항식 · 야코비 다항식
• 순서 통계량 · 베타-이항 분포

8. Footnotes

1. 욘크 방법을 $(5, 5)$ 에 쓰면 난수 250 쌍을 뽑아야 하나를 건진다. 「코드가 짧으니 이걸로 통일하자」는 리팩터링이 성능 회귀의 주범이 되는 고전적 장면. 모수 범위별로 알고리즘을 갈아 끼우는 라이브러리 코드가 지저분해 보이는 데는 다 이유가 있다. ↩

2. 설문 응답률·점유율 데이터에 정확히 0% 나 100% 가 하나라도 있으면 베타 최우추정이 $-\infty$ 로 날아간다. 「데이터 하나 때문에 적합이 안 돼요」 질문의 절반이 이것. 0 과 1 이 많다면 베타가 아니라 0·1 팽창(zero-one inflated) 베타 같은 혼합 모형이 맞는 처방이다. ↩

3. 세 점 추정의 「최댓값 $b$」를 실무자에게 물어보면 대개 「최악이라 해도 이 정도」라는 낙관적 최댓값이 돌아온다. 분포 꼬리를 아무리 정교하게 모델링해도 입력이 이미 희망 회로라, 일정 초과는 수학이 아니라 인간 쪽에서 발생한다. ↩