베이즈 정보 기준

1. 개요

베이즈 정보 기준 Bayesian Information Criterion
약칭	BIC · 슈바르츠 기준(SC/SIC)
정의	BIC = −2 log L̂ + k log n
제안	Gideon Schwarz (1978), Annals of Statistics
근사 대상	2 log(주변가능도), 오차 O(1)
점근 성질	일관성 — 참모형 선택확률 → 1
숨은 사전분포	단위정보 사전분포 (Kass–Wasserman 1995)
제일 위험한 글자	n

베이즈 정보 기준(Bayesian Information Criterion, BIC)은 적합된 모형의 최대 로그가능도에 표본 크기의 로그를 실은 벌점을 더해 모형을 줄 세우는 척도로, 주변가능도의 로그를 라플라스 근사로 전개했을 때 남는 두 개의 항이 그 정체다.

$$\mathrm{BIC} = -2\log L(\hat\theta) + k\log n$$

작을수록 좋다는 관습도, $-2\log L$ 이라는 이탈도 눈금도 아카이케 정보기준과 같다. 다른 것은 딱 하나, 벌점의 계수가 $2$ 가 아니라 $\log n$ 이라는 점이다. 그리고 이 한 글자 차이가 유도의 출발점부터 세계관까지 전부 다르다는 사실을 가린다. AIC는 예측오차의 편향보정에서 나왔고, BIC는 베이즈 인수에서 나왔다. 우연히 비슷하게 생겼을 뿐 같은 계보가 아니다.

AIC와의 정면 비교표(효율성 대 일관성, 어느 쪽이 언제 유리한가)는 아카이케 정보기준 문서에 있다. 이 문서는 BIC 쪽에서만 보이는 것들 — 유도에 실제로 들어간 가정, 그 가정이 깨지는 지점, 그리고 실무자가 거의 항상 잘못 세는 $n$ — 을 다룬다.

2. 라플라스 근사에서 두 항이 떨어져 나온다

베이즈적으로 모형 $M$ 을 평가하는 정공법은 모수를 적분해 없앤 주변가능도다.

$$m(y \mid M) = \int L(\theta)\,\pi(\theta)\,d\theta$$

두 모형의 이 값의 비가 베이즈 인수이고, 사전 모형확률이 같으면 사후 모형확률의 비가 된다. 문제는 이 적분이 대부분 안 풀린다는 것. 그래서 피적분함수의 로그를 최대우도추정값 $\hat\theta$ 근처에서 2차까지 전개한다(라플라스 근사. 사후최빈값을 전개점으로 잡아도 차이는 뒤에서 버릴 $O(1)$ 안에 묻힌다).

$$\log m \;\approx\; \log L(\hat\theta) + \log\pi(\hat\theta) + \frac{k}{2}\log 2\pi - \frac{1}{2}\log\det \mathcal{I}_n(\hat\theta)$$

여기서 $\mathcal{I}_n = -\nabla^2\log L(\hat\theta)$ 는 표본 $n$ 개에 대한 관측정보다. 결정타는 다음 한 줄이다. iid 표본이면 정보가 표본 수에 비례해 자란다 — $\mathcal{I}_n \approx n\bar{\mathcal{I}}$ — 따라서 $k\times k$ 행렬식은 $n^k$ 만큼 커진다.

$$-\frac{1}{2}\log\det \mathcal{I}_n = -\frac{k}{2}\log n - \frac{1}{2}\log\det\bar{\mathcal{I}}$$

$n$ 과 함께 자라는 항만 남기고 나머지를 $O(1)$ 로 버린 뒤 $-2$ 를 곱하면 정확히 BIC가 나온다. 즉 $\mathrm{BIC} \approx -2\log m$ 이며, 사전분포 $\pi$ 는 $\log\pi(\hat\theta)$ 라는 $O(1)$ 항에만 등장하고 버려진다. 여기서 BIC의 유명한 매력 — “사전분포를 안 정해도 된다” — 이 나온다.

그런데 같은 문장이 BIC의 가장 심각한 한계이기도 하다. 버린 항이 $O(1)$ 이라는 말은 $n\to\infty$ 에서도 사라지지 않는다는 뜻이다. $\exp(-\mathrm{BIC}/2)$ 는 주변가능도에 수렴하지 않고, 상수배만큼 어긋난 채로 남는다. 상대오차가 0으로 가지 않으므로 BIC 차이를 베이즈 인수의 수치로 그대로 보고하면 안 된다. 모형의 순위를 정하는 데는 $O(1)$ 오차가 결국 $k\log n$ 에 압도되어 문제가 없지만, “증거의 세기가 몇 배”라고 말하는 순간 버린 항이 되살아난다.¹

3. $k\log n$ 은 얼마나 특별한가

벌점을 $a_n k$ 라 두고 일반화해 보면 사정이 더 선명해진다. 니시이(1984) 등의 결과는, 참모형이 후보 집합 안에 있는 표준적 상황에서 모형 선택이 일관적(참모형 선택확률 $\to 1$)이려면 두 조건이 필요하다는 것이다.

$$a_n \to \infty \quad\text{(과대적합 방지)}, \qquad \frac{a_n}{n} \to 0 \quad\text{(과소적합 방지)}$$

$a_n = 2$ (AIC)는 첫 조건을 깨서 일관적이지 않고, $a_n = \log n$ (BIC)은 둘 다 만족한다. 하지만 만족하는 것이 $\log n$ 뿐인 것은 결코 아니다. $\sqrt{n}$ 도, $\log\log n$ 의 상수배도 조건을 만족한다. 한난과 퀸(1979)이 자기회귀 차수 선택에서 제안한

$$\mathrm{HQC} = -2\log L(\hat\theta) + 2ck\log\log n \quad (c>1)$$

는 반복로그 법칙이 허용하는 거의 가장 느린 일관적 벌점이고, 실제로 중간 크기 표본에서 BIC보다 덜 인색하다. 요컨대 일관성은 $\log n$ 을 지목하지 않는다. $\log n$ 을 지목한 것은 일관성이 아니라 주변가능도 근사다. 이 구분을 흐리면 “BIC가 이론적으로 옳은 벌점”이라는 과장에 빠진다.

4. 사전분포를 안 정한 게 아니라 몰래 정한 것

카스와 워서먼(1995)은 BIC가 정확히 어떤 사전분포에 대응하는지를 못 박았다. 평균이 $\hat\theta$ 이고 공분산이 관측 하나가 주는 정보의 역행렬인 다변량 정규 사전분포, 즉 단위정보 사전분포(unit-information prior)를 쓰면 라플라스 근사의 $O(1)$ 항이 정확히 상쇄되어 $-2\log m = \mathrm{BIC} + o(1)$ 이 된다.

이 해석은 두 가지를 알려준다. 첫째, BIC는 사전분포로부터 자유로운 것이 아니라 “관측 한 개어치의 정보만큼만 아는 사람”이라는 특정한 사전분포를 기본값으로 박아둔 것이다. 둘째, 그 사전분포는 상당히 넓다. 진짜 사전 정보가 그보다 훨씬 강하거나(공학 모형의 물리 상수) 훨씬 약하면(사실상 아무것도 모름) BIC의 벌점 강도는 그 상황에 맞춰진 값이 아니다. 사전분포를 진지하게 다루고 싶으면 켤레사전분포나 제프리스 사전분포를 넣고 주변가능도를 직접 계산하는 쪽이 정직하다 — 단, 부적절 사전분포는 정규화 상수가 임의라서 베이즈 인수 자체가 정의되지 않는다는 함정이 기다린다.

5. $n$ 이 도대체 무엇이냐

BIC를 실무에서 틀리게 만드는 원인은 대부분 $k$ 가 아니라 $n$ 이다. 유도를 다시 보면 $k\log n$ 은 $\log\det\mathcal{I}_n$ 의 대역품이었고, 그 대역이 성립하려면 모든 모수의 정보가 똑같이 $O(n)$ 으로 자라야 한다. 이 전제가 깨지는 상황이 생각보다 흔하다.

• 결정론적 추세가 있는 시계열. $y_t = \beta t + \varepsilon_t$ 에서 $\sum_{t\le n} t^2 \sim n^3/3$ 이므로 $\beta$ 의 정보는 $n$ 이 아니라 $n^3$ 으로 자란다. 이 모수의 올바른 벌점은 $\log n$ 이 아니라 $3\log n$ 이다. 단위근·공적분처럼 초일치(superconsistent) 추정이 섞이면 좌표마다 자라는 속도가 다르므로, $k\log n$ 이라는 한 덩어리 벌점 자체가 성립하지 않는다. 정직한 형태는 처음부터 $\log\det\mathcal{I}_n(\hat\theta)$ 를 그대로 쓰는 것이다.
• 계층 모형·혼합효과 모형. 개체 $n$ 명에게서 각 $m$ 번씩 측정한 자료에서 집단 수준 모수는 $nm$ 개 관측이 아니라 사실상 $n$ 개 집단만큼의 정보만 본다. 총 관측수를 $n$ 에 넣으면 집단 수준 모수를 과하게 벌하고, 집단 수만 넣으면 개체 내 모수를 과소 벌한다. 폴러(1998)는 모수 블록마다 다른 유효 표본크기를 쓰는 수정을, 볼린스키와 래프터리(1997)는 생존분석에서 피험자 수가 아니라 미중도절단 사건 수를 $n$ 으로 쓸 것을 제안했다. 소프트웨어가 뱉는 BIC가 어느 쪽을 세었는지는 대개 문서에 안 적혀 있다.²
• 상관된 자료. 공간·시계열 자료에서 이웃 관측이 서로 거의 같은 말을 하고 있으면 실제 정보량은 $n$ 보다 훨씬 작다. 이때 $\log n$ 벌점은 있지도 않은 정보를 근거로 모형을 깎는 셈이라, 되레 과소적합 쪽으로 치우친다.
• 특이 모형. 혼합모형·은닉 마르코프 모형·신경망처럼 참값에서 피셔 정보 행렬이 특이해지는 모형에서는 라플라스 근사의 전제(비특이 2차 근사)가 아예 깨진다. 와타나베의 특이학습이론은 이때 벌점이 $\tfrac{k}{2}\log n$ 이 아니라 $\lambda\log n$ 이며 $\lambda$ 는 실 로그정준 문턱값($\lambda \le k/2$)임을 보였고, 그 자리를 메우려고 나온 것이 WBIC와 sBIC다. 성분 수를 고르려고 혼합모형에 BIC를 쓰는 것이 워낙 국룰이라 잊히지만, 그 상황이 바로 유도가 성립하지 않는 상황이다.

6. 실무에서 쓸 때

값 자체는 의미가 없고 같은 자료 위 모형들의 차이만 의미가 있다는 원칙은 AIC와 같다. 차이를 베이즈 인수 눈금으로 읽는 관행이 카스-래프터리(1995) 척도인데, $\Delta\mathrm{BIC} = \mathrm{BIC}_j - \mathrm{BIC}_i$ 를 $2\log B_{ij}$ 의 근사로 보고 $0\sim2$ 는 언급할 가치 없음, $2\sim6$ 은 양성, $6\sim10$ 은 강함, $10$ 초과는 매우 강함으로 읽는다. 어디까지나 눈금이지 검정의 임계값이 아니고, 앞서 말한 $O(1)$ 오차 때문에 경계 근처의 판정은 믿을 게 못 된다.

$\Delta$ 에 지수를 씌워 정규화한 슈바르츠 가중치 $w_i \propto \exp(-\Delta_i/2)$ 는 형태가 아카이케 가중치와 똑같지만 해석이 다르다. 이쪽은 사전 모형확률이 균등할 때의 사후 모형확률의 근사로 읽을 수 있고, 그래서 베이지안 모형 평균(BMA)의 값싼 구현으로 자주 쓰인다. 물론 후보 집합 바깥은 여전히 못 본다.

나머지 잔소리는 AIC와 공유한다. $k$ 에 분산 모수도 세고, 로그가능도의 상수항을 임의로 버리지 말고, 반응변수의 눈금이 다른 모형끼리는 비교하지 말 것. 축소가 들어간 능형회귀·라쏘 적합에서 $k$ 자리에 무엇을 넣을지가 애매한 것도 마찬가지다. 다만 BIC에는 고유한 함정이 하나 더 있는데, $n$ 이 다른 자료끼리 비교하는 것이 원리적으로 금지라는 점이다. 결측 처리 방식이 달라 유효 관측수가 달라진 두 적합의 BIC를 나란히 놓는 사고가 실무에서 꾸준히 재발한다.³

7. 어느 쪽을 원하는가

정리하면 BIC를 고르는 것은 다음 두 문장에 동의한다는 선언이다. (1) 참모형이 후보 목록 안에 유한 차원으로 존재한다. (2) 목표는 예측이 아니라 그 참모형을 집어내는 것이다. 물리적으로 존재하는 항을 찾는 문제 — 스펙트럼에 봉우리가 몇 개인가, 자기회귀 차수가 몇인가, 어느 반응경로가 실제로 활성인가 — 라면 합리적인 선언이다.

반대로 참이 무한 차원이거나(자연현상 대부분) 애초에 후보 밖이면, 첫 문장이 거짓이므로 일관성은 성립할 대상이 없다. 그때 BIC는 “참을 맞히는 기준”이 아니라 그냥 AIC보다 인색한 기준으로 행동하고, 표본이 커질수록 지나치게 단순한 모형을 고집한다. 교차검증이 이 대립을 폴드 크기라는 하나의 손잡이로 번역해 준다는 점(검증 비율을 키우면 BIC 쪽 성질로 이동)은 아카이케 정보기준 문서에서 다뤘다. 모형 선택을 자동화하기 전에 어느 쪽 질문을 하고 있는지부터 적어 두는 편이 낫다.⁴

8. 관련 문서

• 아카이케 정보기준 · 최대우도추정 · 교차검증
• 피셔 정보 · 쿨백-라이블러 발산 · 크라메르-라오 하한
• 켤레사전분포 · 제프리스 사전분포 · 베이즈 인수
• 변분 추론 · 마르코프 연쇄 몬테카를로
• 일반화 선형 모형 · 능형회귀 · 라쏘 · 편향-분산 분해
• 은닉 마르코프 모형 · k-평균 군집화 · 모형 선택
• 불확실성 정량화 · 통계

9. Footnotes

1. 그래서 “BIC 차이가 12니까 베이즈 인수가 $e^{6}\approx 400$ 배”라고 쓴 문장은 절반만 맞다. 순위는 믿어도 되지만 배수는 사전분포와 버린 항에 따라 몇 배씩 흔들린다. 배수를 정말로 보고해야 한다면 브리지 표본추출이나 열적분 같은 방법으로 주변가능도를 직접 추정하는 수밖에 없고, 그건 값이 싸지 않다. ↩

2. 그래서 같은 혼합효과 모형을 R의 lme4, SAS PROC MIXED, Stata에 각각 넣으면 BIC가 서로 다르게 나오는 일이 생긴다. 버그가 아니라 $n$ 을 세는 정책이 다른 것이다. 논문 심사에서 “BIC가 왜 다르냐”는 질문을 받으면 대개 이 이야기를 해야 한다. ↩

3. 결측이 있는 변수를 추가한 모형이 관측 200개, 뺀 모형이 250개로 적합되었는데 BIC 표에는 두 숫자가 나란히 적혀 있는 상황. $\log n$ 이 다르니 벌점 눈금이 다르고, 애초에 가능도가 서로 다른 자료에 대한 것이라 비교 자체가 성립하지 않는다. 이건 BIC의 문제가 아니라 표를 만든 사람의 문제다. ↩

4. 참고로 슈바르츠의 1978년 원논문은 두 쪽 반이고, 지수족과 특정 형태의 사전분포를 가정한 상태에서 유도를 끝낸다. 지금 소프트웨어가 아무 모형에나 붙여 주는 그 숫자보다 원래 주장의 사정거리는 훨씬 짧았다. 유명해진 공식이 원논문보다 넓게 쓰이는 일이야 흔하지만, 이 경우는 그 간격이 특히 크다. ↩