신뢰구간

1. 개요

신뢰구간 Confidence interval
정의	참값을 덮을 확률이 $1-\alpha$ 인 구간 만드는 절차의 결과물
확률의 주어	구간(데이터에 따라 바뀜), 모수가 아님
대표	$\bar x\pm t_{n-1,\,0.975}\,s/\sqrt n$
체계화	네이만 (1937)
단골 함정	비대칭 분포, 자기상관 표본, 여러 구간 동시 해석
베이즈 쪽 짝	신용구간 (사후분포의 구간)

「이 구간에 참값이 있을 확률 95%」가 아니다. 「이렇게 만든 구간들의 95%가 참값을 덮는다」다.

신뢰구간(confidence interval)은 데이터로부터 구간 $[L(X), U(X)]$ 를 만드는 규칙으로, 모수의 참값 $\theta$ 가 무엇이든

$$P_\theta\big(L(X) \le \theta \le U(X)\big) \ge 1 - \alpha$$

가 성립하도록 설계된 것이다. $1 - \alpha$ 를 신뢰수준, 실제 확률을 피복확률(coverage probability)이라 한다. 네이만(1937)이 이 틀을 세웠다.

이 정의에서 확률을 가진 것은 구간이다. 데이터 $X$ 가 무작위라 구간이 무작위이고, $\theta$ 는 고정된 미지수다. 데이터를 받아 구간이 $[2.1, 3.4]$ 로 정해지고 나면 「$\theta$ 가 여기 있을 확률」은 빈도주의 틀에서는 0 아니면 1 이라 말할 수 없다. 이 미묘함을 무시하고 「95% 확률로 참값이 이 안에 있다」고 읽는 것이 가장 흔한 오해이고, 그렇게 읽고 싶다면 사전분포를 놓고 베이즈 신용구간(credible interval)을 계산해야 한다.¹

시뮬레이션에서 신뢰구간이 필요한 자리는 생각보다 많다. 몬테카를로 방법의 추정값에 붙이는 오차 막대, 난류 시간평균의 불확실성, 실험과 해석의 비교(검증 및 확인), 확률적 알고리즘의 성능 비교 — 전부 「이 숫자를 얼마나 믿을 수 있나」의 정량화다. 이항 비율의 구간(왈드·윌슨·클로퍼-피어슨)은 이항 분포 문서가, 부트스트랩 구간의 종류는 부트스트랩 문서가 다뤘으므로, 여기서는 구간을 만드는 원리와 피복확률이 실제로 깨지는 상황을 다룬다.

2. 만드는 원리 — 피벗과 검정 뒤집기

피벗. 데이터와 모수의 함수인데 분포가 모수에 의존하지 않는 양을 찾는다. 정규 표본이면

$$T = \frac{\bar X - \mu}{S/\sqrt n} \sim t_{n-1}$$

이 피벗이다. $P(\lvert T\rvert \le t_{n-1,\,1-\alpha/2}) = 1 - \alpha$ 를 $\mu$ 에 대해 풀면 익숙한 $\bar x \pm t\,s/\sqrt n$ 이 나온다. 분산을 모르는 대가가 $z = 1.96$ 대신 $t$ 분위수다($n = 10$ 이면 2.262).

검정 뒤집기. 각 후보값 $\theta_0$ 에 대해 수준 $\alpha$ 검정 「$H_0: \theta = \theta_0$」를 하고, 기각되지 않는 $\theta_0$ 의 집합을 구간으로 삼는다. 이렇게 만든 집합은 자동으로 피복확률 $1 - \alpha$ 를 갖는다. 검정과 구간이 같은 동전의 양면이라는 뜻이고, 피벗이 없는 문제에서는 이것이 일반적인 구성법이다. 이항 비율의 윌슨 구간이 점수 검정을 뒤집은 것이다.

우도 기반. 최대우도추정량 $\hat\theta$ 와 피셔 정보로 만든 왈드 구간 $\hat\theta \pm z\sqrt{I(\hat\theta)^{-1}}$ 은 계산이 싸지만 매개변수화에 따라 결과가 바뀌고 경계 근처에서 나빠진다. 우도비 검정을 뒤집은 프로파일 우도 구간 $\{\theta: 2[\ell(\hat\theta) - \ell(\theta)] \le \chi^2_{1,1-\alpha}\}$ 은 매개변수화에 불변이고 비대칭 구간을 자연스럽게 낸다. 비선형 회귀나 모델 보정에서 모수 구간을 낼 때는 이쪽이 정직하다.

3. 피복확률은 약속이 아니라 주장이다 — 비대칭 분포

$t$ 구간의 95% 는 정규 표본일 때 정확하다. 정규가 아니면 중심극한정리에 기대는 근사일 뿐이고, 표본이 작고 분포가 비대칭이면 크게 빗나간다. 평균 구간의 실제 피복확률을 시뮬레이션으로 쟀다(반복 4000회, 몬테카를로 표준오차 약 ±0.004; $n = 100$ 은 2000회):

모집단	$n$	$t$ 구간	$z$ 구간 (1.96)	부트스트랩 백분위
정규	10	0.948	0.914	0.894
정규	30	0.944	0.934	0.928
로그정규 $\sigma = 1$	10	0.835	0.804	0.798
로그정규 $\sigma = 1$	30	0.880	0.870	0.871
로그정규 $\sigma = 1$	100	0.918	0.916	0.920
로그정규 $\sigma = 1.5$	30	0.780	0.770	0.784
로그정규 $\sigma = 1.5$	100	0.840	0.837	0.846

읽을 거리 셋:

1. 정규 소표본에서 $z$ 를 쓰면 손해다. $n = 10$ 에서 91.4%. 「표본이 작으면 $t$」는 형식이 아니라 3.4%p 의 차이다.
2. 꼬리가 무거우면 $n = 100$ 도 모자란다. $\sigma = 1.5$ 로그정규에서 명목 95% 구간이 84% 만 덮는다. 표본평균이 드물게 나오는 큰 값에 끌려 다니는데, 소표본에서는 그 큰 값이 아예 안 뽑힌 경우가 많아 구간이 체계적으로 낮게 잡힌다.
3. 부트스트랩 백분위 구간이 구원투수는 아니다. 같은 표본에 기대는 한 같은 약점을 공유한다. 비대칭 보정이 들어간 BCa·스튜던트화 부트스트랩이나, 로그 변환 뒤 구간을 만들어 되돌리는 쪽이 낫다. 파괴 하중·수명·강수량처럼 로그정규·와이블 꼴인 공학 데이터가 정확히 이 상황이다.

교훈: 어떤 구간 공식이든 그 데이터 생성 과정에서 피복확률을 시뮬레이션으로 한 번 재 보는 것이 공식을 믿는 것보다 싸다.

4. 상관된 표본 — 시뮬레이션 출력의 함정

$s/\sqrt n$ 은 표본이 독립이라는 가정에서 나온다. 시뮬레이션 출력은 대개 독립이 아니다. 마르코프 연쇄 몬테카를로의 연쇄, 분자동역학·난류 LES 의 시계열, 대기행렬 시뮬레이션의 대기 시간이 모두 자기상관을 갖는다.

자기회귀 계수 $\phi = 0.9$ 인 AR(1) 시계열 $n = 10^4$ 개로 평균 $0$ 의 95% 구간을 1000번 만들어 보면:

방법	피복확률	표준오차 비
독립 가정 $s/\sqrt n$	0.343	1
배치 평균(배치 50개 × 200)	0.951	4.22
이론값 $\sqrt{(1+\phi)/(1-\phi)}$	—	4.36

독립을 가정하면 표준오차를 4배 넘게 과소평가해 「95% 구간」이 3분의 1 만 덮는다. 오차 막대가 실제보다 네 배 좁게 그려진 그래프로 「두 설계안의 차이가 유의하다」는 결론이 나오는 것이 이 함정이다.² 해법은 표준오차를 상관을 반영해 다시 계산하는 것이다.

• 배치 평균법. 시계열을 길이 $b$ 의 배치로 나눠 배치 평균들을 (거의) 독립 표본으로 취급한다. 배치 길이가 상관 시간보다 충분히 길어야 하고, 배치 수가 적으면 $t$ 분위수를 쓴다. 위 실험에서 4.22 가 이론값 4.36 보다 약간 작은 것은 배치 길이 200 이 상관을 완전히 끊지 못한 탓이다.
• 유효표본크기. 적분 자기상관 시간 $\tau$ 로 $n_{\text{eff}} = n/\tau$ 를 추정해 $s/\sqrt{n_{\text{eff}}}$ 를 쓴다. 자세한 것은 유효표본크기. 가이어(1992)는 MCMC 표준오차를 이런 방식으로 추정해 보고하라고 권했다.
• 독립 반복. 시드를 바꾼 독립 실행 $R$ 개의 결과를 $R$ 개의 표본으로 쓴다. 가장 단순하고 가정이 적다. 대신 실행마다 초기 과도 구간(번인)을 버려야 하므로 계산이 아깝다.

5. 여러 구간을 볼 때

• 겹침은 검정이 아니다. 두 평균의 95% 구간이 겹쳐도 차이는 5% 수준에서 유의할 수 있다. 두 구간의 반폭이 같으면 차이의 표준오차는 $\sqrt2$ 배라, 「겹치지 않음」은 실제로는 대략 0.6% 수준의 훨씬 엄격한 검정에 해당한다(셴커·젠틀먼 2001).³ 차이를 묻고 싶으면 차이의 구간을 직접 만든다.
• 동시 피복. 매개변수 20개에 각각 95% 구간을 붙이면, 독립일 때 전부가 참값을 덮을 확률은 $0.95^{20} \approx 0.36$ 이다. 동시에 해석할 거면 본페로니($\alpha/k$) 같은 보정이나 동시 신뢰대역을 쓴다. 곡선 전체에 띠를 두를 때(응답 곡면, 보정된 모델의 예측 곡선) 점별 구간을 이어 그리면 띠가 너무 좁다.
• 신뢰구간 ≠ 예측 구간. 평균의 구간은 $n$ 이 늘면 $1/\sqrt n$ 으로 줄지만, 다음 관측 하나가 들어갈 구간(예측 구간)은 $\bar x \pm t\,s\sqrt{1 + 1/n}$ 이라 $n \to \infty$ 에서도 $\pm 1.96\sigma$ 아래로 줄지 않는다. 「시험 100번 했더니 구간이 아주 좁다」를 「다음 제품도 그 안에 들어온다」로 읽으면 안 된다.

6. 신용구간과의 관계

베이즈 신용구간은 사후분포 $p(\theta\mid x)$ 에서 확률 $1 - \alpha$ 를 담는 구간이라, 「데이터를 봤을 때 $\theta$ 가 이 안에 있을 확률」이라는 직관적 해석이 그대로 성립한다. 대가는 사전분포를 정해야 한다는 것이다. 정규 평균에 평평한 사전분포를 주면 신용구간이 $t$ 구간과 수치적으로 똑같이 나오는 등, 많은 정규 근사 상황에서 둘은 거의 일치한다. 차이가 벌어지는 곳은 소표본·경계 근처 모수·강한 사전정보가 있는 경우이고, 그때는 어느 구간이 무엇을 약속하는지 명시해서 보고해야 한다.

7. 관련 문서

• 중심극한정리 · 부트스트랩 · 이항 분포 · 최대우도추정 · 피셔 정보
• 몬테카를로 방법 · 마르코프 연쇄 몬테카를로 · 유효표본크기 · 배치 평균법 · 검증 및 확인
• 가설검정 · 신용구간 · 예측 구간 · 순서 통계량

8. Footnotes

1. 모리 등(2016)은 「신뢰구간에 대한 오해」를 정리하며, 신뢰구간의 폭이 추정의 정밀도를 말해 준다는 직관조차 일반적으로는 보장되지 않는 반례를 들었다. 통계학자들끼리도 이 얘기만 나오면 댓글창이 길어진다. ↩

2. 몬테카를로 결과의 오차 막대가 「시드 하나로 돌린 시계열의 $s/\sqrt n$」인 논문은 생각보다 흔하다. 이 문서의 AR(1) 표를 보면 그 오차 막대가 몇 배 부풀려 믿음직해 보이는지 감이 올 것이다. ↩

3. 리뷰에서 「오차 막대가 겹치니 차이 없음」이라는 코멘트를 받으면, 차이의 구간을 직접 그려 보여 주는 게 국룰 대응이다. 반대로 겹치지 않는다고 기뻐하는 쪽은 사실 필요 이상으로 엄격한 기준을 통과한 셈이라 손해 본 게 없다. ↩