중심극한정리

1. 개요[편집]

중심극한정리 Central Limit Theorem
약칭	CLT
고전형	린데베르그-레비 (독립·동일분포, 유한분산)
수렴 속도	베리-에센 정리 — O(1/√n)
확장	린데베르그 조건, 마팅게일 CLT
깨지는 곳	무한분산(안정분포), 대편차 영역

오차 막대에 $\pm 2\sigma/\sqrt{N}$ 을 찍는 순간 당신은 이 정리를 인용한 것이다. 문제는 그게 언제 거짓말을 하는지 아무도 안 알려 준다는 것.

중심극한정리(central limit theorem, CLT)는 평균 $\mu$, 유한분산 $\sigma^2$ 를 갖는 독립·동일분포 확률변수 $X_1,\dots,X_n$ 의 표본평균이, 원래 분포가 무엇이든 상관없이 정규분포로 수렴한다는 정리다. 린데베르그-레비 형태로 쓰면

$$\sqrt{n}\,\frac{\bar{X}_n - \mu}{\sigma} \;\xrightarrow{\;d\;}\; \mathcal{N}(0,1)$$

이다. 시뮬레이션 하는 사람에게 이 정리는 교양이 아니라 작업 도구다. 몬테카를로 방법의 오차 막대, 신뢰구간, 필요 표본 수 산정, 유효표본크기 개념, 수렴 판정 — 전부 CLT 위에 서 있다. 그래서 이 문서는 정리의 증명보다 어디까지 믿어도 되는가에 무게를 둔다.

2. 고전적 형태와 그 조건[편집]

전제는 세 가지뿐이다. 독립, 동일분포, 그리고 유한한 분산. 분포 모양에 대한 요구는 없다. 균등분포든 지수분포든 이산분포든, 분산만 유한하면 표본평균은 결국 정규분포로 간다.

여기서 자주 오해되는 지점 두 가지를 짚자.

• CLT는 표본평균의 분포에 관한 것이지 개별 표본의 분포에 관한 것이 아니다. 데이터 히스토그램은 아무리 표본을 늘려도 원래 분포 모양 그대로다.
• 수렴은 분포수렴(누적분포함수의 점별 수렴)이지 밀도의 균등수렴이 아니다. 이 차이가 뒤에 나올 “꼬리는 늦게 수렴한다”의 씨앗이다.

“$n \ge 30$이면 정규근사 OK”라는 통계 입문서 국룰은 대칭적이고 얌전한 분포에서만 맞는다. 비대칭이 심하면 $n$ 이 수천이어도 근사가 어긋나며, 그 정도를 정량화해 주는 것이 다음 절이다.

3. 수렴 속도 — 베리-에센[편집]

CLT는 극한만 말해 줄 뿐 “얼마나 빨리”는 말해 주지 않는다. 그 빈칸을 채우는 것이 베리-에센 정리다. $\rho = \mathbb{E}\lvert X - \mu\rvert^3$ 가 유한하면

$$\sup_x \left\lvert F_n(x) - \Phi(x) \right\rvert \;\le\; \frac{C\,\rho}{\sigma^3\sqrt{n}}$$

가 성립한다. 요점은 세 가지다. 첫째, 수렴 속도가 $n^{-1/2}$ 라는 것. 표본을 100배 늘려야 근사 오차가 10분의 1이 된다. 둘째, 오차 크기를 지배하는 것이 $\rho/\sigma^3$, 즉 대략 비대칭도라는 것 — 왜곡된 분포일수록 정규근사가 늦다. 셋째, 상수 $C$ 는 분포와 무관한 보편 상수라는 것.

그 $C$ 의 정확한 값은 아직 미해결 문제다. 현재 알려진 상한은 대략 $C \le 0.4690$ 수준이고, 아래로부터의 한계는 대략 $0.4097$ 이다. 그 사이 어딘가에 참값이 있다는 것까지만 알려져 있다.¹ 참고로 독립이되 동일분포가 아닌 경우의 상수는 이보다 조금 크다.

한 단계 더 정밀한 도구는 에지워스 전개(Edgeworth expansion)로, 정규근사에 $n^{-1/2}$ 차 비대칭도 보정, $n^{-1}$ 차 첨도 보정을 순서대로 붙인다. 부트스트랩의 우수성을 설명할 때 흔히 동원되는 것이 이 전개다.

4. 꼬리는 가장 늦게 수렴한다[편집]

베리-에센은 절대오차의 균등 상한이다. 그런데 시뮬레이션에서 정작 궁금한 것은 $P(\bar X_n > x)$ 같은 꼬리 확률이고, 이건 절대오차가 아니라 상대오차로 따져야 의미가 있다. $10^{-6}$ 짜리 확률을 추정하는데 절대오차가 $10^{-3}$ 이면 그 근사는 쓸모가 없다.

대편차 영역에서 정규근사가 얼마나 어긋나는지는 크라메르(Cramér) 정리가 말해 준다. 고정된 $x > \mu$ 에 대해

$$-\frac{1}{n}\log P(\bar X_n \ge x) \;\longrightarrow\; I(x)$$

이고, 여기서 $I$ 는 누율생성함수의 르장드르 변환인 레이트 함수다. 정규근사는 $I$ 자리에 이차식 $(x-\mu)^2/2\sigma^2$ 을 대입한 것과 같은데, 원분포가 정규분포가 아니면 두 함수는 다르다. 지수의 인자가 다르면 확률의 비가 $n$ 에 대해 지수적으로 벌어진다. 즉 꼬리에서는 CLT 근사가 조금 틀리는 게 아니라 자릿수 단위로 틀린다.

중간 지대(moderate deviation)에는 정량적 경계가 있어서, 대략 $x_n = o(n^{1/6})$ 표준편차 이내에서는 상대오차가 0으로 간다는 것이 알려져 있다. $n = 10^6$ 이면 $n^{1/6} = 10$, 즉 “10 시그마 근방까지”라는 얘기지만, 실제로는 상수 인자 때문에 훨씬 보수적으로 봐야 한다. 실무 교훈은 하나다 — 희귀사건 확률은 CLT로 외삽하지 말고 중요도 표본추출이나 부분집합 시뮬레이션으로 직접 추정하라. 꼬리 자체의 점근 이론은 극값 통계가 따로 다룬다.

5. 유한분산이 없으면[편집]

분산이 무한하면 CLT는 그냥 성립하지 않는다. 대신 일반화된 CLT가 작동해서, 정규화 상수 $n^{1/\alpha}$ 로 나눈 합이 $\alpha$-안정분포(레비 안정분포, $0 < \alpha \le 2$)로 수렴한다. $\alpha = 2$ 가 정규분포이고, $\alpha < 2$ 이면 꼬리가 $x^{-\alpha-1}$ 형태의 멱법칙을 따른다.

가장 유명한 반례가 코시 분포($\alpha = 1$)다. 코시 표본 $n$ 개의 평균은 다시 같은 코시 분포다. 표본을 백만 개 모아도 평균의 산포가 전혀 줄지 않는다. 코시 분포로 몬테카를로를 돌리고 표준오차를 찍으면, 그 오차 막대는 표본이 늘수록 좁아지는 척하다가 이따금 튀는 값 하나에 통째로 뒤집힌다.

실무에서 이 함정은 순수한 코시보다 유한하지만 거대한 분산 형태로 더 자주 나타난다. 중요도 표본추출의 가중치 분포가 대표적이다. 가중치의 분산이 유한하더라도 첨도가 극단적이면 CLT가 실효적으로 작동하는 $n$ 이 천문학적이라, 관측된 표본표준편차가 참 분산을 심하게 과소평가한다. 이런 상황을 감지하는 실전 지표가 유효표본크기와 가중치의 파레토 꼬리 지수 추정이다.

6. 확장 — 린데베르그 조건과 마팅게일 CLT[편집]

동일분포 가정은 필수가 아니다. 독립이되 분포가 제각각인 삼각 배열에 대해서는 린데베르그 조건이 CLT의 핵심 조건이 된다. 총분산 $s_n^2 = \sum_k \operatorname{Var}(X_k)$ 라 할 때, 임의의 $\epsilon > 0$ 에 대해

$$\frac{1}{s_n^2}\sum_{k=1}^{n} \mathbb{E}\!\left[(X_k-\mu_k)^2 \mathbf{1}_{\{\lvert X_k-\mu_k\rvert > \epsilon s_n\}}\right] \longrightarrow 0$$

이면 정규수렴이 성립한다. 뜻은 직관적이다 — 어느 한 항도 전체 분산을 혼자 지배하지 않아야 한다. 검증하기 더 쉬운 충분조건이 $2+\delta$ 차 적률을 요구하는 랴푸노프 조건이다.

독립 가정마저 떼어낸 것이 마팅게일 CLT이며, 이쪽이 시뮬레이션 실무에 더 중요하다. 마르코프 연쇄 몬테카를로의 표본은 정의상 상관되어 있어 고전 CLT를 쓸 수 없는데, 마팅게일 근사(포아송 방정식을 통한 분해)를 거치면 기하 에르고딕성 등의 조건 아래 여전히 $\sqrt{N}$ 수렴이 성립한다. 다만 극한 분산이 $\sigma^2$ 가 아니라 자기공분산의 합

$$\sigma_{\mathrm{as}}^2 = \gamma_0 + 2\sum_{k=1}^{\infty}\gamma_k$$

로 바뀐다. MCMC 표준오차를 배치평균이나 스펙트럼 추정으로 구하는 관행, 그리고 유효표본크기를 $N\gamma_0/\sigma_{\mathrm{as}}^2$ 로 정의하는 관행이 전부 여기서 나온다. 상관 시계열의 장기 기억이 아예 비정상적으로 강한 경우(예: 허스트 지수가 1/2에서 크게 벗어나는 경우)에는 이 합 자체가 발산하며, 그때는 수렴 속도가 $\sqrt{N}$ 도 아니게 된다.

7. 시뮬레이션 실무에서의 CLT[편집]

정리하면, 몬테카를로 오차가 $\sigma/\sqrt{N}$ 인 근거가 바로 CLT다. 그리고 이 수렴 속도는 차원과 무관하다는 점이 결정적이다. 격자 기반 수치적분이 차원의 저주에 무너지는 고차원에서 MC가 살아남는 이유가 이것이며, 준-몬테카를로(소볼 수열, 라틴 하이퍼큐브 표본추출)는 이 $N^{-1/2}$ 를 더 빠른 속도로 바꾸려는 시도다.

체크리스트로 요약하면 CLT 신뢰구간을 의심해야 할 때는 다음과 같다.

상황	증상	대응
희귀사건 추정	적중 표본이 수십 개 미만, 구간에 음수 포함	중요도 표본추출, 부분집합 시뮬레이션
두꺼운 꼬리	표본분산이 표본을 늘릴 때마다 커짐	꼬리 지수 추정, 안정분포 모형
강한 자기상관	유효표본크기가 $N$ 보다 훨씬 작음	자기상관 보정 표준오차
심한 비대칭	부트스트랩 구간과 정규 구간의 불일치	부트스트랩·에지워스 보정

오차 막대가 좁다는 것은 “정답에 가깝다”가 아니라 “지금까지 본 표본들이 서로 비슷했다”는 뜻이다.² 특히 아무 사건도 관측되지 않아 표본분산이 0으로 계산되는 경우, 정규 신뢰구간은 폭이 0인 구간을 자신 있게 출력한다.³

8. 관련 문서[편집]

• 몬테카를로 방법
• 극값 통계
• 유효표본크기
• 중요도 표본추출
• 마르코프 연쇄 몬테카를로
• 허스트 지수
• 멱법칙
• 브라운 운동
• 통계
• 신뢰성 해석
• 베리-에센 정리
• 안정분포
• 대편차 이론

9. Footnotes[편집]

1. 정확한 최적 상수는 아직 미해결이다. 상한은 여러 차례 개선되어 왔으므로 특정 숫자를 외우기보다 “0.4에서 0.5 사이”로 기억하는 편이 안전하다. ↩

2. 신뢰성 해석 분야에 “0번 실패했으니 실패 확률은 0”이라는 보고서가 주기적으로 등장하는 이유. ↩

3. 이 경우의 최소한의 처방은 “3의 법칙” — $N$ 회 시행에서 0회 관측되었을 때 95% 상한이 대략 $3/N$ 이라는 근사다. 이건 CLT가 아니라 이항분포에서 직접 나온다. ↩