순서 통계량

1. 개요

순서 통계량 Order statistics
정의	표본을 정렬한 $X_{(1)}\le\cdots\le X_{(n)}$ 의 $k$ 번째 값
핵심 사실	$F(X_{(k)})\sim\mathrm{Beta}(k,\,n-k+1)$ — 분포 $F$ 와 무관
특수한 경우	최솟값·최댓값·중앙값·범위·표본 분위수
대표 쓰임	윌크스 공식(59회 규칙), 비모수 분위수 구간, Q-Q 도표, 관리도

59번 돌리고 그중 최댓값을 보고하라. 원자력 안전해석의 이 국룰은 순서 통계량 한 줄에서 나온다.

순서 통계량(order statistic)은 표본 $X_1, \dots, X_n$ 을 크기순으로 정렬했을 때 $k$ 번째 값 $X_{(k)}$ 를 말한다. $X_{(1)}$ 이 최솟값, $X_{(n)}$ 이 최댓값, 가운데가 중앙값이다. 평균·분산이 표본을 「더해서」 만드는 통계량이라면, 순서 통계량은 「줄 세워서」 만드는 통계량이다.

시뮬레이션에서 순서 통계량이 중요한 이유는 하나다. 분포를 모르는 채로 분위수에 대해 확률적 보장을 할 수 있다. 복잡한 코드를 몬테카를로로 $n$ 번 돌렸을 때 출력 분포는 알 수 없지만, 「$n$ 개 중 최댓값이 참 95% 분위수를 넘을 확률」은 출력 분포와 무관하게 정확히 계산된다. 이것이 불확실성 정량화의 비모수적 표본 크기 결정, 그리고 원자력 최적추정(BEPU) 해석의 윌크스 공식이다.

균등 난수의 순서 통계량이 베타 분포를 따른다는 사실과 그 표본 검증은 베타 분포 문서에 있다. 이 문서는 그 일반판과 활용 — 밀도 공식, 극값, 윌크스 공식, 분위수 구간, 기대값 근사, 지수분포의 레니 표현 — 을 다룬다.

2. 분포

$X_i$ 가 독립이고 누적분포 $F$, 밀도 $f$ 를 갖는다면 핵심 관찰은 이것이다:

$$X_{(k)} \le x \iff \text{$n$ 개 중 $x$ 이하인 것이 $k$ 개 이상}$$

$x$ 이하인 개수는 $\mathrm{Bin}(n, F(x))$ 이므로

$$P(X_{(k)} \le x) = \sum_{j=k}^{n}\binom{n}{j}F(x)^j\big(1 - F(x)\big)^{n-j}$$

이고, 미분하면 밀도

$$f_{(k)}(x) = \frac{n!}{(k-1)!\,(n-k)!}\,F(x)^{k-1}\big(1 - F(x)\big)^{n-k}f(x)$$

가 나온다. 읽는 법: $k-1$ 개는 $x$ 아래, $n-k$ 개는 위, 하나는 바로 $x$ 에. 확률 적분 변환 $U = F(X)$ 를 하면 $F(X_{(k)}) \sim \mathrm{Beta}(k, n - k + 1)$ — 이 분포에는 $F$ 가 없다. 이 한 줄이 아래 모든 비모수 결과의 근원이다.

최댓값·최솟값. $P(X_{(n)} \le x) = F(x)^n$, $P(X_{(1)} > x) = (1 - F(x))^n$. 최댓값의 분포가 $n \to \infty$ 에서 굼벨·프레셰·와이블 셋 중 하나로 수렴한다는 것이 피셔-티펫-그네덴코 정리이고, 그 응용이 극값 통계와 검벨 분포다. 와이블 분포가 「가장 약한 고리」 재료 강도 모형인 것도 최솟값의 극한분포이기 때문이다.

결합 분포. $j < k$ 에 대해

$$f_{(j),(k)}(x, y) = \frac{n!}{(j-1)!\,(k-j-1)!\,(n-k)!}F(x)^{j-1}\big(F(y) - F(x)\big)^{k-j-1}\big(1 - F(y)\big)^{n-k}f(x)f(y), \quad x < y$$

이것으로 범위 $R = X_{(n)} - X_{(1)}$ 의 분포를 얻는다. 정규 표본의 기대 범위 $E[R]/\sigma$ 는 $n = 2, 5, 10$ 에서 1.128, 2.326, 3.078 이다(수치적분으로 확인). 이 값이 품질관리 $\bar X$-$R$ 관리도에서 표본 범위로 $\sigma$ 를 추정하는 상수 $d_2$ 다.

3. 윌크스 공식 — 몇 번 돌려야 하나

질문: 코드 출력의 참 $\gamma$ 분위수(예: 95%)의 상한을 신뢰수준 $\beta$(예: 95%)로 보장하려면 몇 번 돌려야 하나?

1차 단측. 표본 최댓값을 상한으로 쓴다. 최댓값이 참 $\gamma$ 분위수보다 작을 확률은 「$n$ 개 모두가 그 아래」 $= \gamma^n$ 이므로 조건은

$$1 - \gamma^n \ge \beta$$

이고, $\gamma = \beta = 0.95$ 에서 $n = 59$ 다($1 - 0.95^{59} = 0.9515$, $58$ 이면 $0.9490$). 정규분포 표본 59개를 20만 번 뽑아 최댓값이 참 95% 분위수 이상인 비율을 세면 0.9515 로 맞는다. 출력이 정규든 꼬리가 두껍든 쌍봉이든 59 는 같다 — 연속 분포라는 것만 가정한다.

고차·양측. $r$ 번째로 큰 값을 상한으로 쓰면 「$n$ 개 중 $r$ 개 이상이 $\gamma$ 분위수를 넘는다」는 이항 꼬리가 신뢰수준이 된다. 95/95 에서 계산하면:

방식	최소 실행 수
단측 1차 (최댓값)	59
단측 2차 (두 번째 최댓값)	93
단측 3차	124
단측 4차	153
양측 1차 (최솟값~최댓값)	93
단측 1차, 95/99	90
단측 1차, 99/95	299

양측 1차의 조건은 $1 - \gamma^n - n(1 - \gamma)\gamma^{n-1} \ge \beta$ 다. 차수를 올리면 실행 수가 늘지만 대신 상한 추정값의 변동이 줄어 덜 보수적이 된다 — 59회 최댓값은 운 나쁘면 참 분위수보다 훨씬 위에 찍히고, 그 변동 자체가 크다. 그래서 원자력 BEPU 실무에서는 59 와 함께 93·124 가 흔히 쓰인다.

주의: 윌크스 공식은 입력 표본이 독립이고 출력이 연속이라는 가정과, 「보고된 값이 상한일 확률」만 보장한다. 라틴 하이퍼큐브처럼 상관된 표본을 쓰면 공식의 전제가 깨진다. 또 59회 중 몇 번이 코드 실패로 빠졌다면 실패를 「상한 초과」로 간주해야 보수성이 유지된다.¹

4. 분위수의 비모수 신뢰구간

같은 논리로 중앙값(일반적으로 $p$ 분위수) $\xi_p$ 의 신뢰구간을 분포 가정 없이 만든다.

$$P\big(X_{(j)} \le \xi_p \le X_{(k)}\big) = \sum_{i=j}^{k-1}\binom{n}{i}p^i(1-p)^{n-i}$$

$n = 20$ 의 중앙값이면 $(X_{(6)}, X_{(15)})$ 가 95.86%, $(X_{(7)}, X_{(14)})$ 가 88.47% 다. 정확히 95% 를 맞출 수는 없고(이산성), 보수적인 쪽을 고르는 것이 관례다. 몬테카를로 결과의 분위수를 보고할 때 부트스트랩 없이 바로 쓸 수 있는 구간이고, 이항 분포의 클로퍼-피어슨 구간과 같은 뿌리다.

5. 기대값 — 도표 위치

$E[X_{(k)}]$ 는 일반적으로 닫힌꼴이 없다. 균등이면 $k/(n+1)$, 지수분포면 아래 레니 표현으로 정확히 나오지만, 정규 표본은 수치적분이 필요하다. 정규 표본 10개의 최댓값 기대값은 1.5388, 100개면 2.5076 이다.

Q-Q 도표·정규확률지에서 $k$ 번째 점을 어디에 찍을지가 이 문제다. 근사 $E[X_{(k)}] \approx F^{-1}(p_k)$ 의 도표 위치(plotting position) $p_k$ 로

• $k/(n+1)$ (바이불): 균등에선 정확. 정규 최댓값을 $n = 10$ 에서 1.335, $n = 100$ 에서 2.330 으로 과소 추정.
• $(k - 3/8)/(n + 1/4)$ (블롬): $n = 10$ 에서 1.547, $n = 100$ 에서 2.499. 정규에 대해 오차가 1% 미만.
• $(k - 0.44)/(n + 0.12)$ (그링고텐): 굼벨 분포에 맞춘 것.

이 선택이 중요한 이유: 극값 자료에 엉뚱한 도표 위치를 쓰면 재현 기간(100년 빈도 등) 추정이 체계적으로 틀어진다.² 정규 표본 100개의 최댓값에서 바이불 위치는 0.18σ 낮게 찍는다.

6. 지수분포와 레니 표현

지수분포의 순서 통계량은 특별히 깔끔하다. 레니(1953)가 보인 대로 $\mathrm{Exp}(1)$ 표본의 간격은 서로 독립이고

$$X_{(k)} - X_{(k-1)} \sim \mathrm{Exp}(1)/(n - k + 1)$$

이다(무기억성 — $n-k+1$ 개가 남아 경쟁하면 다음 하나가 끝나는 시간은 비율 $n-k+1$ 의 지수). $n = 5$ 로 10만 번 뽑아 간격 평균을 재면 0.199, 0.249, 0.336, 0.499, 0.995 로 이론 $1/5, 1/4, 1/3, 1/2, 1$ 과 맞는다. 따라서 $E[X_{(n)}] = \sum_{i=1}^n 1/i = H_n$ (조화수)다.

이것이 시뮬레이션에서 쓰이는 방식 두 가지.

• 정렬 없이 정렬된 표본 만들기. 지수 간격을 누적하고 전체 합으로 나누면 정렬된 균등 표본이 $O(n)$ 에 나온다. 역변환하면 임의 분포의 정렬 표본이 된다. 최댓값 하나만 필요하면 $U^{1/n}$ 한 번이면 된다($P(U^{1/n} \le u) = u^n$).
• 신뢰성·경쟁 위험. $n$ 개 부품 중 $k$ 번째 고장 시각, 길레스피 알고리즘의 첫-반응법(가장 빠른 지수 시계가 이긴다)이 모두 지수 순서 통계량이다.³

7. 관련 문서

• 베타 분포 · 이항 분포 · 와이블 분포 · 검벨 분포 · 극값 통계 · 베타-이항 분포
• 불확실성 정량화 · 몬테카를로 방법 · 부트스트랩 · 라틴 하이퍼큐브 표본추출
• 정규 분포 · 지수분포 · 분위수 · 신뢰구간

8. Footnotes

1. 「59번 돌렸는데 3번이 발산했다. 56개로 최댓값을 냈다」는 보고서는 공식의 전제를 조용히 깬다. 발산한 3번이 하필 가장 위험한 조합이었을 가능성이 있기 때문이다. 수렴은 신에게 맡겨도 실패 처리는 신에게 못 맡긴다. ↩

2. 도표 위치 공식은 제안자 이름이 붙은 것만 열 개가 넘는다(하젠, 캘리포니아, 바이불, 블롬, 그링고텐, 커내인…). 분모에 0.25 를 더할지 0.12 를 더할지로 반세기를 싸웠다는 점에서, 수문학자들의 갈아넣기는 진심이다. ↩

3. 레니는 「수학자는 커피를 정리(定理)로 바꾸는 기계」라는 말로 더 유명하다(에르되시의 말로도 자주 인용된다). 이 논문에서는 지수분포 간격을 정리로 바꿨다. ↩