이상치 탐지

통계 시뮬레이션 마지막 수정: 2026-08-31 04:41:05

1. 개요[편집]

이상치 탐지 Outlier / Anomaly Detection
정의	"다른 메커니즘이 만들어 낸 것으로 의심될 만큼 나머지에서 벗어난 관측"
통계적 접근	그럽스 검정 · 마할라노비스 거리 · MCD
거리 · 밀도	k-NN 거리 · LOF
모형 기반	고립 숲 · 원-클래스 SVM · 재구성 오차
시계열	관리도 · EWMA · CUSUM
평가	정밀도-재현율 (정확도는 무의미)
영원한 난제	라벨이 없다

이상치 탐지(outlier detection, anomaly detection)는 자료 집합에서 나머지 관측들과 뚜렷하게 다른 메커니즘에 의해 생성된 것으로 의심되는 관측을 찾아내는 문제다. 호킨스의 이 고전적 정의에서 핵심은 “다르다”가 아니라 “다른 메커니즘” 이다. 극단적인 값이라도 같은 분포의 꼬리에서 나온 것이면 이상치가 아니고, 평범해 보이는 값이라도 문맥상 있을 수 없는 자리에 있으면 이상치다.

용어가 셋으로 갈린다. 이상치 제거는 오염된 자료에서 추정을 지키는 것이 목적이라 찾는 것 자체가 부산물이고(로버스트 통계의 관심사), 이상 탐지는 찾는 것이 목적이며(사기 거래, 장비 고장), 신규성 탐지는 깨끗한 정상 자료만 주어진 상태에서 새 관측이 그 분포 밖인지 판정하는 것이다. 세 번째가 실무에서 제일 흔한데, 이유는 단순하다 — 이상 사례의 라벨이 거의 없기 때문이다.

이상의 유형도 셋으로 나누는 것이 표준이다.

점 이상(point): 관측 하나가 전체 분포에서 벗어난다. 대부분의 알고리즘이 노리는 대상.
문맥 이상(contextual): 값 자체는 정상 범위지만 문맥이 틀렸다. 서울의 8월 기온 5℃는 어느 온도계 눈금으로도 정상 범위 안이다.
집단 이상(collective): 개별 값은 전부 정상인데 패턴이 이상하다. 심전도에서 정상 파형이 비정상적으로 오래 반복되는 경우.

2. 통계적 정의 — 검정으로서의 이상치[편집]

그럽스 검정(Grubbs 1950)은 정규성 가정 아래 “이상치가 하나 있다”를 검정한다. 통계량은 스튜던트화된 최대편차다.

G = \frac{\max_i \lvert x_i - \bar x\rvert}{s}

$G$ 의 임계값은 $t$ 분포에서 유도되며 표본 크기에 의존한다. 유의한 점을 하나 지우고 다시 돌리는 반복 사용은 가림 효과(masking) 때문에 위험하다 — 이상치가 둘이면 서로가 $\bar x$ 와 $s$ 를 함께 끌어당겨 둘 다 유의하지 않게 나온다. 개수 상한 $k$ 를 미리 정하고 검정통계량 수열을 한꺼번에 다루는 일반화 ESD(로즈너)가 그 처방이다.

여기서 짚어야 할 것. “평균 ± 3σ 밖은 이상치”는 검정이 아니라 관행이다. 정규분포에서 표본 1000개를 뽑으면 3σ 밖이 평균 2.7개 나오는데, 그걸 전부 지우면 멀쩡한 자료를 버리는 것이다. 게다가 이상치가 이미 $\bar x, s$ 를 오염시켰으므로 기준선 자체가 밀려 있다. 최소한 중앙값과 MAD로 바꿔 쓰는 것이 순서이며, 그 논리는 로버스트 통계 문서에 있다.

다변량으로 가면 좌표별로 보는 것이 통하지 않는다. 두 변수가 강하게 상관된 자료에서 각 변수는 정상 범위인데 조합이 불가능한 점이 있을 수 있고, 그걸 잡는 것이 마할라노비스 거리와 $\chi^2$ 임계값이다. 표본 공분산은 붕괴점이 0이라 이상치 자신에게 오염되므로 MCD(최소공분산행렬식) 같은 고붕괴점 추정으로 갈아타는 것이 표준 처방인데, 임계값 분포의 함정과 MCD의 계산까지 그 문서에서 다루므로 여기서는 링크로 넘긴다.

3. 거리와 밀도 기반[편집]

모수 가정 자체를 버리는 계열.

k-NN 거리. $k$ 번째 최근접 이웃까지의 거리를 이상 점수로 쓴다. 구현이 세 줄이고 놀랍도록 강력한 기준선이다. KD-트리나 최근접 이웃 탐색 자료구조로 가속한다. 약점은 밀도가 지역마다 다르면 무너진다는 것 — 성긴 정상 군집의 멤버가 빽빽한 군집 옆의 이상치보다 큰 점수를 받는다.
LOF(Local Outlier Factor, Breunig 외 2000). 위 약점을 정면으로 고친다. 각 점의 국소 도달가능 밀도를 이웃들의 그것과 비율로 비교한다.

\mathrm{LOF}_k(p) = \frac{1}{\lvert N_k(p)\rvert}\sum_{o\in N_k(p)} \frac{\mathrm{lrd}_k(o)}{\mathrm{lrd}_k(p)}

정상점은 $\approx 1$ , 이웃보다 성긴 곳에 있는 점은 1보다 뚜렷하게 크다. 절대 밀도가 아니라 상대 밀도라서 밀도 이질적인 자료에 잘 듣는다. 대가는 $k$ 에 대한 민감성과 $O(n^2)$ 비용, 그리고 1.5쯤이 이상인지 아닌지 말해 주는 이론적 임계값이 없다는 것.

밀도 직접 추정. 정상 자료의 밀도를 커널 밀도 추정으로 잡고 $\hat f(x)$ 가 낮으면 이상으로 판정한다. 저차원에서는 해석이 명쾌하지만 $d\gtrsim 5$ 에서 KDE 자체가 무너지므로 쓸 수 없다.
군집 기반. DBSCAN의 잡음점을 그대로 이상치로 쓰거나, k-평균 군집화의 중심까지 거리를 점수로 쓴다. 후자는 이상치가 중심 자체를 끌어당기는 문제가 있어 계층적 군집화로 작은 군집을 먼저 골라내는 조합이 낫다.

거리 기반 전체를 관통하는 한계가 있다. 고차원에서는 모든 점 쌍의 거리가 서로 비슷해지는 거리 집중 현상 때문에 “가장 먼 점”이라는 개념이 의미를 잃는다. 차원의 저주의 직격탄이며, 주성분 분석이나 무작위 사영으로 차원을 먼저 줄이는 전처리가 사실상 필수인 이유다.

4. 고립 숲[편집]

리우 외(2008)의 고립 숲(Isolation Forest)은 발상이 뒤집혀 있다. 정상을 모형화한 뒤 벗어난 것을 찾는 대신, 이상치는 고립시키기 쉽다는 성질을 직접 쓴다.

절차는 이렇다. 변수를 하나 무작위로 고르고, 그 변수의 최솟값-최댓값 사이에서 분할점을 무작위로 골라 자른다. 점 하나가 혼자 남을 때까지 반복하고, 그때까지의 경로 길이 $h(x)$ 를 기록한다. 나무를 여러 그루 만들어 평균 경로 길이 $E[h(x)]$ 를 얻고

s(x,n) = 2^{-E[h(x)]/c(n)}, \qquad c(n) = 2H_{n-1} - \frac{2(n-1)}{n}

로 정규화한다( $H$ 는 조화수, $c(n)$ 은 이진탐색트리의 평균 탐색 길이). $s\to 1$ 이면 강한 이상, $s\approx 0.5$ 면 정상이다.

실무적 장점이 뚜렷하다. 거리 계산이 아예 없어서 고차원에서 거리 집중의 피해를 덜 받고, 각 나무를 표본 256개만으로 만드는 것이 오히려 성능이 좋아서(과다한 표본은 정상 군집이 이상치를 “덮어” 버린다) 학습 비용이 $n$ 에 선형이다. 랜덤 포레스트와 이름과 뼈대는 닮았지만 라벨을 전혀 쓰지 않는다는 점이 결정적으로 다르다.

약점은 축평행 분할이라는 데서 온다. 결정경계가 계단 모양이라 비스듬한 방향의 이상을 잘 못 잡고, 밀도가 낮은 사각 영역에 가짜 이상 점수를 만든다. 무작위 초평면으로 자르는 확장 고립 숲(Extended IF)이 그 보완책이다.

5. 경계를 학습하는 방법 — 원-클래스 SVM[편집]

정상 자료만 주고 그 자료를 감싸는 경계를 직접 학습하는 계열. 쇤코프 외(1999)의 원-클래스 SVM은 특징공간에서 원점으로부터 최대 마진으로 자료를 떼어내는 초평면을 찾는다.

\min_{w,\rho,\xi}\ \tfrac12\lVert w\rVert^2 + \frac{1}{\nu n}\sum_i \xi_i - \rho \quad \text{s.t.}\quad \langle w, \phi(x_i)\rangle \ge \rho - \xi_i,\ \ \xi_i \ge 0

$f(x)=\mathrm{sgn}(\langle w,\phi(x)\rangle - \rho)$ 가 판정함수다. 여기서 $\nu \in (0,1]$ 의 의미가 아름답다 — 이상으로 찍히는 훈련 표본 비율의 상한이자 서포트 벡터 비율의 하한이다. 즉 “우리 자료의 몇 %가 오염됐다고 보는가”라는 공학적 질문이 그대로 하이퍼파라미터가 된다. 택스와 뒤앙(2004)의 SVDD는 초평면 대신 최소 부피 초구로 감싸는 판본이고, RBF 커널에서는 둘이 동치다.

실무 감각으로는 서포트 벡터 머신의 모든 짐을 그대로 진다. 커널 폭 $\gamma$ 에 결과가 극도로 민감하고, $O(n^2)\sim O(n^3)$ 이라 표본 수만 개를 넘으면 답답하다. 그래서 최근에는 같은 자리에 고립 숲을 먼저 놓고, 경계의 매끄러움이 정말 필요할 때만 원-클래스 SVM으로 가는 것이 보통이다.

6. 재구성 오차 기반[편집]

“정상 자료는 저차원 구조 위에 있다”는 가정을 쓰는 계열. 정상 자료로 압축-복원기를 학습한 뒤 복원이 잘 안 되는 것을 이상으로 본다.

PCA. 주성분 $k$ 개로 사영했다가 되돌린 잔차의 제곱합이 제곱예측오차(SPE, 또는 $Q$ 통계량)다. 주성분 공간 안쪽의 이탈은 호텔링 $T^2$ 로, 바깥쪽 이탈은 $Q$ 로 감시하는 두 통계량 조합이 다변량 통계적 공정관리의 표준 구성이다. $T^2$ 만 보면 모형이 설명하지 못하는 새로운 고장 모드를 통째로 놓친다. 비선형이면 커널 PCA 판본이 있다.
오토인코더. 병목층을 가진 신경망으로 같은 일을 비선형으로 한다. 변분 오토인코더를 쓰면 재구성 오차 대신 음의 로그가능도나 ELBO를 점수로 쓸 수 있어 확률적 해석이 붙는다.

이 계열의 함정이 하나 있고, 생각보다 자주 밟는다. 용량이 큰 오토인코더는 학습에서 본 적 없는 입력도 잘 복원해 버린다. 항등함수에 가까운 것을 배우면 이상치까지 충실히 복원되어 재구성 오차가 작게 나오고, 탐지기가 조용히 무력화된다. 병목을 충분히 좁히거나, 잡음 제거 오토인코더로 학습하거나, 재구성 오차 대신 잠재공간에서의 밀도를 보는 식의 대응이 필요하다. “성능이 좋은 모형이 좋은 탐지기”라는 직관이 통하지 않는 대표적인 자리.

7. 시계열 이상[편집]

시간축이 들어오면 문제가 달라진다. 값 자체가 아니라 예측 잔차를 감시하는 것이 기본 틀이다. 예측기(이동평균, ARIMA, 칼만 필터, 순환 신경망)로 다음 값을 예측하고 잔차 $e_t = y_t - \hat y_t$ 가 정상 범위인지 본다. 칼만 필터의 이노베이션에 $\chi^2$ 게이팅을 거는 것이 이 구조의 교과서적 사례다.

잔차를 감시하는 도구는 세 층이다.

도구	감시 대상	잘 잡는 것
슈하트 관리도	개별 잔차	크고 갑작스러운 스파이크
EWMA	지수가중 이동평균	작고 지속적인 이동
CUSUM	편차의 누적합	작은 평균 이동, 가장 빠른 검출

CUSUM(Page 1954)은 작은 변화에 특히 강하다. 기준 이동량의 절반을 $k$ 로 두고

S_t^{+} = \max\!\left(0,\ S_{t-1}^{+} + \frac{e_t}{\sigma} - k\right), \qquad S_t^{-} = \max\!\left(0,\ S_{t-1}^{-} - \frac{e_t}{\sigma} - k\right)

를 누적하다가 $h$ 를 넘으면 경보를 낸다. 스파이크 하나에는 둔감하고 평균이 조금이라도 지속적으로 밀리면 누적이 선형으로 자라 반드시 걸린다는 것이 요점이다. 설계 지표는 오경보 사이의 평균 실행 길이(ARL₀)와 실제 변화 후 검출까지의 ARL₁이며, 둘의 맞바꿈이 곧 $h$ 선택이다.

주의할 것: 실제 시계열에는 추세·계절성·구조적 드리프트가 있어서 잔차가 백색잡음이 아니다. 계절성을 제거하지 않고 관리도를 걸면 매주 월요일마다 경보가 울린다. 그리고 점진적 드리프트는 이상이 아니라 개념 변화(concept drift)일 수 있어, 탐지기를 재학습할지 경보를 낼지가 별도의 판단이다.

8. 시뮬레이션 현장에서[편집]

해석 엔지니어에게 이상치 탐지는 통계 과목이 아니라 매일 밟는 지뢰다.

실험 데이터 정제. 검증용 실험값에 섞인 오측정 하나가 모델 검증 결론을 뒤집는다. 다만 검증 및 확인의 정신에서 보면 “안 맞는 점을 지우고 잘 맞는다고 보고”는 최악의 관행이다. 이상치는 지우기 전에 원인을 밝혀 기록하고, 지운 뒤의 신뢰구간은 부트스트랩처럼 선택 효과를 감당할 수 있는 방법으로 다시 계산해야 한다.
CFD 잔차 스파이크와 발산 조기 감지. 잔차 이력은 그 자체로 감시 대상 시계열이다. 로그 잔차의 기울기가 양으로 돌아섰는지, 특정 셀의 국소 잔차가 튀는지를 CUSUM으로 걸어 두면 수천 반복을 더 태우기 전에 죽일 수 있다. 실무적으로 더 유용한 신호는 잔차 자체보다 최대 셀 속도·CFL 수·압력 극값의 급변인데, 잔차는 발산 직전까지 얌전한 경우가 있기 때문이다. 자동화 파라미터 스터디에서 수백 케이스를 돌릴 때 이 감시기 하나가 며칠을 아낀다. 수렴성 판정과 이상 감시는 목적이 다르다는 점도 기억할 것 — 전자는 “다 됐나”, 후자는 “망가지고 있나”다.
센서 결함 판별. 시험 장비의 열전대 하나가 죽으면 값이 튀는 게 아니라 얼어붙는다. 값이 상수인 구간, 분해능 단위의 계단, 다른 채널과의 상관 붕괴가 전형적 신호이고, 이건 점 이상이 아니라 문맥·집단 이상이라 단순 임계값으로는 절대 안 잡힌다. 다채널이면 PCA의 $Q$ 통계량이 “이 조합은 물리적으로 불가능하다”를 잡아 준다. 센서 융합 파이프라인에서 결함 채널을 걸러내지 못하면 융합 결과가 그 채널을 향해 통째로 끌려간다.
대리모형 학습셋의 이상점. 이게 가장 조용하고 가장 비싸다. 대리 모델 학습셋에 수렴하지 않은 케이스나 격자 품질이 나쁜 케이스가 섞여 있으면, 크리깅이나 신경망은 그 점을 성실하게 통과하려고 주변 응답면을 통째로 왜곡한다. 이후 최적화가 그 가짜 골짜기로 달려가 “설계 개선”을 보고하는 것이 전형적인 파국이다. 처방은 두 갈래 — 학습 전에 수렴 플래그·잔차·격자 지표로 케이스를 걸러내고, 학습 후에 교차검증 잔차가 큰 점을 다시 의심한다. 실험계획법으로 설계점을 뽑았다면 “설계 공간에서 고립된 점의 오차가 크다”와 “그 케이스가 잘못됐다”를 구분하는 것이 관건이다.

9. 평가 — 정확도는 왜 무의미한가[편집]

이상 비율이 0.1%인 자료에서 “전부 정상”이라고 답하는 모형의 정확도는 99.9%다. 이 한 문장이 이상치 탐지 평가의 전부를 설명한다. 불균형이 심할수록 정확도는 다수 클래스의 비율을 그대로 읽는 숫자가 되어 정보가 0에 수렴한다.

써야 하는 지표는 이렇다.

정밀도(찾았다고 한 것 중 진짜 비율)와 재현율(진짜 중 찾아낸 비율), 그리고 그 조화평균 $F_1$ . 운영 관점에서는 “경보 하나에 사람이 몇 분을 쓰는가”가 정밀도의 가격이고, “놓치면 얼마인가”가 재현율의 가격이다.
PR 곡선 아래 면적(AUC-PR). ROC 곡선의 AUC는 불균형에서 낙관적으로 보인다 — 거짓양성률의 분모가 거대한 정상 집단이라, 오경보가 실무적으로 재앙 수준이어도 FPR은 작게 나오기 때문이다. 정밀도는 그 분모를 쓰지 않아서 불균형에 정직하다.
Precision@k. 하루에 검토할 수 있는 경보가 20건이면, 상위 20건 중 몇 건이 진짜인지가 유일하게 의미 있는 숫자다.

그리고 현실의 벽. 대개 라벨이 없다. 비지도 탐지기를 튜닝하려면 검증셋이 필요한데 그게 없다는 자기모순이 이 분야의 상수다. 실무적 대응은 (1) 소량이라도 사람이 라벨한 골드셋을 만들어 유지한다, (2) 알려진 고장 사례를 인공적으로 주입해 검출 여부를 본다, (3) 오염률(contamination) 파라미터를 성능 지표가 아니라 운영 가능한 경보 건수로부터 역산한다 — 셋을 섞어 쓴다. 세 번째가 특히 현실적이다. 통계적으로 최적인 임계값보다, 담당자가 실제로 처리할 수 있는 경보량이 임계값을 정하는 경우가 훨씬 많다.¹

마지막으로 잊지 말 것. 이상치는 오류가 아닐 수도 있다.² 자동으로 지우고 넘어가는 파이프라인은 잡음뿐 아니라 발견도 함께 버린다. 탐지기의 출력은 “버려라”가 아니라 “여기를 보라”다.³

10. 관련 문서[편집]

“임계값을 0.9로 하니 하루 경보가 400건입니다”라고 하면 그 시스템은 일주일 안에 꺼진다. 경보 피로(alert fatigue)는 알고리즘 성능표에 안 나오지만 실제 배포의 사망 원인 1위다. ↩
남극 오존 구멍 관측이 한동안 자동 이상치 필터에 걸려 버려졌다는 이야기가 여기저기서 인용된다. 세부 사실관계에는 이견이 있지만, 교훈이 되는 우화로서의 수명은 앞으로도 길 것 같다. ↩
그래서 실무에서 제일 값싸고 제일 효과 큰 이상치 탐지 도구는 여전히 산점도다. 고립 숲을 돌리기 전에 일단 그려 봐라. 절반은 눈으로 보인다. ↩