가우시안 프로세스

통계 수치해석 최적설계 마지막 수정: 2026-07-19 04:21:07

1. 개요[편집]

가우시안 프로세스 Gaussian Process
약칭	GP
분야	베이지안 통계 × 대리 모델링
정의	임의 유한 부분집합이 다변량 정규분포를 따르는 확률과정
결정 요소	평균 함수 + 공분산(커널) 함수
비용	학습 O(n³), 예측 O(n²)

가우시안 프로세스(Gaussian Process, GP)는 함수 위에 직접 확률분포를 정의하는 비모수 베이지안 모형으로, 어떤 유한 개의 입력점을 골라도 그 함숫값들이 다변량 정규분포를 따르는 확률과정이다. 한 문장으로 줄이면 **“무한 차원 정규분포”**이고, 실무적으로는 예측값과 함께 그 예측이 얼마나 못 믿을 것인지를 공짜로 뱉어주는 회귀 모델이다.

이 “불확실성을 같이 준다”는 성질이 CAE 바닥에서 GP가 사랑받는 이유의 전부라고 해도 된다. 해석 한 번에 12시간 걸리는 전산유체역학 케이스를 수백 번 돌릴 수는 없으니 대리 모델을 세우는데, 그냥 회귀는 “이 지점의 예측을 믿어도 되나”에 답을 못 한다. GP는 답을 한다. 그래서 베이지안 최적화의 심장이 되었다.¹

2. 정의와 사전 분포[편집]

GP는 평균 함수 $m(\mathbf{x})$ 와 공분산 함수(커널) $k(\mathbf{x}, \mathbf{x}')$ 두 개로 완전히 결정된다.

f(\mathbf{x}) \sim \mathcal{GP}\!\left( m(\mathbf{x}),\; k(\mathbf{x}, \mathbf{x}') \right)

관례상 $m(\mathbf{x}) = 0$ 으로 놓는 경우가 많다(데이터를 중심화하면 되니까). 그러면 모든 것이 커널에 달려 있게 된다. 커널이 곧 “내가 찾는 함수는 대충 이렇게 생겼을 것이다”라는 사전 믿음의 전부다.

3. 예측 공식[편집]

훈련 입력 $X$ , 관측 $\mathbf{y} = f(X) + \boldsymbol{\varepsilon}$ ( $\varepsilon \sim \mathcal{N}(0, \sigma_n^2)$ ), 예측 지점 $\mathbf{x}_*$ 가 주어지면, 결합 정규분포를 조건화해서 사후 분포가 닫힌 형태로 나온다.

\mu_* = \mathbf{k}_*^{\mathsf{T}} \left( K + \sigma_n^2 I \right)^{-1} \mathbf{y}

\sigma_*^2 = k(\mathbf{x}_*, \mathbf{x}_*) - \mathbf{k}_*^{\mathsf{T}} \left( K + \sigma_n^2 I \right)^{-1} \mathbf{k}_*

여기서 $K_{ij} = k(\mathbf{x}_i, \mathbf{x}_j)$ , $(\mathbf{k}_*)_i = k(\mathbf{x}_i, \mathbf{x}_*)$ 다. 주목할 점 두 가지.

평균 예측은 관측값 $\mathbf{y}$ 의 선형 결합이다. 즉 커널이 정해준 가중치로 이웃 데이터를 섞는 것에 불과하다.
분산 공식에 $\mathbf{y}$ 가 없다. 불확실성은 오로지 “어디를 얼마나 촘촘히 샘플했는가”의 함수다. 그래서 데이터를 보기도 전에 실험 설계를 최적화할 수 있다 — 실험계획법과 GP가 붙어 다니는 이유.

노이즈가 없으면( $\sigma_n = 0$ ) 훈련점을 정확히 통과하고 그 지점의 분산이 0이 된다. 이 보간(interpolation) 모드가 바로 지구통계학에서 말하는 **크리깅(kriging)**이며, GP와 크리깅은 사실상 같은 물건에 다른 이름표를 붙인 것이다.²

4. 커널[편집]

커널 선택이 GP 성능의 8할이다. 자주 쓰는 것들.

커널	성질	쓰임새
제곱 지수(RBF/가우시안)	무한 미분 가능, 극도로 매끄러움	기본값. 매끄러운 물리량
마턴 $\nu = 5/2$	2번 미분 가능	현실 데이터의 국룰
마턴 $\nu = 3/2$	1번 미분 가능	거친 응답면
유리 이차(RQ)	여러 길이 스케일 혼합	다중 스케일 현상
주기 커널	주기성 강제	회전기계, 사이클 하중

제곱 지수 커널은 이렇게 생겼다.

k(\mathbf{x}, \mathbf{x}') = \sigma_f^2 \exp\!\left( -\frac{1}{2} \sum_{d=1}^{D} \frac{(x_d - x'_d)^2}{\ell_d^2} \right)

$\ell_d$ 는 차원별 길이 스케일이다. 차원마다 따로 두는 이걸 ARD(automatic relevance determination)라고 부르는데, 학습된 $\ell_d$ 가 유난히 크면 그 설계 변수는 응답에 별 영향이 없다는 뜻이다. 즉 **커널 학습이 곧 민감도 해석**이 된다. 공짜로 딸려오는 부가 기능치고는 꽤 쏠쏠하다.

실무 주의: RBF 커널은 너무 매끄럽다는 가정이라 현실 데이터에 씌우면 과신하기 쉽다. 그래서 통계 쪽에서는 마턴 5/2를 기본값으로 쓰라는 조언이 정설처럼 굳어 있다.

5. 하이퍼파라미터 학습[편집]

$\sigma_f, \ell_d, \sigma_n$ 같은 하이퍼파라미터는 주변 로그가능도(marginal likelihood)를 최대화해서 정한다.

\log p(\mathbf{y} \mid X) = -\tfrac{1}{2} \mathbf{y}^{\mathsf{T}} K_y^{-1} \mathbf{y} - \tfrac{1}{2} \log |K_y| - \tfrac{n}{2} \log 2\pi

( $K_y = K + \sigma_n^2 I$ ) 첫 항이 데이터 적합도, 둘째 항이 모델 복잡도 페널티다. 오컴의 면도날이 목적함수에 자동으로 내장되어 있는 셈이라, 별도 교차검증 없이도 과적합이 어느 정도 억제된다.

최적화는 보통 L-BFGS로 하고, 기울기는 자동 미분으로 뽑는다. 다만 이 목적함수는 다봉(multimodal)이라 초기값을 여러 개 던져 재시작하는 게 관례다.

6. 계산 비용과 회피 전략[편집]

GP의 아킬레스건은 $K_y^{-1}$ 이다. 촐레스키 분해로 처리하지만 여전히 $O(n^3)$ 시간, $O(n^2)$ 메모리다. 데이터가 수천 점을 넘어가면 랩톱이 비명을 지른다. 대응책은 대략 이렇다.

유도점(inducing point) 근사 — 대표점 $m \ll n$ 개로 저계수 근사, $O(nm^2)$ . SoR/FITC/SVGP 계열.
국소 GP — 예측 지점 근처 데이터만 골라 작은 GP를 즉석에서 세운다.
구조 활용 — 입력이 격자형이면 크로네커·토플리츠 구조로 역행렬을 우회.
차원 축소 — 입력 차원이 크면 주성분 분석이나 활성 부분공간으로 먼저 줄인다.

또 하나의 고질병은 $K$ 의 조건수다. 데이터 점 두 개가 지나치게 가까우면 $K$ 가 거의 특이해지고 촐레스키가 실패한다. 대각선에 작은 지터(jitter, $10^{-8}$ 정도)를 더해 넘기는 게 관행인데, 이건 사실상 “노이즈가 조금 있다고 치자”는 선언이라 통계적으로도 변명이 된다.³

7. 시뮬레이션 현장에서의 활용[편집]

대리 모델 — 고비용 해석 대체. 반응표면법의 다항식 회귀보다 표현력이 좋고 불확실성이 나온다.
베이지안 최적화 — GP 사후 분포로 획득함수(EI, UCB 등)를 만들어 다음 실험점을 고른다. 형상 최적화·재료 설계의 표준 도구.
불확실성 정량화 — GP 위에서 몬테카를로 방법을 돌리면 원래 해석 대비 수천 배 싸게 분포를 얻는다. 소볼 지수 계산도 마찬가지.
다중 충실도(multi-fidelity) — 성긴 격자 해석(싸고 부정확)과 조밀 격자 해석(비싸고 정확)을 공동 GP로 묶는 코-크리깅. 예산 대비 정확도가 크게 개선된다.
모델 보정 — 실험과 해석의 차이(모델 편차)를 GP로 모델링해 물성치를 역추정. 역문제의 베이지안 버전.

딥러닝이 유행하면서 GP가 밀린 것 같지만, 데이터가 수백 점밖에 없는 CAE 설계 탐색 영역에서는 여전히 GP가 압도적이다. 신경망은 데이터를 갈아 넣어야 하는데, 여기서 데이터 한 점은 하룻밤 걸리는 해석 한 케이스니까.⁴

8. 관련 문서[편집]

Rasmussen & Williams, Gaussian Processes for Machine Learning (2006). MIT Press가 전문을 무료 공개해 놨다. GP 입문자가 이 책을 안 읽고 시작하면 커널 고르다가 인생 낭비한다. ↩
남아공 광산 기술자 대니 크리게(Danie Krige)의 이름에서 왔다. 금 함량 추정하려고 만든 방법이 60년 뒤 하이퍼파라미터 튜닝에 쓰일 줄은 본인도 몰랐을 것이다. ↩
지터를 얼마나 넣어야 하는지에 대한 원칙적 답은 없다. 커지면 돌아가고 정확도는 떨어진다. 사람들이 조용히 $10^{-6}$ 까지 올리는 걸 본 적 있다면, 못 본 척해주는 것이 예의다. ↩
그래서 GP 실무자의 진짜 고민은 “커널을 뭘 쓸까”가 아니라 “이번 주에 해석 몇 케이스나 돌릴 수 있나”다. 알고리즘이 아니라 클러스터 대기열이 병목인 것. ↩