재생 커널 힐베르트 공간

수치해석 통계 마지막 수정: 2026-09-04 04:14:27

1. 개요[편집]

재생 커널 힐베르트 공간 Reproducing Kernel Hilbert Space (RKHS)
정의	점 평가 범함수 δ_x 가 모든 x 에서 유계인 함수 힐베르트 공간
핵심 성질	재생성 f(x) = ⟨f, k(·,x)⟩
존재 근거	리스 표현 정리
대응 정리	무어-아론샤인 (1950) — 양의 준정부호 커널 ↔ RKHS 일대일
실용적 귀결	표현자 정리 (Kimeldorf & Wahba, 1971)
노름의 정체	스펙트럼 감쇠로 가중된 매끄러움 벌점

무한차원 함수공간에서 최적화를 한다면서 실제로는 계수 $n$ 개짜리 선형계를 푼다. 사기 같지만 정리다. 그 정리가 사는 집이 여기다.

재생 커널 힐베르트 공간(reproducing kernel Hilbert space, RKHS)은 정의역 $\mathcal X$ 위의 함수들로 이루어진 힐베르트 공간 중, 각 점에서 함수값을 읽는 범함수 $\delta_x : f \mapsto f(x)$ 가 유계인 공간이다. 조건이 이것 하나뿐이고, 나머지는 전부 여기서 따라 나온다.

조건이 시시해 보이지만 사실은 아주 특별한 요구다. 수치해석이 매일 쓰는 $L^2(\Omega)$ 에서는 이게 성립하지 않는다 — $L^2$ 의 원소는 측도 0인 집합 위에서 마음대로 바꿔도 같은 원소이므로 " $f(x)$ " 라는 표현 자체가 정의되지 않는다.¹ 그래서 $L^2$ 는 RKHS가 아니고, 소볼레프 공간 $H^k(\Omega)$ 는 $k > d/2$ 일 때(매장 정리로 연속 대표원이 생길 때) 비로소 RKHS가 된다.

이 문서는 왜 커널 방법이 정당한가를 함수공간 쪽에서 다룬다. “내적을 갈아 끼운다”는 계산 요령과 커널화 가능한 알고리즘 목록은 커널 트릭에 있고, 여기서는 그 트릭이 발 딛고 선 바닥 — 정의에서 재생핵이 나오는 순서, 커널과 공간의 일대일 대응, 노름이 왜 매끄러움 벌점인지 — 만 본다.

2. 정의에서 재생핵이 나오는 순서[편집]

순서를 헷갈리면 안 된다. 커널이 먼저 있고 공간이 생기는 게 아니라, 공간의 성질 하나에서 커널이 튀어나온다.

$\mathcal H$ 를 $\mathcal X$ 위 함수들의 힐베르트 공간이라 하고, 모든 $x\in\mathcal X$ 에 대해 $\delta_x$ 가 유계라고 하자. 즉 $\lvert f(x)\rvert \le C_x\lVert f\rVert_{\mathcal H}$ 인 상수 $C_x$ 가 존재한다.
$\delta_x$ 는 선형이고 유계이므로 $\mathcal H^*$ 의 원소다. 리스 표현 정리에 의해 이 범함수를 대표하는 벡터가 공간 안에 존재하고 유일하다. 그 벡터를 $k_x \in \mathcal H$ 라 쓰자.
리스 정리가 주는 등식이 그대로 재생성(reproducing property)이다.

f(x) = \langle f,\ k_x \rangle_{\mathcal H} \qquad \forall f \in \mathcal H,\ \forall x \in \mathcal X

$k_x$ 자체도 $\mathcal H$ 의 원소이므로 재생성을 $f = k_y$ 에 적용할 수 있다. 그러면

k(x,y) := \langle k_y,\ k_x\rangle_{\mathcal H} = k_y(x)

라는 두 변수 함수가 정의되고, $k_x = k(\cdot,x)$ 라고 써도 모순이 없다. 이 $k$ 가 재생핵(reproducing kernel)이다.

여기까지 오면 커널의 두 성질이 공짜로 따라온다. 내적의 대칭성에서 $k(x,y)=k(y,x)$ 이고, 임의의 계수 $c_i$ 에 대해

\sum_{i,j}c_ic_j\,k(x_i,x_j) = \Big\lVert \sum_i c_i\,k(\cdot,x_i)\Big\rVert_{\mathcal H}^2 \ \ge\ 0

이므로 양의 준정부호(PSD)다. 즉 “점 평가가 유계”라는 해석학적 조건이 “PSD 커널”이라는 대수적 조건으로 자동 번역된다. 커널 트릭이 왜 PSD를 요구하는지는 결국 이 한 줄이 전부다.

재생성의 부산물 중 실무에서 가장 자주 쓰이는 것은 수렴의 강도다. $\lvert f(x)-g(x)\rvert = \lvert\langle f-g, k_x\rangle\rvert \le \sqrt{k(x,x)}\,\lVert f-g\rVert_{\mathcal H}$ 이므로, RKHS 노름 수렴은 $\sup_x k(x,x)$ 가 유한하면 균등 점별 수렴을 함의한다. $L^2$ 수렴이 점별로는 아무것도 보장하지 않는 것과 대조적이고, 이것이 커널 기반 근사의 오차 추정이 깔끔한 이유다.

3. 무어-아론샤인 — 커널 하나가 공간 하나다[편집]

역방향은 아론샤인(1950)의 정리다.² 대칭 PSD 커널 $k$ 가 주어지면, 그것을 재생핵으로 갖는 RKHS가 유일하게 존재한다.

구성은 소박하다. $k(\cdot,x)$ 들의 유한 선형결합 $f=\sum_i\alpha_ik(\cdot,x_i)$ 를 모으고, 내적을 재생성이 성립하도록 강제로 정의한 뒤

\Big\langle \sum_i \alpha_i k(\cdot,x_i),\ \sum_j \beta_j k(\cdot,y_j)\Big\rangle := \sum_{i,j}\alpha_i\beta_j\,k(x_i,y_j)

이 노름으로 완비화하면 끝이다. PSD 조건은 정확히 “이 정의가 준정부호 이차형식이 되어 내적으로 쓸 수 있다”는 것을 보장한다. 유일성은 두 후보 공간이 있다면 그 차집합 성분이 모든 $k(\cdot,x)$ 에 직교해 결국 0 함수라는 논법으로 나온다.

이 정리의 무게는 실용에 있다. 커널을 고르는 것은 하이퍼파라미터를 고르는 게 아니라 함수공간을 고르는 것이다. RBF 커널을 쓰기로 결정한 순간 “내 모형이 살 수 있는 함수의 집합”과 “그 집합에서 무엇이 비싼가”가 이미 다 정해져 있다. 커널 폭 $\sigma$ 를 바꾸는 것도 파라미터 조정이 아니라 공간 자체를 바꾸는 행위다 — 서로 다른 $\sigma$ 의 가우시안 RKHS는 서로를 포함하지 않는다.

한편 아론샤인 정리는 연속성도 콤팩트성도 요구하지 않는다. 정의역이 문자열이든 그래프든 분자 구조든 상관없다. 그래서 벡터가 아닌 데이터에 선형대수를 들여놓는 커널 방법의 정당성은 전부 이쪽에서 나온다.

4. 머서 정리와 혼동하지 말 것[편집]

문헌에서 가장 자주 뭉개지는 지점이다. 머서 정리와 무어-아론샤인 정리는 같은 정리가 아니고, 가정이 다르다.

	무어-아론샤인	머서
가정	대칭 · PSD. 끝	콤팩트 정의역 · $k$ 연속 · 측도 $\mu$ 고정
결론	RKHS의 존재와 유일성	$k=\sum_m\lambda_m\psi_m(x)\psi_m(y)$ 의 균등수렴 전개
도구	완비화	적분 연산자의 스펙트럼 분해
특징 사상	추상적 ( $x\mapsto k(\cdot,x)$ )	명시적 ( $x\mapsto(\sqrt{\lambda_m}\psi_m(x))_m$ )

머서 정리는 적분 연산자 $(T_kf)(x)=\int k(x,y)f(y)\,d\mu(y)$ 가 콤팩트 자기수반이라는 사실에서 출발해, 그 고유값 $\lambda_m\ge0$ 과 고유함수 $\psi_m$ 으로 커널을 전개한다. 이때 RKHS 노름이 아주 읽기 좋은 꼴이 된다. $f=\sum_m c_m\psi_m$ 이라 쓰면

\lVert f\rVert_{\mathcal H}^2 = \sum_{m}\frac{c_m^2}{\lambda_m}, \qquad \mathcal H = \Big\{ f : \sum_m \frac{c_m^2}{\lambda_m} < \infty \Big\}

즉 고유값이 빨리 죽는 방향의 성분은 노름을 폭발시킨다. 이게 다음 절의 주제다.

다만 이 편리함에는 값이 붙는다. 머서 전개는 측도 $\mu$ 에 의존한다 — 같은 커널이라도 정의역과 측도를 바꾸면 $\lambda_m,\psi_m$ 이 통째로 바뀐다. 반면 RKHS 자체는 측도와 무관하다. 그래서 “커널의 고유함수”라는 말은 반드시 측도를 명시해야 의미가 있고, 명시하지 않은 채 쓰는 논문 문장은 대개 암묵적으로 균등 측도나 데이터 분포를 가정하고 있다.

5. 표현자 정리 — 무한차원이 유한차원으로 접히는 곳[편집]

표현자 정리(representer theorem, 재현자 정리)는 RKHS가 기계학습에서 살아남은 이유 그 자체다. 손실 $L$ 이 무엇이든(볼록일 필요조차 없다), 벌점 $\Omega$ 가 $\lVert f\rVert_{\mathcal H}$ 의 엄격 증가 함수이면

\min_{f\in\mathcal H_k}\ \sum_{i=1}^{n}L\big(y_i,\ f(x_i)\big) + \Omega\big(\lVert f\rVert_{\mathcal H_k}\big)

의 모든 최소해는 $f^\star=\sum_{i=1}^n\alpha_i\,k(\cdot,x_i)$ 꼴이다. 증명은 직교분해 한 줄이고 커널 트릭 문서에 적혀 있으니 여기서는 조건과 한계만 짚는다.

$\Omega$ 가 엄격 증가가 아니면 진술이 약해진다. 비감소이기만 하면 “그런 꼴의 최소해가 존재한다”까지만 말할 수 있고, 모든 최소해가 그렇다고는 못 한다. Schölkopf·Herbrich·Smola(2001)의 일반형이 이 구분을 정확히 한다.
$\Omega$ 가 노름의 함수가 아니면 정리가 통째로 죽는다. 계수 $\alpha$ 에 $\ell_1$ 벌점을 거는 순간(희소 커널 모형) 이것은 더 이상 표현자 정리가 아니라 “이미 유한 표현을 가정하고 그 위에서 라쏘를 돌리는” 별개의 문제다. 표현자 정리는 희소성을 주지 않는다 — SVM의 희소성은 힌지 손실에서 나오는 것이지 이 정리에서 나오는 게 아니다.
준모수 판본이 실전형이다. 벌점을 받지 않는 유한차원 부분공간 $\mathrm{span}\{\psi_1,\dots,\psi_p\}$ 을 더해 $f = \sum_i\alpha_ik(\cdot,x_i) + \sum_j\beta_j\psi_j$ 로 두는 버전이 Kimeldorf–Wahba의 원래 형태에 가깝다. 스무딩 스플라인에서 다항식 널공간(추세항)을 벌점에서 빼는 관행, 크리깅의 보편 크리깅에서 평균 함수 항을 따로 두는 관행이 전부 이 판본이다.
표본 밖으로 나가면 못 쓴다. 정리는 손실이 유한 개의 점 평가에만 의존할 때 성립한다. 손실에 $\int f^2$ 같은 적분항이나 미분 제약이 섞이면(물리 정보 신경망 계열의 잔차 손실이 그렇다) 유한 표현이 보장되지 않는다. 이 경우 실무는 콜로케이션 점으로 적분을 이산화해서 조건을 억지로 되돌린다.

6. RKHS 노름은 왜 매끄러움 벌점인가[편집]

“정규화항 $\lambda\lVert f\rVert^2_{\mathcal H}$ 이 매끄러움을 강제한다”는 말은 대충 하는 소리가 아니라 푸리에 항등식이다. $\mathcal X=\mathbb R^d$ 위 이동불변 커널 $k(x,y)=\kappa(x-y)$ 에 대해, $\kappa$ 의 푸리에 변환 $S(\boldsymbol\omega)$ (스펙트럼 밀도, 보흐너 정리에 의해 비음)를 쓰면 규격화 상수를 무시하고

\lVert f\rVert_{\mathcal H}^2 \;=\; \int_{\mathbb R^d} \frac{\lvert \hat f(\boldsymbol\omega)\rvert^2}{S(\boldsymbol\omega)}\, d\boldsymbol\omega

가 성립한다. 분모가 스펙트럼 밀도다. 커널이 억누르는 주파수 대역에서 $S$ 가 작아지고, 그 대역의 성분 $\hat f(\boldsymbol\omega)$ 는 노름에서 큰 배율로 벌점을 받는다. 커널을 고른다는 것은 곧 어느 주파수를 얼마나 비싸게 매길지 가격표를 고르는 것이다.

커널	스펙트럼 밀도 $S(\boldsymbol\omega)$	벌점 배율 $1/S$	RKHS의 정체
가우시안 RBF	$\propto e^{-\sigma^2\lVert\omega\rVert^2/2}$	초지수 폭발	해석적 함수만
마테른 $\nu$	$\propto (1+\lVert\omega\rVert^2)^{-(\nu+d/2)}$	다항 증가	소볼레프 $H^{\nu+d/2}$
라플라시안 (1차원 $\nu=1/2$ )	$\propto (1+\omega^2)^{-1}$	$1+\omega^2$	$H^1$

가우시안 커널의 극단성이 이 표에서 바로 보인다. 벌점이 $e^{+\sigma^2\lVert\omega\rVert^2/2}$ 로 커지므로 고주파를 사실상 금지하고, 그 결과 가우시안 RKHS의 원소는 전부 해석적이다. 뒤집어 말하면 이 공간은 놀랄 만큼 작다 — 꺾임이 있는 함수, 계단 함수, 유한 차수 다항식조차 들어 있지 않다.³ 그런데도 실전에서 잘 되는 이유는 이 공간이 콤팩트 집합 위 연속함수 공간에서 조밀하기 때문이다(보편 커널). 정확히 표현할 수는 없지만 임의로 가깝게 근사할 수는 있다는, 근사이론이 늘 하는 그 이야기다.

여기서 무작위 푸리에 특징과의 연결이 하나 나온다. 위 식의 분모 $S$ 를 규격화한 것이 정확히 RFF가 주파수 $\boldsymbol\omega$ 를 뽑는 확률밀도다. RKHS 노름의 분모와 몬테카를로 샘플러의 분자가 같은 함수라는 것, 이 사실 하나로 “커널을 근사한다”와 “그 공간을 근사한다”가 같은 말이 된다.

7. 어디서 만나는가[편집]

가우시안 프로세스 · 크리깅. 공분산 함수 $k$ 를 가진 GP의 사후평균은 커널 능형회귀의 해와 글자 그대로 같고, 따라서 $\mathcal H_k$ 의 원소다. 그런데 GP의 표본경로는 $\mathcal H_k$ 에 없다. $\mathcal H_k$ 가 무한차원이면 표본경로가 그 안에 들어갈 확률은 정확히 0이다. “GP는 커널이 정의하는 공간에서 함수를 뽑는다”는 흔한 설명은 그래서 틀렸다 — 뽑히는 함수는 그 공간보다 거칠고, 사후평균만 그 안에 있다.⁴
티호노프 정규화 · 능형회귀. $\lambda\lVert f\rVert^2_{\mathcal H}$ 은 티호노프 벌점의 함수공간 판본이다. 유한차원 능형회귀는 선형 커널의 RKHS에서 이 문제를 푼 것에 지나지 않는다.
커널 밀도 추정과의 이름 충돌. KDE의 “커널”은 적분이 1인 평활화 창이고 PSD일 필요가 없다. 재생핵과는 다른 물건이며, 가우시안이라는 함수 하나를 양쪽이 같이 쓰는 바람에 생긴 혼동이다.
분포의 임베딩. $\mu_P=\mathbb E_{x\sim P}[k(\cdot,x)]$ 로 확률분포 자체를 RKHS의 한 점으로 보낼 수 있고, 두 임베딩의 거리가 최대 평균 불일치(MMD)다. 특성 커널이면 이 사상이 단사라서 “분포가 같다 ⟺ 임베딩이 같다”가 되고, 두 표본 검정과 생성모형 손실이 여기서 나온다.

8. 실무 감각[편집]

커널을 고르는 것은 사전분포를 고르는 것이다. 매끄러움을 얼마나 믿는지가 $S$ 의 꼬리에 그대로 적힌다. 실측 데이터에 가우시안 커널을 걸었는데 예측이 지나치게 매끈하다면 그것은 튜닝 실패가 아니라 공간 선택 실패이고, 마테른 $\nu=3/2$ 나 $5/2$ 로 내려가는 것이 정답인 경우가 많다.
$\lVert f\rVert_{\mathcal H}$ 는 계산할 수 있는 양이다. $f=\sum\alpha_ik(\cdot,x_i)$ 이면 $\lVert f\rVert^2=\boldsymbol\alpha^{\mathsf T}K\boldsymbol\alpha$ 다. 학습된 모형의 노름을 실제로 찍어 보면 정규화 세기가 적절한지 감이 온다.
재생성은 디버깅 도구다. 구현한 커널이 진짜 PSD인지 확인하는 가장 싼 방법은 무작위 점 수백 개로 그람 행렬을 만들어 최소 고유값을 보는 것이다. 수치 오차 수준의 음수는 정상이고, 크게 음수면 커널 공식이 틀렸다.
이론과 실전의 간극을 정직하게 볼 것. 표현자 정리는 해의 형태만 주고 계수를 구하는 비용은 여전히 $O(n^3)$ 이다. 무한차원 문제가 유한차원으로 접히는 것이 마법이라면, 그 유한차원이 하필 표본 수라는 것이 청구서다.

9. 관련 문서[편집]

그래서 ” $L^2$ 함수의 그래프를 그린다”는 말은 엄밀히는 틀린 말이다. 우리가 그리는 것은 동치류의 대표원 하나이고, 그 대표원을 유한 개 점에서 바꿔도 $L^2$ 원소로서는 같은 것이다. 유한요소 코드가 절점값을 자유롭게 읽는 것은 $H^1$ 이 $d=1$ 에서 RKHS이고, $d\ge2$ 에서는 절점값이 아니라 기저함수 계수를 읽고 있기 때문이다. ↩
Aronszajn, N. (1950). “Theory of reproducing kernels.” Trans. AMS 68. 다만 아이디어의 조각들은 그보다 40년 앞서 있었다 — 자렘바(1907)가 경계값 문제에서, 베르그만(1922)이 복소해석에서 각각 재생핵을 발견했고, E. H. 무어는 1930년대에 “양의 에르미트 행렬”이라는 이름으로 같은 것을 다뤘다. 아론샤인의 공헌은 이 흩어진 것들을 한 편의 논문으로 묶고 이름을 붙인 것이다. 정리 이름에 무어가 함께 붙는 이유다. ↩
이 사실은 처음 들으면 대부분 안 믿는다. “가우시안 커널 SVM이 아무 함수나 다 근사하지 않나?” 근사하는 것과 포함하는 것은 다르다. $f(x)=\lvert x\rvert$ 는 가우시안 RKHS에 없지만, 그 공간의 원소들로 균등하게 근사할 수는 있다. 다만 근사열의 노름 $\lVert f_n\rVert_{\mathcal H}$ 은 발산하고, 정규화 세기를 0으로 보내야만 도달한다. 정규화 파라미터를 아무리 잘 골라도 꺾인 함수를 완벽히 못 맞추는 실전적 이유가 이것이다. ↩
드리스콜의 0-1 법칙(1973)과 그 후속 결과들이 이것을 정확히 진술한다 — 공분산 $k$ 를 갖는 GP의 표본경로가 $\mathcal H_k$ 에 속할 확률은 0이거나 1이고, $\mathcal H_k$ 가 무한차원이면 그 값은 0이다. 표본경로가 실제로 사는 곳은 $\mathcal H_k$ 보다 한 단계 거친 공간이다. GP 튜토리얼의 “커널이 함수의 사전분포를 정한다”는 그림은 직관적으로는 옳지만 집합론적으로는 반쯤 거짓말이고, 이 지적을 학회에서 하면 발표자가 슬퍼한다. ↩