보편 근사 정리

수치해석 통계 소프트웨어 마지막 수정: 2026-08-13 04:51:33

1. 개요[편집]

보편 근사 정리 Universal Approximation Theorem
주장	은닉층 1개 신경망의 함수족이 콤팩트 집합 위 연속함수 공간에서 조밀하다
초기 판본	Cybenko (1989, 시그모이드) · Hornik–Stinchcombe–White (1989)
결정판	Leshno–Lin–Pinkus–Schocken (1993): 활성함수가 다항식이 아니면 충분
깊이 판본	폭을 입력 차원 근처로 묶어도 깊이만 늘리면 성립
증명 성격	비구성적 (한-바나흐 + 리스 표현 정리)
말하지 않는 것	필요한 뉴런 수 · 학습 가능성 · 일반화 · 외삽
정량화	바론 공간에서 O(1/n) 수렴률 (차원 무관)

보편 근사 정리는 은닉층이 하나뿐인 순전파 신경망도 콤팩트 집합 위에서 정의된 임의의 연속함수를 원하는 정밀도로 균등 근사할 수 있다는 정리다. 형식적으로는 함수족

\mathcal{N}_\sigma = \left\{\, x \mapsto \sum_{j=1}^{N} \alpha_j\, \sigma\bigl(w_j^\top x + b_j\bigr) \ \middle|\ N \in \mathbb{N},\ \alpha_j, b_j \in \mathbb{R},\ w_j \in \mathbb{R}^n \,\right\}

이 $C(K)$ 안에서 균등노름에 대해 조밀(dense)하다는 주장이다. 즉 어떤 연속함수 $f$ 와 어떤 $\varepsilon > 0$ 을 가져와도

\sup_{x \in K} \bigl| f(x) - g(x) \bigr| < \varepsilon

를 만족하는 $g \in \mathcal{N}_\sigma$ 가 존재한다. 심층 학습이 “왜 신경망을 쓰는가”에 대해 내놓는 가장 오래되고 가장 자주 오용되는 대답이며, 실제로는 존재성만 말하고 그 밖에는 아무것도 말하지 않는 정리다. 이 문서의 절반은 그 “아무것도”에 대한 이야기다.

수치해석 하는 사람에게는 익숙한 종류의 명제이기도 하다. 바이어슈트라스 근사 정리(다항식이 $C[a,b]$ 에서 조밀하다)와 정확히 같은 형태의 주장이고, 실제로 초기 증명들은 스톤-바이어슈트라스 정리를 쓰거나 그 정신을 빌려 왔다. 그러니 정리의 무게도 딱 그만큼으로 봐야 한다 — 다항식으로 아무 연속함수나 근사할 수 있다는 사실이 “그러니까 20차 다항식으로 보간하자”를 정당화하지 않는 것과 같다.¹

2. 정리의 계보[편집]

시벤코(1989) 가 널리 인용되는 첫 판본이다. $\sigma$ 가 연속인 시그모이드형( $t\to+\infty$ 에서 1, $t\to-\infty$ 에서 0으로 수렴)일 때 $\mathcal{N}_\sigma$ 가 단위 초입방체 위 연속함수 공간에서 조밀함을 보였다. 증명 전략은 귀류법 + 함수해석이다. 조밀하지 않다면 한-바나흐 정리로 $\mathcal{N}_\sigma$ 를 소멸시키는 0이 아닌 연속 선형범함수가 존재하고, 리스 표현 정리로 그것은 부호 있는 측도 $\mu$ 다. 그런데 시그모이드가 “판별적(discriminatory)“이라는 성질 때문에 $\int \sigma(w^\top x + b)\,d\mu = 0$ 이 모든 $w, b$ 에 대해 성립하면 $\mu = 0$ 이어야 한다. 모순.

같은 해 호닉-스틴치콤-화이트가 독립적으로 임의의 스쿼싱 함수에 대해 같은 결론을 냈고, 호닉(1991) 이 조건을 크게 완화했다 — 유계이고 상수가 아닌 활성함수면 $L^p$ 근사가, 여기에 연속성까지 있으면 콤팩트 집합 위 균등 근사가 성립한다.

결정판은 레슈노-린-핀커스-쇼켄(1993) 이다. 국소적으로 유계이고 조각별 연속인 활성함수에 대해

$\mathcal{N}_\sigma$ 가 보편 근사자다 $\iff$ $\sigma$ 가 다항식이 아니다

라는 완전한 특성화를 얻었다. 필요조건 쪽은 거의 자명하다 — $\sigma$ 가 차수 $k$ 다항식이면 $\sigma(w^\top x + b)$ 도 차수 $k$ 다항식이고, 그 유한 합은 여전히 차수 $k$ 이하 다항식들의 유한 차원 부분공간에 갇힌다. 무한 차원 공간에서 조밀할 수가 없다. 충분조건이 놀라운 쪽인데, 요는 “다항식이 아니다”라는 극히 약한 조건 하나가 전부라는 것. ReLU $\max(0,x)$ , 계단함수, 심지어 이상하게 생긴 조각별 함수도 전부 통과한다. 활성함수 고르기가 근사 능력의 문제가 아니라 최적화의 문제인 이유가 여기 있다.²

3. 폭이 아니라 깊이로도 된다[편집]

위 결과들은 전부 “은닉층 1개, 폭은 무제한”이다. 현대 신경망은 반대로 생겼으므로 쌍대 질문이 자연스럽다 — 폭을 묶고 깊이를 늘리면?

ReLU 망, 스칼라 출력, 콤팩트 집합 위 균등 근사의 경우 폭 $n+1$ 이면 충분하고 폭 $n$ 이면 불가능하다( $n$ = 입력 차원). 한닌-셀케(2017).
르베그 적분 가능한 함수의 $L^1$ 근사에 대한 유사 결과가 루 등(2017)에서 먼저 나왔고, 여기서 폭 $n$ 짜리 망은 보편 근사자가 될 수 없다는 하한이 제시됐다.
일반 활성함수(비아핀 연속, 한 점 이상에서 미분 가능)로 확장한 것이 키저-라이언스(2020)로, 입력 $n$ 차원·출력 $m$ 차원에 대해 폭 $n+m+2$ 면 충분하다.
$L^p$ 기준 ReLU 망의 최소 폭은 $\max(n+1, m)$ 이라는 정확한 값도 알려져 있다(박 등, 2021).

폭 $n$ 이 왜 안 되는지는 직관적으로 그럴듯하다. ReLU 층은 정보를 잃기만 하므로, 병목이 입력 차원과 같으면 다양체를 접었다 펴는 데 필요한 여유 차원이 없다. 폭 하나가 정보 통로인 셈이다.

여기서 한 걸음 더 나가면 깊이 분리 정리가 나온다. 근사 가능성이 아니라 효율의 문제다. 텔가스키(2016)는 1차원에서 톱니 함수 구성을 이용해 깊은 망이 표현하는 함수를 얕은 망이 흉내 내려면 폭이 지수적으로 커져야 함을 보였고, 엘단-샤미르(2016)는 3층 망이 다항 크기로 표현하는 함수 중 2층 망으로는 차원에 대해 지수 크기가 필요한 것이 존재함을 보였다. 깊이는 근사 능력을 넓히는 게 아니라 같은 정확도를 훨씬 싸게 사는 수단이라는, 실무자의 감각과 일치하는 결론이다.

4. 정리가 말하지 않는 것[편집]

이 문서에서 가장 중요한 절이다. 보편 근사 정리는 다음 중 어느 것도 주장하지 않는다.

필요한 뉴런 수. 정리는 ” $N$ 이 존재한다”만 말한다. $N$ 이 $\varepsilon^{-n}$ 일 수도 있고, 실제로 일반적인 연속함수 클래스에서는 그렇다. 존재성과 실현 가능성 사이의 간극이 지수적이다.
그 파라미터를 찾는 방법. 증명은 비구성적이다. 좋은 $g$ 가 있다는 것과 확률적 경사하강법이 그것을 찾아낸다는 것은 완전히 다른 명제다. 참고로 은닉 노드 3개짜리 망의 훈련조차 일반적으로 NP-완전임이 1992년에 증명됐다(블룸-리베스트). 손실 지형은 비볼록이며, 우리가 실제로 얻는 것은 확률적 국소해다.
일반화. 정리는 훈련 집합이든 시험 집합이든 구분하지 않고 함수 자체를 근사한다는 이야기다. 유한 표본에서 배운 망이 처음 보는 입력에서 잘한다는 보장은 여기서 나오지 않는다. 그건 통계 학습 이론의 영역이고, 심층망에서는 아직 논쟁 중이다.
외삽. 콤팩트 집합 $K$ 위에서만이다. $K$ 밖의 거동에 대해 정리는 침묵한다. 학습 데이터의 볼록 껍질을 벗어난 곳에서 신경망 대리 모델이 태연하게 물리적으로 불가능한 값을 뱉는 현상은 버그가 아니라 정리의 적용 범위 밖이다.
조건수·안정성. 근사가 존재해도 그 파라미터가 병적으로 큰 값이거나 상쇄에 의존할 수 있다. 보간과 근사에서 고차 다항식 보간이 겪는 문제와 같은 종류다.

요약하면 “신경망은 무엇이든 근사할 수 있으니 이 문제도 될 겁니다”는 논증이 아니다. 그 문장은 “리만 적분 가능하니까 이 적분은 수치적으로 잘 계산될 겁니다”와 논리적 지위가 같다.

5. 차원의 저주와 바론 공간[편집]

그럼 필요한 뉴런 수를 정량화할 수는 없나. 여기서 이야기가 흥미로워진다.

고전 근사 이론의 답은 우울하다. $d$ 차원에서 $s$ 계 미분까지 유계인 소볼레프 공 위의 함수를 $n$ 개 파라미터로 근사할 때, 파라미터가 함수에 연속적으로 의존한다면 오차는 $n^{-s/d}$ 보다 좋아질 수 없다(드보어-하워드-미첼리, 1989). 지수의 $d$ 가 분모에 있다 — 차원의 저주 그 자체다. $d = 100$ 이면 정밀도를 두 배로 올리는 데 필요한 파라미터가 천문학적이 된다. 이건 신경망의 결함이 아니라 함수 클래스의 성질이라 어떤 방법도 피할 수 없다.

그런데 바론(1993) 이 예외를 찾았다. 푸리에 변환 $\hat{f}$ 에 대해

C_f = \int_{\mathbb{R}^d} \lVert \omega \rVert \, \bigl| \hat{f}(\omega) \bigr| \, d\omega \ < \ \infty

인 함수 클래스(바론 공간)에서는, 은닉 노드 $N$ 개짜리 1층 신경망이

\lVert f - f_N \rVert_{L^2(\mu)}^2 \ \le\ \frac{(2C_f)^2}{N}

를 달성한다. 지수에 $d$ 가 없다. 차원이 100이든 1000이든 노드 수를 네 배로 늘리면 오차가 절반이 된다. 증명의 핵심은 $f$ 를 시그모이드들의 볼록 결합의 극한으로 본 뒤, 그 볼록 집합에서 몬테카를로 방법식 표본추출을 하는 것이다 — 몬테카를로 적분의 $O(N^{-1/2})$ 수렴이 차원과 무관한 것과 정확히 같은 이유로 차원 무관성이 나온다.

이것이 신경망이 고차원에서 살아남는 이유에 대한 가장 구체적인 이론적 설명이다. 다만 조건이 붙는다. $C_f$ 자체가 차원에 따라 커질 수 있고, 실제 관심 함수가 바론 공간에 있는지 확인할 방법이 마땅치 않으며, 여전히 “그런 $f_N$ 이 존재한다”까지만 말한다. 그래도 스펙트럴 방법이나 유한요소법의 격자 기반 근사가 고차원에서 원리적으로 무너지는 것과 대비하면, 왜 6차원 이상의 매개변수 공간에서 신경망 대리 모델이 유일한 현실적 선택이 되는지는 이 결과로 설명된다.

6. 사촌 정리들과 확장[편집]

콜모고로프-아르놀트 표현 정리(1957). 임의의 연속 다변수 함수가 단변수 연속함수들과 덧셈만의 정확한 유한 중첩으로 표현된다는 정리로, 힐베르트의 13번 문제에 대한 답이었다. 근사가 아니라 정확한 표현이라는 점에서 훨씬 강력해 보이지만, 내부 단변수 함수들이 프랙탈처럼 병적이라 수치적으로 다루기 어려워 오랫동안 실용성이 없다고 평가받았다. 최근 이 구조를 신경망 아키텍처로 되살리려는 시도가 다시 나오고 있다. 콜모고로프-아르놀트 표현 정리 참고.
도함수까지 근사. 신경망은 함수뿐 아니라 그 도함수까지 동시에 균등 근사할 수 있다(호닉 등, 1990). 손실 함수에 미분 연산자를 넣는 물리 정보 신경망이 원리적으로 말이 되는 근거가 이 확장이다.
연산자 근사. 신경망이 함수를 함수로 보내는 비선형 연산자까지 근사할 수 있다는 결과가 첸-첸(1995)에서 나왔다. 나중에 DeepONet 계열 연산자 학습의 이론적 출발점이 됐고, “매개변수를 바꿀 때마다 PDE를 다시 푸는 대신 해 연산자 자체를 학습한다”는 CAE 쪽 접근의 배경이 된다.
깊이·너비 유한판. 유계 깊이·유계 폭 조합에 대한 정량적 근사율 결과들이 2017년 이후 대량으로 나왔다. ReLU 망이 매끄러운 함수를 근사할 때의 파라미터 수 상하한이 상당히 좁혀진 상태다.

7. 그래서 실무자는 이걸 어떻게 쓰는가[편집]

솔직히 말하면 거의 안 쓴다. 이 정리의 실용적 가치는 “신경망으로 안 되는 문제인가?”라는 질문에 “표현력 때문은 아니다”라고 답해 주는 것 정도다. 학습이 안 될 때 의심할 곳이 표현력이 아니라 데이터·최적화·정규화·아키텍처 귀납편향임을 알려 주는 배제 진단에 가깝다.

반대로 이 정리를 근거로 삼는 잘못된 논증 세 가지는 자주 본다. (가) “보편 근사자니까 난류 모델링 상수를 신경망으로 대체하면 된다” — 표현 가능성과 학습 가능성은 다른 문제다. (나) “층을 하나만 써도 이론적으로 충분하다” — 충분하지만 폭이 지수적으로 필요할 수 있고, 깊이 분리 정리가 정확히 그 반대를 말한다. (다) “따라서 신경망은 물리 법칙도 학습한다” — 콤팩트 집합 위에서의 근사는 외삽에 대해 아무 말도 하지 않는다.

정리를 정확히 읽는 습관은 결국 검증 및 확인의 감각과 같다. 존재 정리는 존재를 말하고, 수렴률 정리는 수렴률을 말하고, 그 이상은 우리가 실험으로 확인해야 한다.³

8. 관련 문서[편집]

실제로 두 정리는 계보상 사촌 이상이다. 바이어슈트라스(1885)의 원래 증명은 가우스 핵으로 함수를 매끄럽게 만든 뒤 지수함수를 급수로 자르는 것이었는데, 이 “기저 함수를 평행이동·스케일링해 겹쳐 쌓는다”는 구조가 은닉층 하나짜리 신경망과 정확히 같은 모양이다. 100년의 시차를 두고 같은 아이디어에 다른 이름이 붙은 셈. ↩
그래서 “ReLU가 시그모이드보다 표현력이 좋다”는 말은 틀렸다. 둘 다 비다항식이라 보편 근사자다. ReLU가 이긴 이유는 기울기 소실이 없고 미분이 상수라 역전파가 싸기 때문이지, 근사할 수 있는 함수 집합이 넓어서가 아니다. 표현력과 훈련 용이성을 섞어 말하는 것은 이 바닥의 만성 질환이다. ↩
CFD 하는 사람에게 익숙한 대응을 하나 붙이면, 보편 근사 정리는 락스 등가 정리의 “일관성” 절반만 있고 “안정성” 절반이 없는 상태와 비슷하다. 근사할 수 있다는 말이 수치적으로 얻어진다는 말은 아니라는 것 — 우리는 이미 이 교훈을 한 번 배웠는데, 학회를 옮기면 처음부터 다시 배우게 된다. ↩