스톤-바이어슈트라스 정리

수치해석 소프트웨어 마지막 수정: 2026-08-19 04:48:19

1. 개요[편집]

스톤-바이어슈트라스 정리 Stone–Weierstrass Theorem
원형	바이어슈트라스 근사 정리 (1885): 다항식은 C[a,b] 에서 조밀
일반화	Marshall Stone (1937, 1948)
무대	콤팩트 하우스도르프 공간 X 위의 C(X), 균등노름
가정	부분대수 · 점 분리 · 상수 포함(또는 어디서도 0이 아님)
결론	그 부분대수는 C(X) 에서 균등 조밀
복소 판본	자기수반(켤레에 닫힘) 조건이 추가로 필요
말하지 않는 것	수렴 속도 · 근사자를 찾는 방법

스톤-바이어슈트라스 정리는 콤팩트 하우스도르프 공간 $X$ 위의 연속함수들이 이루는 대수 $C(X,\mathbb{R})$ 안에서, 점을 분리하고 상수함수를 포함하는 부분대수는 균등노름에 대해 조밀하다는 정리다. 즉 그런 부분대수 $\mathcal{A}$ 를 하나 가져오면, 임의의 연속함수 $f$ 와 임의의 $\varepsilon>0$ 에 대해

\sup_{x\in X}\ |f(x)-g(x)| < \varepsilon

를 만족하는 $g\in\mathcal{A}$ 가 반드시 존재한다.

이름에서 짐작되듯 이것은 바이어슈트라스 근사 정리(1885)의 일반화다. 원판은 “닫힌 구간 위의 연속함수는 다항식으로 균등 근사된다”였는데, 스톤은 1937년과 1948년의 작업에서 다항식이라는 구체적 대상은 본질이 아니고, 필요한 것은 (가) 곱셈에 닫혀 있고 (나) 서로 다른 두 점을 구별할 수 있다는 두 성질뿐임을 밝혀냈다. 정의역도 실직선의 구간일 필요가 없고 콤팩트 하우스도르프이기만 하면 된다. 근사 이론의 여러 고전 결과(삼각다항식의 조밀성, 다변수 다항식의 조밀성 등)가 이 하나의 진술에서 따름정리로 떨어져 나온다.

수치해석 하는 사람에게 이 정리의 실질적 의미는 “기저를 잘 골랐다면 원하는 정밀도는 원리적으로 도달 가능하다”는 존재 보증이다. 그 이상은 아니다. 몇 개의 항이 필요한지도, 그 항을 어떻게 찾는지도 말해 주지 않는다는 점에서 보편 근사 정리와 정확히 같은 지위의 명제다.

2. 정확한 진술과 가정의 필요성[편집]

$X$ 는 콤팩트 하우스도르프 공간, $\mathcal{A}\subseteq C(X,\mathbb{R})$ 는 부분대수(덧셈·스칼라배·곱셈에 닫힌 부분공간)라 하자.

$\mathcal{A}$ 가 상수함수를 포함하고 $X$ 의 점들을 분리하면(즉 $x\ne y$ 마다 $f(x)\ne f(y)$ 인 $f\in\mathcal{A}$ 가 있으면), $\mathcal{A}$ 는 $C(X,\mathbb{R})$ 에서 조밀하다.

세 가정 모두 버릴 수 없다.

곱셈 닫힘. 그냥 부분공간이면 유한 차원짜리 반례가 널려 있다. 1차 이하 다항식 전체는 점을 분리하고 상수를 포함하지만 조밀할 리가 없다. 이 항목이 뒤에서 신경망 이야기의 전부가 된다.
점 분리. $X=[-1,1]$ 에서 짝함수들의 집합은 대수이고 상수를 포함하지만 $x$ 와 $-x$ 를 구별하지 못한다. 그 균등 폐포는 짝연속함수 전체이지 $C[-1,1]$ 이 아니다. $f(x)=x$ 를 근사할 수 없다.
상수 포함. 이건 ” $X$ 의 어느 점에서도 동시에 0이 되지 않는다”로 약화할 수 있다. 반대로 모든 원소가 $x_0$ 에서 0이면 폐포의 모든 원소도 $x_0$ 에서 0이므로 조밀할 수 없다.

콤팩트성도 본질적이다. 콤팩트하지 않은 공간에서는 균등노름 자체가 잘 정의되지 않거나(무계 함수) 결론이 깨진다. 국소 콤팩트 하우스도르프 공간에서는 무한대에서 소멸하는 함수 공간 $C_0(X)$ 를 무대로 삼는 판본이 따로 있다.

3. 증명의 골격 — 대수를 격자로 바꾸기[편집]

스톤의 증명은 세 단계로 요약된다. 아이디어가 예쁘고, 왜 “곱셈”이 필요한지가 여기서 드러난다.

1단계: 절댓값을 만든다. $\mathcal{A}$ 의 균등 폐포 $\overline{\mathcal{A}}$ 는 $f\in\overline{\mathcal{A}}$ 일 때 $|f|\in\overline{\mathcal{A}}$ 를 만족한다. 근거는 $|t|$ 가 $[-1,1]$ 위에서 다항식으로 균등 근사된다는 사실인데, 이건 순환논법 없이 직접 보일 수 있다. 예컨대 $p_0 \equiv 0$ 에서 출발해

p_{n+1}(t) = p_n(t) + \tfrac{1}{2}\bigl(t^2 - p_n(t)^2\bigr)

로 정의하면 $p_n(t) \uparrow |t|$ 가 균등하게 성립한다. 다항식이므로 $p_n(f) \in \mathcal{A}$ 이고 — 여기서 곱셈 닫힘이 쓰인다 — 극한으로 $|f|$ 를 얻는다.

2단계: 격자가 된다. 절댓값이 있으면

\max(f,g) = \frac{f+g+|f-g|}{2}, \qquad \min(f,g) = \frac{f+g-|f-g|}{2}

이므로 $\overline{\mathcal{A}}$ 는 최대·최소에 닫힌 격자다.

3단계: 두 점 보간 + 콤팩트성. 점 분리와 상수 포함이 있으면 임의의 두 점 $x\ne y$ 와 임의의 값 $a,b$ 에 대해 $h(x)=a$ , $h(y)=b$ 인 $h\in\mathcal{A}$ 를 명시적으로 만들 수 있다( $f$ 를 점 분리 함수라 할 때 $h = a + (b-a)\frac{f-f(x)}{f(y)-f(x)}$ ). 이제 목표 함수 $f$ 를 고정하고 각 점마다 국소적으로 $f$ 를 위/아래에서 $\varepsilon$ 이내로 붙잡는 함수를 만든 뒤, 콤팩트성으로 유한 개만 남기고 $\max$ · $\min$ 으로 이어 붙인다. 콤팩트 덮개 논법을 두 번 쓰면 끝난다.

즉 이 정리의 실체는 “대수 구조를 격자 구조로 환전한 뒤, 조각을 이어 붙여 목표 함수를 감싼다”이다. 구성적으로 보이지만 실제로 쓸 만한 근사자를 주지는 않는다 — 콤팩트 덮개에서 유한 부분덮개를 고르는 단계가 아무 정보를 주지 않기 때문이다.¹

4. 복소 판본과 자기수반 조건[편집]

복소함수 공간 $C(X,\mathbb{C})$ 에서는 가정이 하나 더 필요하다. 부분대수 $\mathcal{A}$ 가 켤레에 닫혀 있어야 한다( $f\in\mathcal{A}\Rightarrow\bar f\in\mathcal{A}$ ). 이를 자기수반(self-adjoint) 조건이라 한다. 이유는 간단하다. 켤레가 있으면 $\operatorname{Re}f=(f+\bar f)/2$ , $\operatorname{Im}f=(f-\bar f)/2i$ 가 모두 $\mathcal{A}$ 안에 있으므로 실 판본으로 환원되기 때문이다.

빼면 정말로 깨진다. 표준 반례가 원판 대수다. 닫힌 단위원판 $\overline{\mathbb{D}}$ 위에서 연속이고 내부에서 정칙인 함수들의 집합 $A(\overline{\mathbb{D}})$ 는 대수이고, 상수를 포함하고, $z$ 하나만으로도 점을 분리한다. 그런데 균등 극한이 정칙성을 보존하므로 이 집합은 이미 닫혀 있고, $\bar z$ 는 여기에 속하지 않는다. 즉 조밀하지 않다. 빠진 가정이 정확히 자기수반성이고, 빠진 함수가 정확히 $\bar z$ 다. 복소해석에서 정칙함수가 그토록 경직된 대상인 이유를 근사 이론 언어로 다시 말한 것이라고 봐도 된다.

자기수반 조건 없이 복소 부분대수의 폐포를 기술하는 일반 결과가 비숍의 정리이고, 미분에 닫힌 부분대수를 $C^\infty$ 급에서 다루는 확장이 나흐빈의 정리다.

5. 삼각다항식과 푸리에 근사[편집]

가장 자주 쓰는 따름정리가 이것이다. $X$ 를 단위원 $\mathbb{T}=\{e^{i\theta}\}$ (콤팩트 하우스도르프)로 두고 $\mathcal{A}$ 를 삼각다항식 $\sum_{|n|\le N} c_n e^{in\theta}$ 전체로 두면,

곱셈에 닫힘: $e^{in\theta}e^{im\theta}=e^{i(n+m)\theta}$
상수 포함: $n=0$
점 분리: $e^{i\theta}$ 가 원 위의 점을 구별
자기수반: $\overline{e^{in\theta}} = e^{-in\theta}$

가 전부 성립하므로 삼각다항식은 $C(\mathbb{T})$ 에서 조밀하다. 주기 연속함수는 유한 푸리에 급수로 균등 근사된다는 것.

여기서 흔한 오해를 하나 끊어 둘 필요가 있다. 이 결론은 “그런 삼각다항식이 존재한다”이지 “그 함수의 푸리에 급수 부분합이 균등수렴한다”가 아니다. 실제로 부분합이 한 점에서 발산하는 연속함수가 존재한다(뒤부아-레몽, 1873). 존재하는 근사자를 명시적으로 만들어 주는 것은 부분합이 아니라 그 산술평균, 즉 페예르 커널로 얻는 체사로 평균이며, 이쪽은 연속함수에 대해 항상 균등수렴한다. 불연속점 근처에서 부분합이 일으키는 깁스 현상이 페예르 평균에서는 사라지는 것도 같은 이유다.

존재 정리가 알고리즘을 주지 않는다는 교훈이 여기서 아주 구체적인 형태로 나타난다 — 조밀성은 참인데, 가장 자연스러운 구성법이 그 조밀성을 실현하지 못한다.

6. 수치해석에서의 위치 — 조밀성과 수렴률은 다른 문제[편집]

스톤-바이어슈트라스는 스펙트럴 방법이나 다항식 카오스 전개처럼 “적당한 기저의 유한 결합으로 해를 표현한다”는 모든 기법의 완비성 근거로 인용된다. 다항식·삼각다항식·직교다항식 전개가 원리적으로 아무 연속함수나 잡아낼 수 있다는 보증이 없으면 그 방법론들은 출발조차 못 한다.

문제는 그 보증이 딱 거기까지라는 것이다. 실무에 필요한 것은 ” $N$ 개 항으로 오차가 얼마”인데, 그 답은 스톤-바이어슈트라스가 아니라 잭슨 정리 계열에서 나온다. 최선 근사 오차 $E_N(f)=\inf_{\deg p\le N}\lVert f-p\rVert_\infty$ 에 대해 잭슨 정리는 대략

E_N(f) \ \le\ \frac{C_k}{N^{k}}\,\omega\!\left(f^{(k)};\ \frac{1}{N}\right)

꼴의 상한을 준다( $f\in C^k$ , $\omega$ 는 연속 계수). 매끄러울수록 빨리 줄고, 해석적이면 기하급수적으로 줄어든다. 스펙트럴 방법이 매끄러운 해에서 지수 수렴하고 충격파가 끼면 즉시 대수 수렴으로 떨어지는 현상이 전부 이 부등식의 이야기다. 조밀성은 성립 여부의 문제이고 수렴률은 성능의 문제이며, 둘을 섞어 말하면 아무것도 예측할 수 없다.

두 번째 함정도 있다. 좋은 근사 다항식이 존재한다는 것과 우리가 쓰는 방법이 그것을 찾는다는 것은 다르다. 등간격 절점에서의 다항식 보간은 차수를 올릴수록 발산할 수 있고(룽게 현상), 이는 스톤-바이어슈트라스와 전혀 모순되지 않는다. 최선 근사는 여전히 존재하며 체비쇼프 다항식 절점이나 직교 투영은 그것에 가깝게 간다. 자세한 이야기는 보간과 근사 문서로 넘긴다.

7. 보편 근사 정리와의 관계, 그리고 차이[편집]

보편 근사 정리는 문장 구조가 이 정리와 판박이다 — 어떤 함수족이 콤팩트 집합 위 연속함수 공간에서 조밀하다. 그래서 “신경망 보편 근사는 스톤-바이어슈트라스의 따름정리”라는 설명을 자주 보게 되는데, 일반적으로는 틀렸다.

이유는 하나뿐이다. 은닉층 하나짜리 신경망의 함수족

\mathcal{N}_\sigma=\Bigl\{\ \textstyle\sum_j \alpha_j\,\sigma(w_j^\top x+b_j)\ \Bigr\}

는 선형 부분공간이지 대수가 아니다. $\sigma(w^\top x+b)\cdot\sigma(w'^\top x+b')$ 를 다시 같은 형태의 유한합으로 쓸 방법이 일반적으로 없다. 스톤-바이어슈트라스의 1단계(절댓값 만들기)가 통째로 막히므로 정리를 그대로 적용할 수 없다.

그런데 특정 활성함수에서는 정말로 따름정리가 된다.

$\sigma=\cos$ 이면 곱셈 공식 $\cos A\cos B=\tfrac12[\cos(A{+}B)+\cos(A{-}B)]$ 덕분에 $\mathcal{N}_{\cos}$ 이 대수가 된다. 상수도 포함하고( $w=0,b=0$ ) 점도 분리하므로 스톤-바이어슈트라스가 즉시 적용된다. 호닉-스틴치콤-화이트(1989)가 “코사인 스쿼셔”를 경유해 결과를 얻은 것이 이 경로다.
$\sigma=\exp$ 이면 $e^{a}e^{b}=e^{a+b}$ 로 역시 대수다. 지수 활성함수 망의 조밀성은 공짜.
반대로 $\sigma$ 가 차수 $k$ 다항식이면 $\mathcal{N}_\sigma$ 는 차수 $k$ 이하 다항식들의 유한 차원 부분공간에 갇혀 조밀할 수 없다. 레슈노 등(1993)의 “다항식만 아니면 된다”는 특성화에서 배제되는 쪽이 정확히 이 경우다.

일반적인 시그모이드에는 이런 곱셈 공식이 없다. 그래서 시벤코(1989)는 다른 길을 갔다 — 조밀하지 않다고 가정하고 한-바나흐 정리로 $\mathcal{N}_\sigma$ 를 소멸시키는 0 아닌 연속 선형범함수를 얻은 뒤, 리스 표현 정리로 그것을 부호 있는 측도 $\mu$ 로 바꾸고, 시그모이드의 “판별성”에서 $\mu=0$ 이라는 모순을 끌어낸다. 대수 구조 대신 함수해석과 측도론을 쓴 것이다. 두 증명의 성격 차이를 한 줄로 요약하면 이렇다.

	스톤-바이어슈트라스	시벤코의 보편 근사
대상	부분대수	부분공간
핵심 도구	곱셈 닫힘 → 격자 → 덮개	한-바나흐 → 리스 표현 → 판별성
결론의 성격	비구성적	비구성적
활성함수 조건	곱셈 공식 필요	시그모이드형(뒤에 비다항식으로 완화)

둘 다 비구성적이라는 마지막 줄이 실무적으로는 제일 중요하다. 어느 쪽도 뉴런 몇 개가 필요한지, 그 파라미터를 어떻게 찾는지 말하지 않는다.

8. 콜모고로프-아르놀트 표현 정리로[편집]

같은 동네의 세 번째 정리가 콜모고로프-아르놀트 표현 정리(1957)다. 임의의 연속함수 $f:[0,1]^n\to\mathbb{R}$ 에 대해

f(x_1,\dots,x_n)=\sum_{q=0}^{2n}\Phi_q\!\left(\sum_{p=1}^{n}\varphi_{q,p}(x_p)\right)

를 만족하는 단변수 연속함수 $\Phi_q,\varphi_{q,p}$ 가 존재한다. 힐베르트의 13번 문제에 대한 답이며, 성격이 앞의 둘과 근본적으로 다르다.

스톤-바이어슈트라스와 보편 근사는 근사를 말하고 항의 개수에 상한이 없다.
콜모고로프-아르놀트는 정확한 표현을 말하고 항의 개수가 $2n+1$ 로 고정돼 있다.

훨씬 강해 보이지만 대가가 있다. 내부 함수 $\varphi_{q,p}$ 는 $f$ 와 무관하게 고를 수 있는 대신 극도로 불규칙하고(단조 연속이지만 어디서도 미분 불가능한 형태로 잡힌다), 외부 함수 $\Phi_q$ 는 $f$ 에 의존하며 일반적으로 연속 이상을 기대할 수 없다. 실제로 비투슈킨은 이 표현을 매끄러운 함수들로 실현할 수 없음을 보였다. 표현은 정확한데 그 부품이 수치적으로 다루기 힘들다는 것이 이 정리가 오랫동안 “예쁘지만 쓸모없다”는 평가를 받은 이유다. 이 구조를 신경망 아키텍처로 되살리려는 최근 시도들도 결국 이 지점과 씨름한다.

세 정리를 나란히 놓으면 함수 근사의 지형이 보인다. 스톤-바이어슈트라스는 어떤 사전(dictionary)이 충분한가를 대수 구조로 답하고, 보편 근사 정리는 그 답이 안 통하는 곳에서 함수해석으로 우회하며, 콜모고로프-아르놀트는 근사를 포기하고 정확한 분해를 얻되 부품의 규칙성을 내준다. 셋 다 존재 정리이고, 셋 다 검증 및 확인이 필요한 자리에서 “그러니까 될 겁니다”의 근거로 오용된다.² 존재는 존재만 말한다.³

9. 관련 문서[편집]

바이어슈트라스 원판의 증명 중 가장 유명한 것은 오히려 확률론에서 왔다. 베른슈타인(1912)은 $B_N(f)(x)=\sum_{k}\binom{N}{k}x^k(1-x)^{N-k}f(k/N)$ 이 균등수렴함을 큰 수의 법칙으로 보였다 — 이항분포의 평균이 $Nx$ 에 몰리니 $f(k/N)$ 의 기댓값이 $f(x)$ 로 간다는 것. 번스타인 다항식은 수렴이 $O(1/N)$ 로 느려 계산용으로는 안 쓰이지만, 컴퓨터 그래픽스의 베지에 곡선이 정확히 이 기저 위에 서 있다는 점에서 실무적 후손을 남겼다. ↩
“신경망은 보편 근사자이니 이 유동장도 학습할 수 있습니다”와 “다항식은 조밀하니 20차 보간을 씁시다”는 논리적 지위가 같다. 후자를 들으면 다들 웃는데 전자는 발표장에서 통과되는 것이 이 바닥의 미스터리다. ↩
스톤 본인은 이 정리 말고도 스톤-체흐 콤팩트화, 스톤 표현 정리로 이름이 세 군데 붙어 있다. 한 사람이 위상수학·불 대수·근사 이론에 각각 자기 이름의 정리를 하나씩 남기는 것은 그 시절에도 흔한 일은 아니었다. ↩