콜모고로프-아르놀트 표현 정리

수치해석 통계 소프트웨어 마지막 수정: 2026-08-22 04:52:39

1. 개요[편집]

콜모고로프-아르놀트 표현 정리 Kolmogorov–Arnold Representation Theorem
주장	임의의 연속 다변수 함수를 단변수 연속함수의 합성과 덧셈만으로 정확히 표현할 수 있다
발표	Kolmogorov (1957) — Arnold (1957) 의 3변수 결과에 뒤이어
배경	힐베르트의 13번 문제 (연속함수 판본의 반증)
구조	외부 함수 $2n+1$ 개 · 내부 함수 $n(2n+1)$ 개
강한 형태	내부 함수는 $f$ 와 무관하게 고정 가능 (Lorentz · Sprecher)
약점	내부 함수가 병적으로 비매끄러움 → 근사 정리로 직결되지 않음
현대적 부활	KAN (Liu 외 2024) — 간선 위의 학습 가능한 스플라인

콜모고로프-아르놀트 표현 정리(Kolmogorov–Arnold representation theorem, 또는 콜모고로프 중첩 정리)는 $[0,1]^n$ 위의 임의의 연속함수 $f$ 가 단변수 연속함수들의 합성과 덧셈만으로 정확히 표현된다는 정리다. 구체적으로, 모든 연속 $f : [0,1]^n \to \mathbb{R}$ 에 대해 연속인 단변수 함수 $\Phi_q$ 와 $\varphi_{q,p}$ 가 존재해

f(x_1, \dots, x_n) \;=\; \sum_{q=0}^{2n} \Phi_q\!\left( \sum_{p=1}^{n} \varphi_{q,p}(x_p) \right)

가 성립한다. 바깥 합은 $q = 0$ 부터 $2n$ 까지 — $2n+1$ 개의 항이고, 내부 함수는 $n(2n+1)$ 개다. 이 개수는 $f$ 가 무엇이든, $n$ 이 3이든 300이든 변하지 않는다.

주장의 무게를 느끼려면 이렇게 읽으면 된다. 다변수라는 성질 자체가 본질적이지 않다. 변수들이 얽혀 만드는 모든 복잡성은 단변수 함수와 덧셈으로 분해된다. 신경망 문헌에서 이 정리가 반복해 소환되는 이유가 여기 있다 — 딱 봐도 “2층짜리 망”의 모양이기 때문이다. 그런데 그 모양을 실제 아키텍처로 쓰려는 시도는 30년 넘게 실패했고, 왜 실패했는지가 이 문서에서 가장 중요한 부분이다.

2. 힐베르트의 13번 문제[편집]

정리의 출신은 근사 이론이 아니라 대수방정식이다.

힐베르트가 1900년에 낸 23개 문제 중 13번은, 7차 대수방정식의 해를 계수의 함수로 볼 때 2변수 함수들의 중첩으로 나타낼 수 없다는 것이 그의 추측이었다. 티르힝하우스 변환으로 7차 방정식의 근은 3개의 매개변수에 의존하는 함수로 줄어드는데, 그 3변수 함수가 2변수 함수들의 조합으로 환원되지 않으리라는 주장이다.

결과는 힐베르트의 예상과 반대였다. 다만 어느 함수 부류를 허용하느냐에 따라 답이 갈린다는 점이 중요하다.

연속함수 부류. 콜모고로프(1956)가 먼저 임의의 연속 다변수 함수를 3변수 연속함수들의 중첩으로 쓸 수 있음을 보였고, 아르놀트(1957)가 3변수를 2변수로 내려 힐베르트의 추측을 반증했다. 그리고 같은 해 콜모고로프(1957)가 판을 통째로 뒤집어, 2변수는커녕 단변수 함수와 덧셈만으로 충분함을 보였다. 스승과 제자가 한 해에 주고받은 이 결과가 오늘날 우리가 부르는 콜모고로프-아르놀트 정리다.¹
매끄러운 함수 부류. 여기서는 힐베르트가 옳은 쪽에 가깝다. 비투시킨(1954)이 $C^k$ 부류에서는 유사한 환원이 일반적으로 불가능함을 증명했다. 즉 매끄러움을 요구하는 순간 다변수성은 환원 불가능한 성질이 된다.

이 대비가 정리 전체의 성격을 결정한다. 콜모고로프의 표현이 존재하는 대가는 표현 함수들의 매끄러움을 포기하는 것이다. 공짜 점심은 없고, 여기서는 매끄러움이 값이다.

3. 강한 형태 — 내부 함수는 $f$ 와 무관하다[편집]

정리에는 놀랄 만큼 강한 정련형이 있다.

로렌츠(1962). 외부 함수를 전부 같게 잡을 수 있다. 즉 $\Phi_q = \Phi$ 하나면 된다.
스프레커(1965). 내부 함수를 한 개의 단조증가 함수 $\psi$ 의 평행이동·스케일링으로 잡을 수 있다. $\varphi_{q,p}(x_p) = \lambda_p\,\psi(x_p + q a)$ 꼴.

이 둘을 합치면 표현이 이렇게 축약된다.

f(x) \;=\; \sum_{q=0}^{2n} \Phi\!\left( \sum_{p=1}^{n} \lambda_p\, \psi\bigl(x_p + q a\bigr) \right)

여기서 $\psi$ , $\lambda_p$ , $a$ 는 $n$ 에만 의존하고 $f$ 에는 전혀 의존하지 않는다. $f$ 에 의존하는 것은 바깥 함수 $\Phi$ 하나뿐이다.

이건 대단히 도발적인 진술이다. 차원 $n$ 을 고정하면 보편적인 “배선”이 한 번 정해지고, 학습할 것은 스칼라 함수 하나라는 뜻이 되니까. 신경망으로 옮기면 “은닉층은 고정, 출력 비선형성만 학습”이라는 그림이다.

내부 함수의 개수 $2n+1$ 도 더 줄일 수 없다는 것이 알려져 있다 — 스턴펠트의 결과로, $2n+1$ 은 최소값이다. 정리가 우연히 얻어진 개수가 아니라 날카로운 진술이라는 뜻이다.

4. 왜 근사 정리로 직결되지 않는가[편집]

문제는 그 보편적인 $\psi$ 와, $f$ 마다 달라지는 $\Phi$ 의 정체다.

$\psi$ 는 존재는 하지만 구성이 병적이다. 표준적인 구성은 $[0,1]$ 을 점점 잘게 쪼개는 구간 체계를 만들고 각 단계에서 값을 조금씩 쌓아 올리는 방식인데, 결과물은 연속이지만 프랙탈에 가까운 계단 구조를 가진 단조함수다. 어디서도 매끄럽지 않고, 유한한 스플라인이나 다항식으로 잘 근사되지 않는다. 사실상 $\psi$ 는 $n$ 개의 입력을 하나의 실수로 밀어 넣는 공간 채움 곡선 같은 부호화를 수행하고 있고, 그 부호를 해독하는 것이 $\Phi$ 다.

그래서 $\Phi$ 쪽도 험해진다. $\psi$ 가 $[0,1]^n$ 의 정보를 실선 위에 극도로 압축해 얹어 놨으므로, 이를 되풀어내는 $\Phi$ 는 $f$ 가 아무리 매끄러워도 심하게 진동한다. 게다가 $f$ 를 조금 흔들면 $\Phi$ 는 크게 바뀔 수 있다 — 표현이 $f$ 에 대해 안정적이지 않다.

지로시와 포지오(1989)가 Neural Computation 에 “Kolmogorov’s theorem is irrelevant” 라는 도발적인 제목으로 이 지점을 정리했다. 요지는 세 가지다.

정리가 보장하는 함수들이 매끄럽지 않아 실제 망의 기저(시그모이드, 스플라인 등)로 표현되지 않는다.
$\Phi$ 가 $f$ 에 의존하는 방식이 알려지지 않았고 불안정하다. “학습하면 된다”고 말하려면 학습 대상의 성질을 알아야 하는데 그게 없다.
따라서 이 정리는 “신경망이 왜 잘 되는가”에 대한 설명이 될 수 없다.

반박도 곧 나왔다. 쿠르코바(1991, “Kolmogorov’s theorem is relevant”)는 내부·외부 함수를 정확히 구현하는 대신 시그모이드 유닛으로 근사하는 판본을 만들면, 필요한 유닛 수를 명시적으로 셀 수 있는 근사 정리가 나온다는 것을 보였다. 즉 정리를 “정확한 표현”으로 쓰려 하면 지로시-포지오가 맞고, “근사의 설계도”로 쓰면 쓸모가 있다는 절충이다.

현재의 합의는 대략 이렇다. 콜모고로프-아르놀트 정리는 아름답고 날카로운 위상수학·근사론적 사실이지만, 그 자체로 실용적 학습 아키텍처를 정당화하지는 못한다. 정리는 “표현이 존재한다”고 말할 뿐, 그 표현이 매끄럽거나 안정적이거나 학습 가능하다고는 말하지 않는다.²

5. 보편 근사 정리와의 차이[편집]

같은 “신경망은 뭐든 표현한다” 계열로 묶이지만, 두 정리는 성격이 정반대다.

	콜모고로프-아르놀트	보편 근사 정리
결론	정확한 표현 (등호)	임의 정밀도 근사 (부등호)
폭	$2n+1$ 로 고정	$\varepsilon$ 에 따라 무한정 커질 수 있음
학습 대상	단변수 함수 자체	고정된 활성함수의 아핀 계수
함수의 성질	병적으로 비매끄러움	시그모이드·ReLU 등 얌전함
실용적 함의	거의 없음 (직접 쓰면)	배제 진단용 (표현력은 문제 아니다)

핵심은 마지막 두 줄이다. 복잡성은 사라지지 않고 어딘가로 옮겨 갈 뿐이다. 보편 근사 정리에서는 복잡성이 뉴런 개수 $N$ 에 쌓인다 — 함수는 얌전하지만 몇 개가 필요한지 모른다. 콜모고로프-아르놀트에서는 복잡성이 단변수 함수의 사나움에 쌓인다 — 개수는 $2n+1$ 로 고정이지만 그 함수 하나하나가 사실상 무한한 정보를 담는다.

차원의 저주도 사라진 것이 아니다. 저주는 $\psi$ 의 프랙탈 구조와 $\Phi$ 의 진동 속에 숨어 있을 뿐이다. 정리를 처음 보고 “그럼 100차원 문제도 201개 항이면 끝나는 것 아닌가”라고 생각하는 것은 자연스럽지만, 그 201개 항 안에 100차원의 어려움이 통째로 접혀 들어가 있다.

6. KAN — 형태의 부활[편집]

2024년 류(Liu) 등이 KAN(Kolmogorov–Arnold Network)을 내놓으며 이 정리가 다시 무대에 올랐다. 발상은 정리의 문자 그대로의 구현이 아니라 구조적 재해석이다.

일반적인 다층 퍼셉트론은 간선에 학습 가능한 스칼라 가중치, 노드에 고정된 비선형 활성함수를 둔다. KAN은 이 역할을 뒤집는다.

간선에 학습 가능한 단변수 함수를 둔다. 각 함수는 B-스플라인 기저의 계수로 매개변수화되며(보통 SiLU 같은 기저 함수를 더한 형태), 그 계수가 학습 대상이다.
노드는 그냥 더한다. 노드에 별도의 비선형성이 없다.

정리의 $\Phi_q(\sum_p \varphi_{q,p}(x_p))$ 를 “간선에서 단변수 변환, 노드에서 덧셈”으로 읽은 것이다. 결정적으로 KAN은 깊이 2, 폭 $2n+1$ 이라는 정리의 정확한 형태를 포기한다. 임의의 깊이와 폭을 허용하고, 스플라인 격자를 점진적으로 세밀화(grid refinement)하며, 학습된 간선 함수를 희소화한 뒤 익숙한 초등함수로 스냅해 기호 회귀식 해석 가능한 수식을 뽑아내는 워크플로를 붙였다.

포기가 핵심이다. 2층 $2n+1$ 형태를 고집하면 앞 절에서 본 병적인 함수를 스플라인으로 맞춰야 하는데 그건 불가능하다. 층을 쌓으면 각 간선 함수는 매끄러워도 되고, 어려움이 여러 층에 분산된다. KAN은 정리의 결론이 아니라 정리의 문법을 빌려 온 것이며, 저자들도 이 점을 명시한다.

성과와 한계도 비교적 빠르게 정리됐다.

잘 되는 곳. 저차원 과학 문제 — 물리·수학의 폐형 수식 복원, 소규모 PDE 대리 모델, 특징이 실제로 가법 구조를 가진 회귀. 파라미터당 정확도와 해석 가능성이 강점으로 보고된다. 물리 정보 신경망이나 대리 모델 쪽에서 관심이 큰 이유.
안 되는 곳. 표준 비전·자연어 벤치마크에서 같은 파라미터 예산의 MLP를 일관되게 이기지 못한다는 후속 평가가 다수다.
속도. 간선마다 스플라인을 평가해야 해서 훈련이 눈에 띄게 느리다. 보고된 배수는 설정에 따라 크게 갈리지만, GPU의 큰 행렬곱에 최적화된 MLP 대비 불리하다는 방향은 일관적이다. 간선 수 × 격자점 수만큼 파라미터가 늘어나는 점도 부담.
구조적 제약. 스플라인은 입력 범위를 벗어나면 무의미해지므로 격자 범위 관리가 필요하고, 간선 하나가 1차원 함수라 고차원 상호작용은 결국 깊이로 만들어야 한다.

요약하면 KAN은 “콜모고로프가 옳았다”가 아니라 “간선에 함수를 두는 것도 해볼 만하다” 에 가깝다. 정리는 아이디어의 출처이자 이름의 근거이고, 실제 성능은 스플라인 매개변수화와 학습 절차가 결정한다. 이건 흠이 아니다 — 60년 된 순수수학 정리가 아키텍처 탐색의 언어를 제공했다는 것만으로 충분히 드문 일이다.³

7. 관련 문서[편집]

아르놀트는 당시 콜모고로프의 학생이었고, 이 결과를 학부 졸업 무렵에 냈다. 스승이 “3변수까지 줄였다”를 발표하자 제자가 “2변수까지 된다”로 답했고, 그러자 스승이 “1변수와 덧셈이면 된다”로 덮어 버린 셈이다. 수학사에서 손꼽히는 사제 간 릴레이인데, 정작 정리 이름에는 두 사람 이름이 나란히 붙어 누가 무엇을 했는지가 가려졌다. 문헌에 따라 “콜모고로프 중첩 정리”라고만 부르는 경우도 많다. ↩
이 논쟁을 요약하는 가장 정직한 문장은 “정리는 참이고, 그 참이 우리가 원하는 것을 주지는 않는다”이다. CAE 하는 사람에게는 익숙한 좌절이다. 해의 존재성과 유일성이 증명된 방정식이 실제로는 안 풀리는 경험을 나비에-스토크스 방정식에서 이미 반대 방향으로 한 번 겪었지 않은가. 존재 정리와 계산 가능성 사이의 간극은 분야를 옮겨도 따라온다. ↩
KAN 발표 직후의 소란은 볼 만했다. 며칠 만에 “MLP는 끝났다”류의 글이 쏟아졌고, 몇 주 뒤에는 “같은 파라미터로 MLP가 이긴다”는 반박 벤치마크가 쏟아졌으며, 몇 달 뒤에는 KAN-트랜스포머·KAN-합성곱 같은 조합이 수백 편 나왔다. 이 사이클 자체가 요즘 이 바닥의 표준 리듬이라, 새 아키텍처를 볼 때는 발표 시점이 아니라 6개월 뒤의 후속 평가를 기다리는 습관이 정신 건강에 이롭다. ↩