프레드홀름 적분방정식

1. 개요

프레드홀름 적분방정식(Fredholm integral equation)은 미지 함수 $u$ 가 고정된 구간 위의 적분 안에 들어 있는 선형 방정식이다. 핵(kernel) $K(x,t)$ 와 우변 $f$ 가 주어질 때, $u$ 가 적분 안에만 있으면 제1종, 적분 밖에도 있으면 제2종이라 한다. 스웨덴 수학자 이바르 프레드홀름이 1903년 제2종 방정식을 연립일차방정식의 극한으로 보고 행렬식 이론을 무한차원으로 확장해 풀었고, 이 작업이 힐베르트의 스펙트럼 이론과 함수해석학, 즉 힐베르트 공간의 출발점이 됐다.¹

적분 상한이 $x$ 로 움직이는 형태는 볼테라 적분방정식이고, 그쪽은 인과성 덕에 시간 행진으로 풀린다. 프레드홀름형은 구간 전체가 서로 영향을 주는 전역적 문제라, 이산화하면 꽉 찬(dense) 연립방정식이 나온다. 그 대신 수치해석에서 가장 고마운 성질 하나를 준다: 제2종 방정식은 이산화해도 조건이 나빠지지 않는다. 반대로 제1종은 역문제의 원형으로, 근본적으로 불량조건이다. 두 종류는 이름만 비슷하지 수치적 성격이 정반대다.

2. 어디서 나오나

• 경계값 문제. 그린 함수 $G$ 를 쓰면 $-u''+q(x)u=g$, $u(0)=u(1)=0$ 같은 문제가 $u(x)+\int_0^1G(x,t)q(t)u(t)\,dt=\int_0^1G(x,t)g(t)\,dt$ 라는 제2종 방정식이 된다.
• 포텐셜 이론과 경계요소법. 라플라스 방정식의 디리클레 문제를 이중층 포텐셜로 표현하면 경계 위의 제2종 방정식이 나온다. 3차원 영역 문제가 2차원 경계 위의 문제로 줄어드는 것이 경계요소법의 핵심이다. 단일층 포텐셜을 쓰면 제1종이 되는데, 실무에서 제2종 정식화를 선호하는 이유가 아래의 조건수 이야기다.
• 복사·수송. 렌더링의 래디오시티 방정식, 복사 전달 방정식의 적분형, 중성자 수송의 적분형이 모두 “방출 + 산란된 기여의 적분” 꼴의 제2종 방정식이다.
• 영상·신호 복원. 흐린 사진 $f=\int K(x,t)u(t)\,dt$ 에서 원래 영상 $u$ 를 찾는 것은 제1종이다. 광학의 점확산함수, 지구물리의 중력·자기 이상 역산, 의료 영상이 모두 여기 속한다.
• 기계학습. 커널 행렬의 고유분해는 적분 연산자 $\int K(x,t)\phi(t)\,p(t)\,dt=\lambda\phi(x)$ 의 고유값 문제를 샘플로 근사한 것이다. 나이스트룀 근사라는 이름이 여기서 왔다.

3. 제2종 — 이론과 프레드홀름 대안

$K$ 가 연속(또는 제곱적분 가능)이면 적분 연산자 $\mathcal K u=\int_a^bK(\cdot,t)u(t)\,dt$ 는 콤팩트 연산자다. 무한차원이지만 유한차원 행렬처럼 행동한다는 뜻으로, 그 결정적 귀결이 프레드홀름 대안이다.

$(I-\lambda\mathcal K)u=f$ 는 다음 둘 중 정확히 하나가 성립한다. (1) 모든 $f$ 에 대해 유일한 해가 있고 해는 $f$ 에 연속적으로 의존한다. (2) 동차방정식 $(I-\lambda\mathcal K)u=0$ 이 영 아닌 해를 가진다. 이때 해가 있을 필요충분조건은 $f$ 가 수반 동차방정식의 해들과 직교하는 것이다.

연립일차방정식의 “행렬식이 0 이 아니면 유일해” 와 똑같은 구조가 무한차원에서도 성립한다는 것이다. $\lambda$ 가 $\mathcal K$ 의 고유값의 역수가 아니면 (1) 이다.

$|\lambda|\,\|\mathcal K\|<1$ 이면 노이만 급수 $u=\sum_{n\ge0}\lambda^n\mathcal K^nf$ 가 수렴하므로 고정점 반복 $u_{k+1}=f+\lambda\mathcal Ku_k$ 로 풀 수 있다. 볼테라형은 $\mathcal K$ 의 스펙트럼 반지름이 0 이라 이 급수가 언제나 수렴하지만, 프레드홀름형은 그렇지 않다 — 그래서 일반적으로는 반복이 아니라 연립방정식으로 푼다.

4. 나이스트룀 방법 — 구적법이 곧 이산화

가장 직접적인 해법은 1930년 나이스트룀이 체계화한 구적법 이산화다.² 적분을 가중치 $w_j$, 절점 $t_j$ 의 수치적분 규칙으로 바꾸고 방정식을 절점에서만 요구한다.

$$u_i-\lambda\sum_{j=1}^{n}w_jK(t_i,t_j)\,u_j=f(t_i),\qquad i=1,\dots,n$$

$n\times n$ 연립방정식 $(I-\lambda KW)\mathbf u=\mathbf f$ 를 풀면 끝이다. 절점 밖의 값은 원래 방정식을 그대로 써서

$$u(x)=f(x)+\lambda\sum_{j}w_jK(x,t_j)\,u_j$$

로 얻는다. 이것을 나이스트룀 보간이라 하는데, 별도의 보간 기법 없이 구적 규칙과 같은 정확도를 갖는다는 점이 이 방법의 우아함이다. 오차 이론(앳킨슨·안셀론의 집합적 콤팩트 연산자 이론)의 결론은 간단하다: 해의 오차는 구적 규칙의 오차와 같은 차수로 줄어든다. 매끄러운 핵에 가우스 구적을 쓰면 지수 수렴, 사다리꼴이면 $O(h^2)$ 다.

4.1. 검산 — 러브 방정식

정전기학에서 나온 고전 시험 문제인 러브 방정식(Love, 1949)

$$u(x)-\frac1\pi\int_{-1}^{1}\frac{u(t)}{1+(x-t)^2}\,dt=1$$

을 가우스-르장드르 $n$ 점 나이스트룀으로 풀어 $u(0)$ 을 계산했다($n=64$ 를 기준값으로).

$n$	$u(0)$	오차	조건수 $\kappa(I-KW)$
2	1.875645892819524	$4.3\times10^{-2}$	1.50
4	1.917885767883211	$1.1\times10^{-3}$	1.83
8	1.919030767851326	$1.2\times10^{-6}$	1.87
16	1.919031993125943	$1.0\times10^{-12}$	1.88
32	1.919031993126952	$1.6\times10^{-15}$	1.89

$n$ 을 두 배로 할 때마다 정확한 자릿수가 대략 두 배가 되는 지수 수렴이다. 핵이 실축에서 해석적이고 가장 가까운 특이점이 $t=x\pm i$ 라 수렴이 빠르다. 같은 문제를 사다리꼴 규칙으로 풀면 $n=5,9,17,33,65$ 에서 오차가 $2.5\times10^{-2},\,6.3\times10^{-3},\,1.6\times10^{-3},\,4.0\times10^{-4},\,1.0\times10^{-4}$ — 정확히 $h^2$ 비율로 4배씩 준다. 그리고 조건수는 $n$ 과 무관하게 1.9 근처에 머문다. 이게 제2종의 축복이다. 이산화를 촘촘히 해도 연립방정식은 나빠지지 않는다.

참고로 이 핵의 적분 연산자는 스펙트럼 반지름이 약 0.45 라서 노이만 급수(고정점 반복)도 수렴한다. 반복당 오차가 0.45배씩 줄어드니 $10^{-15}$ 까지 약 45 반복이다.

4.2. 갤러킨과 배치법

나이스트룀 외에 해 $u$ 를 기저함수 전개 $u\approx\sum c_k\phi_k$ 로 두고 잔차를 시험함수에 직교시키는 갤러킨 방법, 절점에서 잔차를 0 으로 만드는 배치법(collocation)이 있다. 핵이 특이(로그·$1/r$)하거나 경계가 매끄럽지 않을 때는 구적 규칙이 핵의 특이성을 다루기 어려워 이 투영 방법들이 낫다. 경계요소법 코드의 대부분이 배치법 또는 갤러킨이다.

4.3. 꽉 찬 행렬의 비용

$n$ 점 이산화는 $n^2$ 원소의 꽉 찬 행렬을 만들어 직접 풀이는 $O(n^3)$ 이다. 1차원 문제나 작은 경계에서는 상관없지만, 3차원 물체의 표면 수십만 개 요소에서는 불가능하다. 여기서 핵의 원거리 상호작용이 저랭크라는 사실을 이용한 고속 다중극자법과 계층적 행렬이 등장한다. 행렬-벡터 곱을 $O(n)$ 또는 $O(n\log n)$ 으로 만들고, 제2종의 좋은 조건수 덕에 GMRES가 $n$ 과 무관한 반복 수로 수렴한다. 이 조합 — 제2종 정식화 + 고속 곱 + 크리로프 — 이 현대 적분방정식 솔버의 표준 구조다.

5. 제1종 — 왜 본질적으로 불량조건인가

$\int_a^bK(x,t)u(t)\,dt=f(x)$ 에서 $K$ 가 매끄러우면 적분이 $u$ 의 진동 성분을 평균으로 지워 버린다. $u$ 에 $\sin(N t)$ 를 더해도 $f$ 는 $N\to\infty$ 에서 거의 안 변한다(리만-르베그 보조정리). 거꾸로 말하면 $f$ 의 작은 오차가 $u$ 의 거대한 고주파 오차로 증폭된다. 콤팩트 연산자의 특이값은 0 으로 수렴하고 역연산자는 유계가 아니다. 아다마르가 말한 “적절하지 않은(ill-posed)” 문제의 정의 그대로다.

위의 러브 핵을 제1종으로 보면 특이값은 $0.45,\;3.8\times10^{-2},\;3.0\times10^{-3},\;2.3\times10^{-4},\;\dots$ 처럼 두 개마다 한 자릿수 넘게 떨어진다. 이산화를 촘촘하게 하면 작은 특이값이 더 생길 뿐이라 이산화 문제의 조건수가 $n$ 과 함께 폭발한다. 제2종에서는 $I$ 가 특이값을 1 근처로 받쳐 줘서 이 일이 안 생긴다 — $I-\lambda\mathcal K$ 의 특이값은 $\mathcal K$ 의 특이값이 0 으로 가도 1 로 간다.

그래서 제1종은 “풀지” 않고 정규화한다. 티호노프 정규화, 절단 특이값 분해, 그리고 애초에 제1종 프레드홀름 방정식을 풀려고 만든 랜드웨버 반복이 표준 도구다. 피카르 조건 — $f$ 의 특이벡터 계수가 특이값보다 빨리 줄어야 해가 존재한다 — 이 해의 존재 여부를 정하고, 정규화는 이 조건이 잡음 때문에 깨지는 지점에서 전개를 끊는 것이다.³

6. 관련 문서

• 볼테라 적분방정식 · 그린 함수 · 경계요소법 · 노이만 급수
• 나이스트룀 근사 · 수치적분 · 갤러킨 방법 · 고속 다중극자법
• 역문제 · 티호노프 정규화 · 랜드웨버 반복 · 힐베르트 공간
• 프레드홀름 대안 · 콤팩트 연산자 · 경계적분방정식

7. Footnotes

1. 1901년 괴팅겐 세미나에서 홀름그렌이 프레드홀름의 결과를 소개하자 힐베르트가 곧바로 적분방정식에 뛰어들었다는 이야기가 전해진다. 그 결과 1904~1910년 힐베르트의 적분방정식 연작이 나왔고, 거기서 “무한차원 벡터 공간” 이라는 발상이 굳었다. 지금 양자역학 교과서의 힐베르트 공간은 원래 적분방정식 풀다가 생긴 부산물이다. ↩

2. 나이스트룀은 이 방법을 손계산 시대에 썼다. 3점 정도의 구적으로도 경계값 문제를 꽤 정확히 풀 수 있다는 것이 1930년 논문의 요지였다. 위 표에서 $n=4$ 만으로 세 자리가 맞는 것을 보면, 연필과 계산자로도 쓸 만했던 이유가 보인다. ↩

3. 제1종이라는 이름 때문에 “기본형” 처럼 들리지만 수치적으로는 제2종보다 훨씬 고약하다. 1종이 2종보다 어렵다는, 자격증 시험과는 반대의 서열. ↩