역문제

1. 개요

역문제 Inverse Problem
대비 개념	순문제(forward problem)
핵심 난점	부적절성(ill-posedness)
대표 처방	티호노프 정칙화(Tikhonov regularization)
응용	토모그래피, 파라미터 추정, 지구물리 탐사

순문제: 원인을 알 때 결과를 구한다. 역문제: 결과를 보고 원인을 되짚는다. 후자가 훨씬 어렵다.

역문제(Inverse Problem)는 관측된 결과(데이터)로부터 그 결과를 만들어낸 원인(모델 파라미터·입력·계수)을 역추정하는 문제다. 정방향으로 “원인 → 결과”를 계산하는 것을 순문제(forward problem)라 부르는데, 물리 법칙과 초기·경계조건이 주어지면 순문제는 대체로 잘 정의되어 있고 계산도 안정적이다. 문제는 그 반대 방향이다. CT 스캐너가 측정한 X선 감쇠량으로부터 몸속 밀도 분포를 재구성하거나, 지진파 도착 시간으로 지구 내부 구조를 알아내거나, 관측된 온도장으로 미지의 열전도 계수를 찾아내는 일 — 전부 역문제다.

역문제가 악명 높은 이유는 순문제와 달리 부적절성(ill-posedness)에 시달리기 때문이다. 데이터의 미세한 잡음이 답을 폭발적으로 뒤흔들고, 답이 여러 개거나 아예 없을 수도 있다. 그래서 역문제 풀이의 절반은 “물리”가 아니라 “이 불안정성을 어떻게 길들일 것인가”라는 수치해석 싸움이다.

2. 아다마르의 적절성 조건

프랑스 수학자 자크 아다마르(Jacques Hadamard)는 잘 정의된 문제(well-posed problem)가 갖춰야 할 세 조건을 제시했다.¹

1. 존재성(existence): 해가 적어도 하나 존재한다.
2. 유일성(uniqueness): 해가 오직 하나뿐이다.
3. 안정성(stability): 데이터가 조금 바뀌면 해도 조금만 바뀐다(연속 의존성).

이 셋 중 하나라도 깨지면 그 문제는 부적절(ill-posed)하다고 부른다. 그리고 대부분의 역문제는 이 셋을 아주 신나게 위반한다. 해가 여러 개일 수도 있고(유일성 위반), 잡음 섞인 데이터에는 정확히 맞는 해가 없을 수도 있으며(존재성 위반), 무엇보다 안정성이 거의 항상 깨진다. 아다마르는 원래 이런 문제를 “물리적으로 무의미하다”며 배척했지만, 20세기 후반 의료영상·지구물리가 발전하면서 “무의미하기는커녕 돈이 되는” 문제임이 드러났다.

3. 왜 불안정한가 — 조건수의 저주

역문제의 불안정성은 조건수라는 개념으로 정량화된다. 이산화된 역문제는 대개 선형 시스템 $A\mathbf{x} = \mathbf{b}$로 귀결되는데, 여기서 $\mathbf{b}$가 관측 데이터, $\mathbf{x}$가 추정하려는 미지수다. 문제는 이 행렬 $A$의 조건수가 어마어마하게 크다는 것.

$$\kappa(A) = \frac{\sigma_{\max}}{\sigma_{\min}}$$

특이값 분해로 보면 그 정체가 명확해진다. $A$의 작은 특이값 $\sigma_{\min}$은 순문제에서 “정보가 뭉개져 사라지는 방향”에 대응한다. 역문제는 이걸 되돌려야 하므로 $1/\sigma_{\min}$으로 나누게 되는데, 이 과정에서 데이터에 섞인 미세한 잡음이 $1/\sigma_{\min}$배로 증폭된다.² 조건수가 $10^{8}$이면, 소수점 8자리 정밀도로 측정해도 답의 유효숫자가 통째로 날아갈 수 있다는 뜻이다. 순진하게 최소자승법으로 $\min \|A\mathbf{x}-\mathbf{b}\|^2$을 풀면 잡음을 충실히 재현하는 쓰레기 해가 나온다. 작은 특이값에 해당하는 성분을 아예 잘라 버리는 절단 특이값 분해(TSVD)가 가장 거친 처방이고, 아래의 티호노프는 자르는 대신 부드럽게 감쇠시키는 쪽이다.

4. 정칙화 — 티호노프의 처방

이 폭주를 막는 표준 처방이 정칙화(regularization)다. 핵심 아이디어는 “데이터에 잘 맞으면서 동시에 얌전한(smooth·small) 해”를 고르도록 벌점(penalty)을 추가하는 것. 가장 유명한 티호노프 정칙화(Tikhonov regularization)는 최소자승 목적함수에 해의 크기 항을 더한다.

$$\min_{\mathbf{x}} \;\left\{\, \|A\mathbf{x} - \mathbf{b}\|^2 + \lambda^2\, \|L\mathbf{x}\|^2 \,\right\}$$

여기서 $\lambda$는 정칙화 파라미터, $L$은 항등행렬이거나 미분 연산자(해를 매끄럽게)를 쓴다. $L = I$ 인 경우가 통계 쪽에서 능형회귀로 불리는 그것이고, 식·유도는 티호노프 정규화 문서가 따로 다룬다. $\lambda$가 크면 잡음에 둔감하지만 답이 뭉개지고(과도한 평활화), 작으면 데이터엔 잘 맞지만 잡음이 되살아난다. 이 저울질이 역문제의 영원한 딜레마다.

적절한 $\lambda$를 고르는 표준 처방은 셋이다.³

방법	고르는 기준	필요한 것
L-곡선	$(\log\|A\mathbf{x}_\lambda-\mathbf{b}\|,\ \log\|L\mathbf{x}_\lambda\|)$ 곡선의 최대 곡률점	잡음 크기 몰라도 됨
일반화 교차검증(GCV)	GCV 함수의 최소점	잡음 크기 몰라도 됨
불일치 원리(Morozov)	잔차가 잡음 수준과 같아지는 $\lambda$	잡음 수준 $\delta$ 추정값

L-곡선은 한센(P. C. Hansen)이 1992년 SIAM Review 논문에서 체계화했고, GCV 는 골루브·히스·와바(1979)가 능형회귀의 파라미터 선택용으로 제시한 것이 역문제로 넘어온 것이다. 세 방법 모두 공짜가 아니다 — 어느 쪽이든 여러 $\lambda$ 에 대한 해를 구해야 하므로, 특이값 분해를 한 번 해 두고 $\lambda$ 만 바꿔 재조립하는 구조(아래 필터 인자)가 실무의 국룰이다.

통계적으로 보면 티호노프 정칙화는 베이즈 추정의 사전분포(prior)와 정확히 대응한다. $L^2$ 벌점은 가우시안 사전분포, $L^1$ 벌점(LASSO·전변동 정칙화)은 라플라스 사전분포에 해당한다. 그래서 역문제는 결정론적 관점(정칙화)과 통계적 관점(베이즈 추론) 양쪽에서 접근할 수 있으며, 후자는 답뿐 아니라 그 불확실성까지 정량화해준다는 장점이 있다.

5. 필터 인자로 본 티호노프 — 2×2 손 검산

정칙화가 “무엇을 어떻게 깎는지”는 특이값 분해로 쓰면 한 줄로 보인다. $A = U\Sigma V^{\mathsf T}$, $L = I$ 일 때 티호노프 해는 특이값마다 필터 인자 $f_i$ 를 끼운 형태다.

$$\mathbf{x}_\lambda = \sum_i f_i \,\frac{\mathbf{u}_i^{\mathsf T}\mathbf{b}}{\sigma_i}\,\mathbf{v}_i, \qquad f_i = \frac{\sigma_i^2}{\sigma_i^2 + \lambda^2}$$

$\sigma_i \gg \lambda$ 면 $f_i \approx 1$ 로 그대로 통과하고, $\sigma_i \ll \lambda$ 면 $f_i \approx (\sigma_i/\lambda)^2$ 로 제곱으로 죽는다. 즉 잡음이 증폭되는 작은 특이값 쪽만 골라서 끈다. TSVD 가 $f_i$ 를 0 또는 1 로 딱 자르는 것과 대비된다.

손으로 끝까지 따라갈 수 있는 최소 예제를 하나 돌려 보자. $A = \mathrm{diag}(1,\,10^{-5})$, 참값 $\mathbf{x} = (1,1)$, 따라서 잡음 없는 데이터는 $\mathbf{b} = (1,\,10^{-5})$ 다. 여기에 두 번째 성분에만 $10^{-5}$ 크기의 잡음을 얹는다($\mathbf{b} = (1,\,2\times 10^{-5})$). 상대 데이터 오차는 $\|\delta\mathbf{b}\|/\|\mathbf{b}\| = 10^{-5}$ 에 불과하고, $\kappa(A) = 10^{5}$ 다.

$\lambda$	$f_2$	$x_2$	상대 해 오차
0 (정칙화 없음)	1.0000	2.0000	0.707
$10^{-6}$	0.9901	1.9802	0.693
$10^{-5}$	0.5000	1.0000	0.000
$2\times 10^{-5}$	0.2000	0.4000	0.424
$10^{-4}$	0.0099	0.0198	0.693

($x_1$ 은 다섯 경우 모두 1.0000 이다. $\lambda^2 \le 10^{-8} \ll \sigma_1^2 = 1$ 이라 첫 성분은 손도 안 댄다.)

읽을 것이 세 개다. 첫째, $\lambda = 0$ 에서 상대 데이터 오차 $10^{-5}$ 가 상대 해 오차 $\sim 1$ 로, 정확히 $\kappa(A)$ 배 증폭됐다 — 조건수가 최악의 증폭률이라는 정의 그대로다. 둘째, $\lambda$ 를 키우면 오차가 내려갔다가 다시 올라간다. 과소 정칙화와 과대 정칙화 사이에 최적점이 있다는 것이 저 U자 모양이고, 저울질이 수사가 아니라는 증거다. 셋째, 최적점이 $\lambda \approx \sigma_2$ 부근에 있다 — 신호가 잡음에 묻히기 시작하는 특이값 근처에서 잘라야 한다는 불일치 원리의 직관과 같은 자리다.

다만 $\lambda = 10^{-5}$ 에서 오차가 정확히 0 인 것은 이 예제의 우연이다. 필터 인자가 딱 $1/2$ 이 되어 2배로 증폭된 잡음을 정확히 되돌린 것뿐이고, 일반적으로는 정칙화가 편향(bias)을 남긴다.⁴ 실제 문제에서 기대할 수 있는 것은 “오차가 최소가 되는 $\lambda$ 가 존재한다”까지다.

6. 응용 분야

역문제는 이름은 낯설어도 응용은 우리 삶 깊숙이 들어와 있다.

• 토모그래피: CT, MRI, PET 등 의료영상은 전부 역문제다. 몸을 관통한 신호로 내부 단면을 재구성한다. 지구물리의 지진 토모그래피, 산업용 비파괴검사도 같은 계보이고, 역시간 이동처럼 파형 자체를 되돌리는 탄성파 영상도 여기 속한다.
• 파라미터 추정: 시뮬레이션 모델의 미지 물성치(열전도율, 투과율, 재료 상수)를 실험 데이터에 맞춰 역산한다. CFD·구조해석 모델 보정의 핵심 절차이며, 지하수 쪽에는 PEST 처럼 이 역산을 전담하는 도구가 따로 있다. 기상·해양에서는 같은 일을 시간 축을 따라 반복하는 자료동화가 담당한다. 설계변수 수가 많으면 기울기를 얻는 수단이 수반법으로 갈린다.
• 비파괴 탐상·원격 탐사: 표면 측정만으로 내부 결함이나 지하 자원 분포를 추정.
• 디컨볼루션: 흐릿한 영상, 번진 신호를 원래대로 복원하는 문제 역시 대표적 부적절 역문제. 해가 희소하다는 사전정보를 $L^1$ 로 밀어 넣는 쪽은 압축센싱·라쏘 계보다.

시뮬레이션 관점에서 특히 중요한 것은 파라미터 추정이다. 검증 및 확인(V&V) 절차에서 모델을 현실에 맞추는 보정(calibration) 단계가 사실상 역문제 풀이이기 때문이다. 다만 여기엔 함정이 있다. 부적절한 역문제로 파라미터를 억지로 맞추면, 물리적으로 틀린 파라미터 조합이 우연히 데이터를 재현하는 과적합이 생긴다. “실험과 잘 맞으니 검증 완료”라는 착각이 가장 위험한 지점이며, 불확실성 정량화와 교차검증으로 방어해야 한다.⁵ 베이즈 쪽으로 가면 사후분포를 마르코프 연쇄 몬테카를로로 표본화해 파라미터의 신뢰구간까지 뽑을 수 있는데, 순문제 한 번이 비싸면 그 자리에 대리 모델을 끼우는 것이 정석이다.

7. 관련 문서

• 조건수 · 특이값 분해 · 절단 특이값 분해
• 최소자승법 · 티호노프 정규화 · 능형회귀
• 대리 모델 · 불확실성 정량화
• 자료동화 · 수반법 · 전변동 정칙화
• 검증 및 확인
• 몬테카를로 방법
• 반복법 · 희소행렬
• 수치미분

8. Footnotes

1. Hadamard, J. (1902). 아다마르는 물리 문제라면 당연히 이 세 조건을 만족해야 한다고 믿었다. 반세기 뒤 CT 스캐너가 부적절 문제로 노벨상(1979년 코맥·하운스필드)을 받을 줄은 몰랐을 것이다. ↩

2. 그래서 역문제 연구자들 사이엔 “순문제는 정보를 지우고, 역문제는 지워진 정보를 상상해내는 일”이라는 말이 있다. 없는 정보를 만들어내야 하니 잡음에 취약할 수밖에. ↩

3. L-곡선은 잔차 노름과 해 노름을 로그-로그로 그리면 L자 모양이 나오고, 그 꺾이는 모서리가 최적 $\lambda$라는 휴리스틱이다. 예쁘게 꺾이면 다행이고, 안 꺾이면 그냥 감으로 찍는다. ↩

4. 편향-분산 저울질과 똑같은 구조다. $\lambda$ 를 키우면 분산(잡음 민감도)은 내려가고 편향은 올라간다. 통계 쪽에서 능형회귀를 배운 사람은 이 지점에서 “아, 그거네” 하고 바로 넘어온다. ↩

5. “파라미터 3개만 튜닝하면 코끼리도 그리고, 4개면 코를 흔들게 할 수 있다”는 폰 노이만의 농담이 정확히 이 위험을 지적한다. 자유도가 많은 역문제는 무엇이든 맞출 수 있다는 게 오히려 저주다. ↩