티호노프 정규화

1. 개요[편집]

티호노프 정규화 Tikhonov Regularization
다른 이름	티호노프 정칙화, 능형회귀(ridge regression), 필립스-트와미 방법
제안	A. N. Tikhonov (1943, 1963), D. L. Phillips (1962)
표준형 해	x = (ATA + α2I)-1ATb
정체	SVD 필터인자 fi = σi2/(σi2+α2)
손잡이	정규화 파라미터 α 하나
대표 도구	Hansen, Regularization Tools (MATLAB)

티호노프 정규화는 역문제처럼 해가 데이터의 작은 요동에 폭주하는 부적절(ill-posed) 문제에서, 데이터 적합항에 해의 크기(또는 거칠기) 벌점을 더해 안정한 근사해를 뽑아내는 정규화 기법이다.

$$x_\alpha = \arg\min_x \; \|Ax - b\|_2^2 + \alpha^2 \|L x\|_2^2$$

아다마르의 적절성 조건은 존재·유일·연속 의존의 셋인데, 실무의 역문제는 거의 항상 셋째를 어긴다. 연산자가 매끄러울수록(적분 연산자, 열전도 역추적, 단층촬영 투영) 그 역은 고주파를 증폭하고, 이산화한 행렬 $A$ 의 특이값은 0을 향해 붕괴한다.¹ 이때 순진한 최소자승법 해는 데이터에 섞인 잡음을 $1/\sigma_i$ 배로 확대해 던져 준다. 티호노프는 그 확대를 손으로 잘라 낸다.

$L = I$ 인 표준형에서는 정규방정식이 닫힌 형태로 풀린다.

$$(A^{T}A + \alpha^2 I)\,x_\alpha = A^{T}b \quad\Longrightarrow\quad x_\alpha = (A^{T}A + \alpha^2 I)^{-1}A^{T}b$$

대각에 $\alpha^2$ 을 얹었을 뿐인데 조건수가 $\sigma_1/\sigma_n$ 에서 대략 $(\sigma_1^2+\alpha^2)/(\sigma_n^2+\alpha^2)$ 수준으로 내려간다. 통계학에서 같은 식을 다중공선성 대책으로 재발견한 것이 능형회귀이며, 두 분야가 서로 다른 이름으로 30년쯤 따로 놀았다.²

2. SVD로 본 정체 — 필터인자[편집]

티호노프가 실제로 무슨 짓을 하는지는 특이값 분해 $A = U\Sigma V^{T}$ 로 쓰면 한 줄에 드러난다. 정규화 없는 최소자승 해가

$$x_{\mathrm{LS}} = \sum_{i} \frac{u_i^{T}b}{\sigma_i}\,v_i$$

인 데 비해, 티호노프 해는 각 항에 가중치가 하나씩 붙는다.

$$x_\alpha = \sum_{i} f_i \,\frac{u_i^{T}b}{\sigma_i}\,v_i, \qquad f_i = \frac{\sigma_i^2}{\sigma_i^2 + \alpha^2}$$

이 $f_i$ 를 필터인자(filter factor)라 한다. $\sigma_i \gg \alpha$ 이면 $f_i \approx 1$ 로 성분을 그대로 통과시키고, $\sigma_i \ll \alpha$ 이면 $f_i \approx \sigma_i^2/\alpha^2$ 로 제곱만큼 빠르게 0으로 눌러 버린다. 즉 정규화의 정체는 “작은 특이값에 딸린 성분을 조용히 죽이는 저역통과 필터”이고, $\alpha$ 는 그 차단 주파수다. 같은 관점에서 절단 특이값 분해(TSVD)는 $f_i \in \{0,1\}$ 인 칼같은 브릭월 필터이며, 티호노프는 그것을 부드럽게 만든 판본이다. 두 방법의 해가 실전에서 비슷하게 나오는 이유이기도 하다.

3. 이산 피카르 조건[편집]

정규화가 먹히는지 아닌지를 판단하는 진단이 이산 피카르 조건(discrete Picard condition)이다. 정규화 없는 해의 계수는 $|u_i^{T}b|/\sigma_i$ 다. 이 값이 발산하지 않으려면 분자 $|u_i^{T}b|$ 가 분모 $\sigma_i$ 보다 평균적으로 더 빨리 0으로 떨어져야 한다. 무잡음 데이터 $b_{\text{exact}} = Ax_{\text{true}}$ 는 이 조건을 자동으로 만족한다 — $u_i^{T}b_{\text{exact}} = \sigma_i (v_i^{T}x_{\text{true}})$ 이므로 애초에 $\sigma_i$ 를 인수로 갖고 있기 때문이다.

문제는 잡음이다. 관측 $b = b_{\text{exact}} + e$ 에서 $|u_i^{T}e|$ 는 $i$ 와 무관하게 대략 잡음 수준 $\delta$ 언저리를 맴돈다(백색 잡음이면 정확히 그렇다). 그래서 이른바 피카르 플롯 — 가로축에 지표 $i$, 세로축에 $\sigma_i$, $|u_i^{T}b|$, $|u_i^{T}b|/\sigma_i$ 세 계열을 로그 스케일로 겹쳐 그린 그림 — 은 언제나 같은 모양이다. 앞쪽에서는 $|u_i^{T}b|$ 가 $\sigma_i$ 와 나란히 내려가다가, 어느 지표 $i^\star$ 에서 평평한 잡음 바닥에 착지해 더는 내려가지 않는다. 그 지점부터 $\sigma_i$ 는 계속 떨어지므로 비 $|u_i^{T}b|/\sigma_i$ 가 위로 꺾여 올라간다. 이 꺾이는 지표가 곧 “믿을 수 있는 성분의 개수”이고, 좋은 $\alpha$ 는 $\alpha \approx \sigma_{i^\star}$ 근처에 놓인다. 실전에서 정규화가 실패하는 대표적 원인은 $\alpha$ 를 잘못 골라서가 아니라 애초에 앞쪽에서도 피카르 조건이 안 서는 것 — 그건 데이터에 그 해를 담을 정보가 없다는 뜻이고, 파라미터를 아무리 튜닝해도 나오지 않는다.

4. α는 어떻게 고르나 (그리고 어떻게 실패하나)[편집]

세 가지가 표준이고, 셋 다 알려진 실패 모드가 있다. 정직하게 같이 적는다.

L-곡선. 가로축에 잔차 노름 $\|Ax_\alpha - b\|_2$, 세로축에 해 노름 $\|Lx_\alpha\|_2$ 를 로그-로그로 놓고 $\alpha$ 를 훑으면 알파벳 L을 뒤집은 모양의 곡선이 나온다. $\alpha$ 가 크면 해가 과하게 눌려 해 노름은 작고 잔차만 커지므로 곡선의 평평한 수평 가지를 훑고, $\alpha$ 가 작으면 잔차는 거의 줄지 않는데 해 노름이 잡음 증폭으로 폭발하므로 가파른 수직 가지로 치솟는다. 두 가지가 만나는 모서리(corner)가 “잔차를 더 줄이려면 해를 훨씬 더 망가뜨려야 하는” 전환점이고, 곡률이 최대인 점을 수치적으로 찾아 $\alpha$ 로 삼는다(Hansen–O’Leary, 1993). 장점은 잡음 수준을 몰라도 된다는 것. 단점은 모서리가 늘 있지는 않다는 것 — 참해가 매우 매끄러우면 모서리가 뭉개져 과대평활 쪽으로 치우치고, 잡음이 0으로 갈 때 정규화된 해가 참해로 수렴한다는 보장 자체가 없다(Vogel 1996, Hanke 1996).

불일치 원리(Morozov). 잡음 크기 $\delta \approx \|e\|_2$ 를 알고 있다면, 잔차를 그 이하로 줄이려는 시도 자체가 잡음을 맞추는 짓이다. 그래서

$$\|Ax_\alpha - b\|_2 = \tau\,\delta \qquad (\tau \gtrsim 1)$$

를 만족하는 $\alpha$ 를 고른다. $\|Ax_\alpha-b\|_2$ 는 $\alpha$ 에 대해 단조증가라 이분법이 확실하게 수렴하고, 적절한 $\tau$ 아래에서 $\delta \to 0$ 일 때 수렴 차수까지 증명돼 있다는 것이 최대 강점이다. 반대로 약점도 하나뿐 — $\delta$ 를 틀리면 그만큼 그대로 틀린다. $\delta$ 를 과대평가하면 과대평활, 과소평가하면 잡음 범벅이다.

일반화 교차검증(GCV). “한 점을 빼고 적합해도 그 점을 잘 예측해야 한다”는 교차검증 아이디어를 회전 불변 형태로 바꾼 것으로,

$$G(\alpha) = \frac{\|Ax_\alpha - b\|_2^2}{\big(\mathrm{trace}(I - AA_\alpha^{\dagger})\big)^2}$$

를 최소화한다(Golub–Heath–Wahba, 1979). 분모의 trace 항이 유효 자유도 역할을 해서, 잡음 수준을 몰라도 자동으로 균형을 잡아 준다. 실패 모드는 두 가지다. 첫째, $G(\alpha)$ 가 최소점 근방에서 극도로 평평해 수치적으로 위치를 못 잡는 경우가 흔하다. 둘째, 유도가 백색(독립) 잡음을 전제하므로 잡음에 상관이 있으면 무너진다 — 상관 잡음에서 GCV는 체계적으로 $\alpha$ 를 너무 작게 골라 잡음을 신호로 착각한 해를 내놓는다. 그래서 실무 권장은 하나만 믿지 말고 셋을 동시에 돌려 서로 어긋나는지 보는 것이다.³

5. 편향-분산, 그리고 베이즈 해석[편집]

오차를 쪼개면 왜 최적 $\alpha$ 가 존재하는지가 바로 보인다. $x_\alpha - x_{\text{true}}$ 는 정규화 오차(필터인자가 참해의 성분까지 깎아 먹는 편향, $\alpha$ 와 함께 증가)와 잡음 전파 오차(분산, $\alpha$ 와 함께 감소)의 합이다. 둘의 합은 전형적인 U자 곡선이고, 바닥이 최적점이다. 티호노프는 “약간의 편향을 사서 폭발하는 분산을 판다”는 거래이며, 이 구도는 축소차수모델이나 정규화된 회귀 전반에 그대로 통한다.

통계 쪽 해석은 더 깔끔하다. 잡음이 $e \sim N(0, \sigma_e^2 I)$ 이고 해에 가우시안 사전분포 $x \sim N(0, \sigma_x^2 I)$ 를 주면, 사후분포의 최대점(MAP)이 정확히 표준형 티호노프 해이며

$$\alpha^2 = \frac{\sigma_e^2}{\sigma_x^2}$$

이다. 즉 $\alpha$ 는 임의의 튜닝 손잡이가 아니라 잡음 대 사전 신념의 비율이다. 이 관점을 밀고 나가면 점추정 대신 사후 공분산까지 얻는 베이즈 역문제가 되고, 불확실성 정량화·가우시안 프로세스 회귀와 곧바로 이어진다. 실제로 GP 회귀의 예측 평균 식은 커널을 바꿔 쓴 티호노프 해다.

6. 일반형과 ℓ1 사촌들[편집]

$L \neq I$ 이면 “크기”가 아니라 거칠기를 벌한다. $L$ 을 1계 차분 행렬로 잡으면 기울기를, 2계 차분으로 잡으면 곡률을 억제한다. 이론적 도구는 일반화 특이값 분해(GSVD)이고, 실제 코드는 대개 표준형 변환으로 $L$ 을 흡수한 뒤 위의 필터인자 논리를 그대로 쓴다. $L$ 의 영공간(1계 차분이면 상수 벡터)은 벌점을 전혀 받지 않으므로, 해의 평균 수준 같은 성분은 데이터가 온전히 결정한다는 점이 중요하다.

여기서 벌점의 노름을 $\ell_2$ 에서 $\ell_1$ 으로 바꾸면 완전히 다른 세계가 열린다. $\|Lx\|_1$ 은 전변분 잡음제거이고, $\|x\|_1$ 은 기저 추구다. 차이는 한 줄로 정리된다 — 티호노프는 불연속을 반드시 뭉개고, TV는 그것을 살린다. 격자 간격 $\Delta x$ 위의 높이 $h$ 짜리 점프에 이차 벌점은 $h^2/\Delta x$ 를 물려 격자를 조일수록 비용이 발산시키는 반면, $\ell_1$ 벌점은 $h$ 만 물리고 끝나기 때문이다. 그 대가로 티호노프는 볼록·이차·닫힌 형태라는 편의를 전부 지키고, TV·기저 추구는 비매끄러운 최적화 기계(근접 경사법, 교대방향 승수법)를 동원해야 한다. 매끄러운 해가 물리적으로 타당한 문제(열전도 역추적, 매끈한 물성 분포 추정)에서는 여전히 티호노프가 옳은 선택이다.

대규모 문제에서는 SVD를 계산할 수 없으므로 정규방정식을 만들지 않고 $\begin{bmatrix} A \\ \alpha L \end{bmatrix} x \approx \begin{bmatrix} b \\ 0 \end{bmatrix}$ 형태의 확장 최소자승을 LSQR 같은 크리로프 부분공간법으로 푼다. 재미있는 사실 하나 — 반복 자체가 정규화 역할을 한다. 크리로프 반복은 큰 특이값 성분부터 복원하므로, 일찍 멈추면 그것이 곧 필터링이다(반복 정규화, semi-convergence). 교과서·코드 표준은 Hansen의 Regularization Tools와 그 후속 Discrete Inverse Problems이며, L-곡선·GCV·불일치 원리·피카르 플롯이 전부 함수 하나씩으로 들어 있다.⁴

7. 관련 문서[편집]

• 역문제 · 최소자승법 · 조건수
• 특이값 분해 · 절단 특이값 분해 · 크리로프 부분공간법
• 전변분 잡음제거 · 기저 추구 · 압축센싱
• 능형회귀 · 교차검증 · 가우시안 프로세스
• 불확실성 정량화 · 민감도 해석 · 피셔 정보
• 근접 경사법 · 교대방향 승수법 · 볼록 최적화

8. Footnotes[편집]

1. 특이값이 지수적으로 붕괴하면 “심하게 부적절”(severely ill-posed), 다항적으로 붕괴하면 “적당히 부적절”(mildly ill-posed)이라 부른다. 열전도 역추적처럼 지수 붕괴가 나오는 문제에서는 데이터 자릿수를 두 배로 늘려도 복원 가능한 성분이 몇 개 더 늘어나는 데 그친다. 컴퓨터를 갈아 넣어도 물리가 안 알려 주는 건 안 나온다. ↩

2. 1943년 티호노프(수학·역문제)와 1970년 호를-케너드(통계·다중공선성)가 같은 식을 각자 발표했고, 1962년 필립스와 1963년 트와미도 적분방정식 맥락에서 독립적으로 도달했다. 요즘 머신러닝 강의에서 “L2 정규화” 혹은 “weight decay”라고 부르는 것도 사실상 같은 물건이다. 한 사람이 특허를 냈으면 GPU 클러스터 몇 대는 샀을 것이다. ↩

3. 셋이 서로 다른 $\alpha$ 를 가리키는 것은 버그가 아니라 정보다. 순서가 대체로 “GCV ≤ L-곡선 ≤ 불일치 원리”로 나오면 잡음 모델이 대략 맞는 것이고, 순서가 뒤집히거나 자릿수가 어긋나면 잡음이 백색이 아니거나 $\delta$ 추정이 틀렸다는 신호다. ↩

4. P. C. Hansen, Rank-Deficient and Discrete Ill-Posed Problems (SIAM, 1998)와 Discrete Inverse Problems: Insight and Algorithms (SIAM, 2010). MATLAB 툴박스 Regularization Tools는 1994년 첫 공개 이후 지금도 역문제 논문의 벤치마크 문제 절반쯤을 공급하고 있다. shaw, heat, deriv2 같은 테스트 문제 이름을 보면 이 바닥 사람인지 아닌지 바로 티가 난다. ↩