전변분 잡음제거

1. 개요[편집]

전변분 잡음제거 Total Variation Denoising
다른 이름	ROF 모형, TV 정규화, total variation regularization
출발점	Rudin–Osher–Fatemi (1992)
정규화항	TV(u) = ∫|∇u| — 그래디언트 크기의 ℓ1
대표 장점	불연속(에지)을 보존하면서 잡음 제거
대표 단점	계단화(staircasing), 대비 손실

전변분 잡음제거는 잡음이 섞인 관측 $f$ 로부터 깨끗한 영상 $u$ 를 복원할 때, 데이터 적합항과 전변분(total variation) 벌점의 합을 최소화하는 역문제 정규화 기법이다. 루딘·오셔·파테미가 1992년에 제안해 흔히 ROF 모형이라 부른다.

$$\min_u \; \frac{1}{2}\|u - f\|_2^2 + \lambda\,\mathrm{TV}(u), \qquad \mathrm{TV}(u) = \int_\Omega |\nabla u|\,dx$$

핵심은 벌점의 형태다. 그래디언트 크기를 제곱하지 않고 그대로 적분한다 — 즉 $\nabla u$ 에 대한 $\ell_1$형 벌점이다. 이 한 글자 차이가 “에지를 살린 채로 평탄부의 잡음만 지운다”는, 그 전까지 선형 필터로는 불가능했던 동작을 만들어 낸다. 영상처리에서 30년 넘게 표준 베이스라인으로 살아남았고, 압축센싱 기반 MRI 재구성이나 CT의 성긴 각도 재구성에서도 여전히 1순위 정규화항이다.¹

수학적으로 $\mathrm{TV}$ 는 미분 가능하지 않은 함수에도 정의된다. 유계 변동(BV) 함수의 세계에서

$$\mathrm{TV}(u) = \sup\left\{ \int_\Omega u\,\mathrm{div}\,\varphi \;:\; \varphi \in C_c^1(\Omega;\mathbb{R}^2),\ \|\varphi\|_\infty \le 1 \right\}$$

로 쓰며, 이 정의 덕분에 점프가 있는 유계 변동 함수도 유한한 TV 값을 가진다. 게다가 공면적 공식(coarea formula)에 의해 $\mathrm{TV}(u) = \int_{-\infty}^{\infty} \mathrm{Per}(\{u > t\})\,dt$ — TV는 결국 모든 등위집합 경계 길이의 합이다. TV 최소화가 “윤곽선 총 길이를 아끼는” 동작으로 보이는 것도, 그래프 컷 같은 조합 최적화와 연결되는 것도 여기서 나온다.

2. 왜 이차 벌점이면 안 되는가[편집]

가장 고전적인 대안은 티호노프 정규화의 디리클레 에너지 $\int |\nabla u|^2$ 다. 이쪽이 훨씬 다루기 쉽다 — 목적함수가 이차식이라 정규방정식이 선형이고, 해가 최소자승법 한 번으로 나오며, 사실상 저역통과 필터다. 그리고 바로 그 이유로 에지를 반드시 뭉갠다.

정량적으로 보자. 격자 간격 $\Delta x$ 위에서 높이 $h$ 의 점프를 한 칸에 걸쳐 표현하면 그래디언트 크기가 $h/\Delta x$ 이므로

• 이차 벌점의 비용: $(h/\Delta x)^2 \cdot \Delta x = h^2/\Delta x$ → 격자를 조일수록 발산한다.
• TV 벌점의 비용: $(h/\Delta x) \cdot \Delta x = h$ → 격자와 무관하게 점프 높이 그 자체.

즉 이차 벌점은 불연속에 (연속 극한에서) 무한대의 값을 매기므로, 최소화기는 무슨 수를 써서라도 점프를 완만한 경사로 바꿔 놓는다. TV는 점프 높이만큼만 물리고, 그 비용은 그 높이를 여러 계단으로 쪼개 나눠 내든 한 번에 내든 똑같다(1차 동차성 + 삼각부등식). 그래서 TV 최소화기는 에지를 흐릴 동기가 없다. 이것이 “$\ell_1$은 희소성을, $\ell_2$는 확산을 부른다”는 원리를 그래디언트 영역에서 그대로 재현한 사례다.

3. 등방성 TV와 이방성 TV[편집]

이산화에서 갈림길이 하나 있다. 픽셀별 그래디언트 $(u_x, u_y)$ 를 어떤 노름으로 재느냐다.

• 등방성(isotropic) TV: $\sum_{i,j} \sqrt{u_x^2 + u_y^2}$. 채널(여기선 축) 사이를 $\ell_2$ 로 묶은 그룹 $\ell_1$ 이다. 회전에 대해 (이산화 오차 범위에서) 불변이다.
• 이방성(anisotropic) TV: $\sum_{i,j} (|u_x| + |u_y|)$. 성분별로 분해되니 prox가 성분별 연성 임계화로 떨어져 구현이 훨씬 싸다. 대신 등위선의 “길이”를 맨해튼 거리로 재는 셈이라, 결과에 격자 축 방향으로 정렬된 계단 모양 인공물이 생긴다. 원을 넣으면 팔각형에 가까운 무언가가 나온다.

실무 기본값은 등방성이다. 이방성은 부분문제가 닫힌 형태로 풀려야 하는 상황이나, 대상이 원래 축 정렬 구조(문서 스캔, 회로 패턴)일 때만 고른다.

4. 계단화와 대비 손실[편집]

TV의 두 가지 대표적 아티팩트는 알고리즘 버그가 아니라 모형이 정직하게 요구한 결과다.

계단화(staircasing). TV는 조각별 상수(piecewise constant) 함수를 선호한다. 앞서 봤듯 높이 $h$ 를 어떻게 쪼개도 총비용이 $h$ 로 같으므로, 부드러운 경사와 여러 개의 작은 점프가 TV 관점에서 완전히 무차별하다. 그런데 데이터 적합항이 살짝만 유리하면 최소화기는 경사를 계단으로 갈아 버린다. 사람 얼굴이나 하늘 그라데이션 같은 매끈한 영역에 만화 같은 등고선이 생기는 게 이 현상이다. 대책은 두 갈래로, ① 원점 근처만 이차로 바꾼 후버-TV($|t| \to$ 후버 함수, 모로 포락 참고)로 작은 그래디언트를 봐주거나, ② 2차 도함수까지 벌하는 TGV(total generalized variation, Bredies–Kunisch–Pock 2010)로 “조각별 아핀”까지 무료로 허용한다.

대비 손실(contrast loss). ROF는 편향된 추정량이다. 얼마나 편향됐는지는 계산까지 된다. 배경 0 위에 반지름 $R$, 높이 $\alpha$ 인 원반이 놓인 2차원 영상 $f$ 를 넣으면, 해는 같은 원반인데 높이만 줄어든 형태이며 그 값은

$$u = \left(\alpha - \frac{2\lambda}{R}\right)\mathbf{1}_{B_R}$$

이다(원반 넓이 $\pi R^2$, 둘레 $2\pi R$ 을 목적함수에 넣고 높이 하나로 미분하면 바로 나온다). 즉 대비가 정확히 $2\lambda/R$ 만큼 깎이며, 작은 물체일수록 더 많이 깎인다. $\alpha \le 2\lambda/R$ 이면 원반은 통째로 사라진다. 미세 병변이 $\lambda$ 하나 잘못 잡았다고 증발하는 상황이라 의료영상에서는 심각한 이슈고, 그래서 잔차 $f-u$ 를 다시 더해 주는 브레그만 반복이나 비볼록 벌점으로 편향을 줄이는 후속 연구가 줄줄이 나왔다.

5. 어떻게 푸는가[편집]

목적함수는 볼록하지만 $\nabla u = 0$ 인 곳에서 미분 불가능하다. 그래서 순진한 경사하강법은 못 쓴다. ROF 원논문은 $\sqrt{|\nabla u|^2 + \varepsilon^2}$ 로 매끄럽게 만든 뒤 오일러-라그랑주 방정식

$$-\lambda\,\mathrm{div}\!\left(\frac{\nabla u}{|\nabla u|}\right) + (u - f) = 0$$

을 시간 전진으로 풀었다. 우아하지만 $\varepsilon$ 이 작을수록 조건수가 폭발해 시간 스텝이 $O(\varepsilon)$ 로 쪼그라든다. 현대적 해법은 전부 비매끄러움을 정면으로 다루는 쪽이다.

• 샹볼 쌍대 사영법(2004). 쌍대변수 $p$ 에 대해 $u = f - \lambda\,\mathrm{div}\,p$ 로 두고 $\|p\|_\infty \le 1$ 위에서 사영 반복을 돌린다. 이산 $\|\mathrm{div}\,\nabla\| \le 8$ 이라 스텝 $\tau \le 1/8$ 이면 수렴한다. 파라미터가 사실상 없어 재현성이 좋다.
• 원시-쌍대(Chambolle–Pock, 2011). $\min_u \max_p \langle \nabla u, p\rangle + \frac12\|u-f\|^2 - \iota_{\|p\|_\infty\le1}(p)$ 를 번갈아 푼다. 스텝 조건은 $\tau\sigma L^2 < 1$($L = \|\nabla\|$, 이산 2D에서 $L^2 \le 8$). 데이터항이 무엇이든 잘 붙어서 원시-쌍대 알고리즘 계열의 대표 주자가 됐다.
• 분할 브레그만 / 교대방향 승수법. $d = \nabla u$ 를 보조변수로 두고 제약을 걸면, $u$-갱신은 푸리에 변환이나 다중격자법으로 푸는 선형(라플라스) 문제가 되고 $d$-갱신은 성분별(또는 벡터별) 축소로 닫힌 형태가 된다. 골드스타인-오셔의 분할 브레그만은 사실상 ADMM과 같은 알고리즘이다.
• 근접 경사법류. TV의 prox 자체가 또 하나의 ROF 문제라 닫힌 형태가 없다. 내부 반복을 끼운 부정확 FISTA로 쓰거나, 애초에 원시-쌍대로 넘어간다.

6. λ는 어떻게 고르나[편집]

$\lambda$ 는 “얼마나 뭉갤 것인가”를 직접 정하는 유일한 손잡이다. 잡음 표준편차 $\sigma$ 를 알거나 추정할 수 있으면 모르조프 불일치 원리가 정석이다 — 잔차의 크기가 예상 잡음 에너지와 같아지도록

$$\|u_\lambda - f\|_2^2 = |\Omega|\,\sigma^2$$

를 만족하는 $\lambda$ 를 이분법으로 찾는다($\|u_\lambda - f\|$ 는 $\lambda$ 에 대해 단조라 잘 수렴한다). $\sigma$ 를 모르면 SURE(Stein 비편향 위험 추정)나 L-곡선, 교차검증을 쓴다. 실무에서는 위의 대비 손실 공식이 좋은 감이 된다 — 살리고 싶은 최소 구조의 크기 $R$ 과 대비 $\alpha$ 를 정하면 $\lambda < \alpha R/2$ 라는 상한이 바로 나온다.

마지막으로 범위를 분명히 해 두자. TV는 “조각별 상수”라는 사전분포를 강하게 밀어 넣는 모형이므로, 텍스처가 풍부한 자연영상에서는 결이 통째로 잔차로 빠져나간다. 그런 신호에는 웨이블릿 변환 계수 희소성, 딕셔너리 학습으로 얻은 사전, 요즘은 심층 학습 기반 사전(플러그앤플레이 사전)이 낫다. 그럼에도 TV가 안 죽는 이유는 파라미터가 하나뿐이고, 볼록이며, 학습 데이터가 필요 없고, 왜 그렇게 나왔는지 위처럼 손으로 설명이 되기 때문이다.² 초해상도나 인페인팅처럼 데이터항만 바꿔 끼우면 되는 확장성도 한몫한다.³

7. 관련 문서[편집]

• 역문제 · 압축센싱 · 최소자승법
• 근접 경사법 · 교대방향 승수법 · 모로 포락
• 볼록 최적화 · 경사하강법 · 조건수
• 웨이블릿 변환 · 푸리에 변환 · 딕셔너리 학습
• 편미분방정식 · 유한차분법 · 다중격자법
• 그래프 컷 · 초해상도 · 심층 학습

8. Footnotes[편집]

1. ROF 원논문의 정식화는 사실 벌점형이 아니라 제약형 $\min \mathrm{TV}(u)$ s.t. $\|u-f\|_2^2 = \sigma^2$ 였다. 라그랑주 쌍대로 넘기면 본문의 형태가 되고, 그때 $\lambda$ 가 곧 제약의 승수다. 요즘 논문에서 “ROF 모형”이라고 하면 십중팔구 벌점형을 가리킨다. ↩

2. ”$\lambda$ 하나로 끝난다”는 건 자랑인 동시에 저주이기도 하다. 리뷰어가 ”$\lambda$ 는 어떻게 정했나요”라고 물으면 도망갈 곳이 정확히 없다. 반면 신경망 기반 사전제거기는 하이퍼파라미터가 40개쯤 되므로 아무도 개별적으로 캐묻지 않는다. 설명 가능성의 역설. ↩

3. 데이터항 $\frac12\|Au-f\|^2$ 에서 $A$ 를 흐림 커널로 두면 디블러링, 마스크로 두면 인페인팅, 다운샘플링으로 두면 초해상도, 언더샘플 푸리에로 두면 압축센싱 MRI다. 코드는 연산자 하나만 갈아 끼우면 되고, 그래서 TV 코드는 한 번 짜 두면 대학원 내내 재활용된다. ↩