이미지 정합

컴퓨터 그래픽스 수치해석 마지막 수정: 2026-08-31 04:51:44

1. 개요[편집]

이미지 정합 Image Registration
푸는 것	두 영상을 대응시키는 공간변환 $T$
부품 넷	변환 모형 · 유사도 척도 · 최적화기 · 보간기
변환 계층	강체 → 상사 → 아핀 → 투영 → B-스플라인 → 미분동형
다중모달의 답	상호정보량 (Viola/Wells · Collignon/Maes, 1995)
필수 제약	$\det J_T > 0$ — 접히면 그건 변형이 아니다
공학 응용	DIC(변형장 계측) · DVC · 실험-해석 비교

두 장을 겹쳤는데 안 맞는다. 카메라가 움직였을 수도, 환자가 숨을 쉬었을 수도, 시편이 늘어났을 수도 있다. 무엇이 얼마나 움직였는지를 되찾는 것이 정합이다.

이미지 정합(image registration)은 같은 대상을 담은 두 개 이상의 영상을 하나의 공간 좌표계로 대응시키는 변환을 찾는 문제다. 한쪽을 기준으로 고정하고(고정영상 $I_F$ ) 다른 쪽을 움직여(이동영상 $I_M$ ) 겹치는 것이 표준 설정이며, 문제는 언제나 다음 최적화로 쓰인다.

\hat{T} \;=\; \arg\min_{T}\;\; \mathcal{S}\bigl(I_F,\; I_M \circ T\bigr) \;+\; \lambda\,\mathcal{R}(T)

이 한 줄에 정합 시스템의 부품 네 개가 전부 들어 있다. 변환의 모형 $T$ 가 무엇인가, 두 영상이 얼마나 닮았는지를 재는 $\mathcal{S}$ 는 무엇인가, 변환의 형태를 얼마나 규제할 것인가( $\mathcal{R}$ ), 그리고 $I_M \circ T$ 를 계산할 때 격자 사이 값을 어떻게 보간할 것인가. 정합 논문을 읽을 때 이 네 칸을 표로 채워 보면 대부분의 방법이 조합의 문제로 정리된다.¹

특징점을 뽑아 대응시키고 RANSAC으로 호모그래피를 푸는 계열은 이 문제의 희소(sparse) 버전이다. 그쪽은 특징점 검출 문서가 다루므로, 여기서는 화소값을 직접 쓰는 조밀(dense) 정합, 특히 비강체 변형과 다중모달에 무게를 둔다.

2. 변환 모형의 계층[편집]

무엇을 허용할지가 곧 문제의 자유도이고, 자유도가 늘수록 잘 맞지만 틀린 방식으로도 잘 맞을 수 있다.

모형	3D 자유도	보존하는 것	전형적 상황
강체	6	거리·각도	같은 사람 뇌의 다른 촬영, 뼈
상사	7	각도·비율	배율이 다른 장비 간
아핀	12	평행성·직선	전역 기울림, 자기장 왜곡 1차 근사
투영	15	직선·교차비	3D-2D 투시 정합, X선 투시
B-스플라인 FFD	제어점 수 × 3	국소 매끄러움	장기 변형, 호흡
미분동형	무한차원	위상(접히지 않음)	개체 간 뇌 정합, 큰 변형

자유형태변형(FFD) 은 비강체 정합의 실무 표준이다. 영상 위에 성긴 제어점 격자를 얹고 각 제어점을 움직이면, 3차 B-스플라인이 그 사이를 매끄럽게 보간해 변위장 $u(x)$ 를 만든다. 3차 B-스플라인의 받침이 국소(1차원 4개 제어점)이므로 한 제어점을 건드려도 그 근방만 바뀐다 — 계산도 싸고 국소 변형도 잘 잡는다. 격자 간격이 곧 정칙화 세기라, 성기면 뻣뻣하고 촘촘하면 자유롭다. 거친 격자에서 시작해 단계적으로 세분하는 다중격자식 전략이 국룰.

미분동형(diffeomorphic) 계열은 요구가 하나 더 있다. 변환이 매끄럽고, 역이 존재하고, 그 역도 매끄러울 것. 해부학적으로 말하면 조직이 찢어지거나 겹치지 않는다는 뜻이다. LDDMM은 시간에 따라 변하는 속도장 $v_t$ 를 두고 흐름 방정식

\frac{\partial \phi_t}{\partial t} = v_t\bigl(\phi_t\bigr), \qquad \phi_0 = \mathrm{id}

을 적분해 변환을 만든다. 속도장을 매끄러운 공간에서 고르면 결과가 미분동형임이 보장되고, $\int_0^1\lVert v_t\rVert^2 dt$ 를 최소화하는 경로가 변환군 위의 측지선이 되어 “두 형상 사이의 거리”라는 개념까지 생긴다. 대가는 계산량 — 시간 방향 적분과 그 수반 방정식까지 풀어야 한다. 실무 타협은 속도장을 시간에 대해 정상(stationary) 으로 두고 스케일링-제곱법으로 지수사상을 계산하는 것이고, 이쪽이 훨씬 싸면서 미분동형 성질을 유지한다.

3. 유사도 척도 — 무엇을 “닮았다”고 할 것인가[편집]

정합 문제의 성격을 결정하는 것은 사실 변환 모형이 아니라 이 함수의 선택이다.

SSD(제곱차 합). $\sum (I_F - I_M\circ T)^2$ . 두 영상의 화소값이 같은 물리량이고 잡음이 가우시안일 때 최대우도 추정과 동치다. 같은 장비·같은 시퀀스로 찍은 영상에는 최선이지만, 밝기 이득만 달라져도 무너진다.
정규 상호상관(NCC). 평균을 빼고 표준편차로 나눈 뒤 내적한다. 화소값 사이에 아핀 관계( $I_F \approx a I_M + b$ )만 성립하면 되므로 조명·이득 변화에 견딘다. 국소 창마다 계산하는 LNCC는 밝기 불균일(bias field)까지 흡수한다.
상관비. 관계가 아핀이 아니라 임의의 함수 관계여도 되는 척도. 다중모달의 중간 단계쯤 된다.
상호정보량(MI). 다중모달 정합의 결정적 해법. 두 영상의 결합 히스토그램에서
$I(A;B) = H(A) + H(B) - H(A,B)$
를 계산하고 이것을 최대화한다. 아이디어의 핵심은 화소값 사이에 아무런 함수 관계도 가정하지 않는다는 것이다. 두 영상이 잘 맞으면 결합 히스토그램이 몇 개의 뭉치로 뾰족하게 모이고( $H(A,B)$ 감소), 어긋나면 뭉개져 퍼진다. CT에서 밝은 뼈가 MR에서는 어둡게 나오든 말든 상관없다 — 통계적 의존성만 있으면 된다. 1995년에 MIT의 비올라·웰스와 루뱅의 콜리뇽·마스가 각각 독립적으로 제안했고, MR-CT-PET 융합이라는 오래된 난제를 사실상 끝냈다.²

MI에는 실무적 함정이 둘 있다.

겹침 의존성. 변환이 두 영상의 겹치는 영역을 줄이면 히스토그램에 들어가는 표본이 바뀌어 MI가 인위적으로 커지거나 작아진다. 영상 밖으로 밀어내는 쪽이 이득이 되어 버리는 것이다. 처방이 정규화 상호정보량(NMI) $\bigl(H(A)+H(B)\bigr)/H(A,B)$ 로, 겹침 변화에 훨씬 둔감하다.
보간 아티팩트. 히스토그램을 셀 때 화소를 어디에 넣을지가 보간에 의존하는데, 선형 보간을 쓰면 변위가 정확히 격자 정수배일 때 값이 덜 번져 MI가 국소적으로 튄다. 결과적으로 MI 곡선에 격자 간격마다 톱니가 생겨 최적화기가 거기에 빠진다. 대책은 부분체적 보간이나 B-스플라인 파젠 창으로 히스토그램을 매끄럽게 만드는 것 — 덤으로 MI가 미분 가능해져 기울기 기반 최적화가 가능해진다.

4. 최적화와 다해상도[편집]

유사도 지형은 심하게 비볼록하다. 반복되는 구조(척추뼈, 갈비뼈, 격자무늬 벽지)가 있으면 국소 최소점이 주기적으로 깔리고, 초기 변위가 물체 크기를 넘으면 애초에 기울기가 정보를 주지 못한다. 그래서 정합은 늘 거친 것부터 고운 것으로(coarse-to-fine) 간다.

이미지 피라미드를 쌓고 위층부터 푼다. 레벨 $L$ 에서는 실제 변위가 $2^{-L}$ 로 줄어 포착 범위(capture range) 안에 들어오고, 흐려진 영상에서는 잔가지 국소 최소점이 지워져 지형이 완만해진다. 위층 해를 아래층 초기값으로 내리면서 정련한다. 여기에 변환 모형의 해상도(강체 → 아핀 → 성긴 B-스플라인 → 촘촘한 B-스플라인)와 정칙화 세기를 함께 낮춰 가는 것이 정석이다.

최적화기 자체는 문제에 따라 갈린다. SSD처럼 잔차 제곱합 구조면 가우스-뉴턴법이나 레벤버그-마쿼트 방법이 압도적으로 빠르고, MI처럼 구조가 없으면 경사하강법이나 준-뉴턴(준-뉴턴법) 계열로 간다. 변수가 수만 개(B-스플라인 제어점)이고 유사도 한 번 계산에 전체 영상을 훑어야 하는 상황에서는, 매 반복마다 화소를 무작위 부분표본만 써서 기울기를 추정하는 확률적 경사하강법형 전략이 크게 이긴다. 정확한 기울기를 비싸게 구하느니, 잡음 섞인 기울기를 싸게 많이 쓰는 쪽이 낫다는 계산이다.

5. 정칙화와 야코비안 — 접히면 안 된다[편집]

자유도를 늘리면 유사도는 언제든 더 좋아진다. 극단적으로, 화소마다 독립적인 변위를 허용하면 아무 영상이나 아무 영상으로 완벽히 옮길 수 있다. 그건 정합이 아니라 그냥 다시 그린 것이다. 그래서 정칙화 항이 필수다.

굽힘 에너지. $\int \lVert \nabla^2 u\rVert_F^2\,dx$ . 2차 미분을 벌하므로 아핀 변환에는 벌점이 0이고, 곡률만 규제한다. B-스플라인 FFD의 표준 짝.
탄성·확산. 선형탄성 연산자나 라플라시안을 걸어 변위장을 물리적으로 그럴듯하게 만든다. 실제 조직의 물성을 넣으면 생체역학 기반 정합이 된다.
비압축성. $\det J_T = 1$ 을 강제. 근육·간처럼 부피가 잘 안 변하는 조직에 쓴다.

핵심 건전성 검사는 변환 야코비안의 행렬식이다.

J_T(x) = \frac{\partial T}{\partial x}, \qquad \det J_T(x) > 0 \;\; \forall x

$\det J_T$ 는 그 지점의 국소 부피 변화율이다. 1보다 크면 팽창, 작으면 수축, 0 이하이면 공간이 뒤집힌 것 — 조직이 자기 자신을 통과했다는 뜻이라 물리적으로 무의미하다. B-스플라인 FFD는 이것을 자동으로 보장하지 않으므로, 제어점 변위를 격자 간격의 0.4배 정도로 제한하는 충분조건을 걸거나 $\det J$ 에 벌점을 주거나, 아니면 애초에 미분동형 모형으로 가야 한다. 미분동형 계열이 비싼 값을 치르고 사는 것이 정확히 이 보장이다.

거꾸로 이 야코비안은 결과물이기도 하다. 같은 사람을 1년 간격으로 찍은 뇌 MR을 정합하고 $\det J$ 지도를 그리면, 그것이 곧 국소 위축·팽창의 정량 지도가 된다. 이 방법론이 텐서 기반 형태계측이다.

6. 검증 — 잘 맞은 것처럼 보이는 것과 잘 맞은 것[편집]

정합에서 가장 자주 저지르는 실수가 유사도값으로 정확도를 주장하는 것이다. 유사도는 최적화의 목적함수였으므로, 그것이 좋다는 사실은 “최적화가 잘 돌았다”만 말해 준다. 정확도는 독립적인 증거로 재야 한다.

TRE(표적 정합 오차). 정합에 쓰이지 않은 해부학적 랜드마크를 골라, 변환 후 두 영상에서의 위치 차이를 잰다. 이것이 사실상 유일한 정면 승부다.
FRE는 TRE가 아니다. 정합에 사용한 기준점의 잔차(FRE)가 작다는 것은 TRE가 작다는 보장이 전혀 못 된다. 두 양이 사실상 무상관이라는 것이 정량적으로 밝혀져 있으며, 기준점을 늘리면 FRE는 커지는데 TRE는 오히려 줄어드는 일도 흔하다. 화면에 뜨는 잔차 숫자를 정확도로 보고하는 관행이 위험한 이유.
역일관성. $T_{A\to B}$ 와 $T_{B\to A}$ 를 각각 구해 합성하면 항등사상이 나와야 한다. 그 편차가 역일관성 오차이고, 알고리즘의 편향을 드러낸다. 셋 이상에서 순환시키는 추이성 오차도 같은 취지.
분할 겹침(Dice)의 함정. 정합 후 장기 마스크가 얼마나 겹치는지로 평가하는 관행이 널리 쓰이지만, 큰 덩어리 장기에서는 내부가 엉망으로 뒤섞여도 겹침은 거의 1이 나온다. 겹침은 대응의 정확도가 아니라 경계의 근접도만 잰다.
합성 진값. 알려진 변형장으로 영상을 일부러 워핑해 만든 데이터. 진값이 완벽하다는 것이 장점이자 한계다 — 실제 조직 변형의 통계를 재현하지 못하면 낙관적인 결과만 나온다.

7. 공학 응용 — 변형장을 재서 해석과 맞대 보기[편집]

의료 쪽 응용은 익숙하다. 다중모달 융합(PET의 대사 정보를 CT의 해부 위에), 아틀라스 기반 자동 분할, 종단 추적, 방사선치료의 선량 누적. 이 위키의 관심은 오히려 역학 계측 쪽이다.

7.1. 디지털 이미지 상관법(DIC)[편집]

시편 표면에 무작위 스페클 패턴을 뿌리고, 하중을 걸며 사진을 연속으로 찍는다. 변형 전 영상에서 작은 부분창(subset)을 하나 떼어 변형 후 영상에서 정규 상호상관이 최대가 되는 자리를 찾으면, 그것이 그 점의 변위다. 부분창을 격자로 깔면 전면(full-field) 변위장이 나오고, 미분하면 변형률장이 나온다. 요점 몇 가지.

부분창을 단순 평행이동만 시키면 변형률이 있는 곳에서 상관이 무너지므로, 부분창에 형상함수(1차 = 아핀, 2차 = 이차)를 얹어 함께 최적화한다. 위의 일반 정합 틀에서 국소 아핀 변환을 푸는 것과 정확히 같다.
하위픽셀 정밀도는 뉴턴-랩슨 또는 역합성 가우스-뉴턴(IC-GN) 반복으로 얻으며, 좋은 조건에서 0.01화소 수준까지 간다. 여기서 스페클 패턴의 품질(크기·대비·등방성)이 곧 계측 불확도를 결정한다 — 페인트 스프레이 뿌리는 솜씨가 계측기 사양이 되는 분야다.
카메라 두 대를 쓰면 스테레오-DIC가 되어 면외 변위와 곡면 형상까지 나오고, 마이크로 CT 볼륨 두 개를 정합하면 체적 상관법(DVC) 이 되어 시편 내부의 3차원 변형장을 얻는다. 전산 단층촬영과 정합이 만나는 지점이며, 여기서는 부분창이 3차원 블록이 될 뿐 원리가 같다.

DIC가 시뮬레이션 쪽에서 중요한 이유는 유한요소법 결과와 같은 종류의 데이터를 준다는 것이다. 스트레인 게이지가 점 몇 개의 값을 주는 반면 DIC는 수만 점의 장(field)을 준다. 그래서 검증(V&V)의 성격이 달라진다 — “이 지점에서 값이 3% 차이”가 아니라 “변형장 전체의 패턴이 맞는가”를 물을 수 있다. 나아가 측정된 변형장으로 물성을 역산하는 길이 열린다. 유한요소 해석을 반복하며 계산 변형장이 측정 변형장에 맞도록 물성을 갱신하는 유한요소 모델 업데이팅(FEMU), 가상일 원리를 직접 써서 반복 없이 푸는 가상장법(VFM), 아예 유한요소 기저를 DIC의 형상함수로 삼아 정합과 동정을 한 번에 푸는 통합 DIC가 그 계보다.

7.2. PIV와 광류 — 같은 뿌리, 다른 물리[편집]

유체 쪽의 입자 영상 유속계(PIV) 도 계산 구조가 거의 같다. 유동에 추적입자를 뿌리고 레이저 시트로 얇은 면을 밝혀 짧은 간격으로 두 장을 찍은 뒤, 검사창(interrogation window)마다 상호상관의 봉우리를 찾아 변위를 얻고 시간간격으로 나눠 속도를 만든다. 상관은 고속 푸리에 변환으로 계산하고, 봉우리에 가우시안을 맞춰 하위픽셀 위치를 잡는다.

셋의 차이를 정리해 두면 헷갈릴 일이 없다.

DIC — 고체 표면에 붙어 있는 패턴을 따라간다. 얻는 것은 물질점의 변위, 관심사는 변형률.
PIV — 유체에 떠다니는 추적자를 따라간다. 얻는 것은 오일러 속도장, 관심사는 와도·난류 통계. 추적자가 유동을 잘 따라가는가(스토크스 수)가 별도의 물리 문제로 붙는다.
광류 — 밝기 항상성 가정에서 미분으로 조밀 변위장을 푼다. 변위가 작아야 하고 정칙화가 필수인 대신, 화소마다 값이 나온다.

세 방법 모두 결국 “두 영상 사이의 대응을 찾는다”는 같은 문제이고, 창 기반 상관이냐 미분 기반이냐, 그리고 물리적으로 무엇을 따라가고 있다고 믿느냐가 갈릴 뿐이다.³

8. 관련 문서[편집]

특징점 검출 · 호모그래피 · RANSAC · 이미지 피라미드
상호정보량 · 쿨백-라이블러 발산 · 광류
가우스-뉴턴법 · 레벤버그-마쿼트 방법 · 준-뉴턴법 · 확률적 경사하강법
전산 단층촬영 · 이미지 분할 · 비등방성 확산
유한요소법 · 유한요소 모델 업데이팅 · 입자 영상 유속계
티호노프 정규화 · 역문제 · 능동 형상 모형

이 “부품 네 개” 관점은 ITK/elastix 계열 라이브러리의 설계 그대로다. 실제로 elastix의 설정 파일은 Transform, Metric, Optimizer, Interpolator 항목을 각각 문자열로 고르게 되어 있어서, 논문 하나가 대개 그중 한 칸을 바꾼 것이라는 씁쓸한 사실이 설정 파일 한 장에 드러난다. ↩
상호정보량 정합이 처음 나왔을 때의 충격은 “화소값의 물리적 의미를 몰라도 정합이 된다”는 것이었다. CT와 MR을 맞추려고 그때까지 사람들이 하던 일은 두 영상에서 각각 뼈나 피부 표면을 분할해 기하학적으로 맞추는 것이었는데, 분할이 틀리면 정합도 틀렸다. MI는 그 앞단을 통째로 건너뛴다. 정보이론이 임상 장비 안으로 걸어 들어간 몇 안 되는 사례. ↩
PIV와 DIC 연구자를 한 방에 두면 “우리가 먼저였다”로 시작하는 대화를 볼 수 있다. 실제로는 1980년대에 각자의 필요에서 거의 동시에 자라났고, 수십 년이 지나서야 서로가 같은 상호상관 코드를 다시 짜고 있었다는 것을 알아차렸다. 요즘은 창 변형 반복 기법이나 하위픽셀 보간 개선 같은 아이디어가 양쪽을 자유롭게 오간다. 학제 간 융합의 교과서적 사례이자, 문헌 조사를 게을리하면 어떻게 되는지의 사례이기도 하다. ↩