광류

컴퓨터 그래픽스 수치해석 마지막 수정: 2026-09-01 04:13:41

1. 개요[편집]

광류 Optical Flow
가정	밝기 항상성 $I(x,y,t)=I(x+u\,\delta t,\;y+v\,\delta t,\;t+\delta t)$
구속식	$I_x u + I_y v + I_t = 0$ — 미지수 2, 식 1
병목	조리개 문제(aperture problem) — 법선 성분만 결정된다
두 고전	Lucas–Kanade(1981, 국소) · Horn–Schunck(1981, 전역)
큰 변위	굵은-고운 피라미드 + 워핑
평가	EPE(종점 오차) · AAE(각도 오차) / Middlebury · KITTI · Sintel

두 장의 사진이 있다. 화소마다 “이게 어디로 갔는지”를 적어라. 이 한 줄짜리 요구가 40년째 학회를 먹여 살리고 있다.

광류(optical flow)는 연속한 두 영상 프레임 사이에서 밝기 패턴이 이동한 겉보기 속도장 $(u,v)$ 를 화소마다 추정하는 문제다. 출력이 화소마다 벡터 하나인 조밀(dense) 대응이라는 점에서, 특징점 몇백 개만 짝짓는 특징점 검출 기반 희소 정합과 구분된다.

이름에 “optical”이 붙은 이유는 이것이 빛의 흐름이지 물체의 흐름이 아니기 때문이다. 3차원 물체의 실제 운동을 영상면에 투영한 것은 운동장(motion field)이라 부르고, 광류는 그것과 다를 수 있다. 호른이 든 두 반례가 유명하다. 균일한 무늬 없는 구를 고정 조명 아래에서 회전시키면 운동장은 0이 아니지만 화면은 전혀 변하지 않아 광류가 0이고, 반대로 가만히 있는 구에 조명만 움직이면 운동장은 0인데 명암이 흘러 광류가 잡힌다. 광류는 운동장의 추정치가 아니라, 우리가 관측할 수 있는 유일한 대리 변수다.¹

2. 밝기 항상성과 구속식[편집]

출발점은 “따라가는 동안 그 점의 밝기는 변하지 않는다”는 가정 하나다.

I(x,y,t) = I\bigl(x+u\,\delta t,\; y+v\,\delta t,\; t+\delta t\bigr)

우변을 1차 테일러 급수로 펼치고 $\delta t \to 0$ 을 취하면

I_x u + I_y v + I_t = 0 \qquad\Longleftrightarrow\qquad \nabla I \cdot \mathbf{v} + I_t = 0

이 나온다. 이것이 광류 구속식(optical flow constraint equation, OFCE) 또는 밝기 항상성 방정식이다. 유도 자체는 물질도함수 $\mathrm{D}I/\mathrm{D}t = 0$ 이므로, 유체역학의 이송 방정식과 형태가 똑같다 — 밝기를 수동 스칼라로 보고 그 이송 속도를 역산하는 문제인 셈이다.

여기서 두 가지가 바로 따라 나온다. 첫째, 테일러 1차 전개를 썼으므로 변위가 작아야 한다. 정확히는 변위가 영상 구조의 특성 길이보다 작아야 하고, 그렇지 않으면 $I_t$ 가 국소 기울기와 아무 관계 없는 값이 되어 추정이 그냥 망가진다. 둘째, 미지수는 화소당 둘인데 식은 하나뿐이다.

3. 조리개 문제[편집]

식이 하나 모자란다는 사실의 기하학적 의미가 조리개 문제(aperture problem, 구멍 문제)다. 구속식은 $(u,v)$ 평면에서 직선 하나를 정의하고, 그 직선 위의 모든 속도가 관측과 똑같이 부합한다. 결정되는 것은 기울기 방향 성분, 즉 법선 흐름(normal flow)뿐이다.

u_n = -\frac{I_t}{\lvert \nabla I \rvert}

에지를 따라 미끄러지는 성분은 원리적으로 관측 불가능하다. 좁은 구멍으로 사선 줄무늬가 지나가는 것을 보면 항상 구멍에 수직으로 흐르는 것처럼 보이는 착시(이발소 간판 착시)가 정확히 이 현상이다. 평탄한 영역이면 사정이 더 나빠서 $\nabla I \approx 0$ 이므로 아무 정보도 없다.

그래서 모든 광류 알고리즘은 예외 없이 정보를 어디선가 빌려 온다. 이웃 화소에서 빌리면 국소법(Lucas–Kanade), 영상 전체의 매끄러움에서 빌리면 전역법(Horn–Schunck)이다. 이 갈림길이 40년 동안 광류 연구의 뼈대였다.

4. 두 고전 — 국소와 전역[편집]

4.1. Lucas–Kanade[편집]

루카스와 카나데(1981)의 처방은 “작은 창 $W$ 안에서는 흐름이 상수” 라고 못 박는 것이다.² 그러면 창 안 화소 수만큼 식이 생기고, 미지수는 여전히 둘이므로 과결정계가 되어 최소자승법으로 푼다.

\min_{u,v}\ \sum_{\mathbf{x}\in W} w(\mathbf{x})\,\bigl(I_x u + I_y v + I_t\bigr)^2 \;\Longrightarrow\; \underbrace{\begin{bmatrix}\sum w I_x^2 & \sum w I_xI_y \\ \sum w I_xI_y & \sum w I_y^2\end{bmatrix}}_{\textstyle J} \begin{bmatrix}u\\v\end{bmatrix} = -\begin{bmatrix}\sum w I_xI_t \\ \sum w I_yI_t\end{bmatrix}

정규방정식의 계수행렬 $J$ 가 바로 구조 텐서다. 해리스 코너 검출기가 쓰는 것과 글자 하나 다르지 않은 행렬이며, 그래서 광류와 코너 검출이 같은 이론을 공유한다.

$\lambda_1,\lambda_2$ 가 둘 다 작으면 평탄 — 풀 수 없다.
$\lambda_1 \gg \lambda_2 \approx 0$ 이면 에지 — 특이에 가까워 법선 성분만 나온다. 조리개 문제가 조건수로 번역된 형태다.
둘 다 크면 코너 — 잘 결정된다.

시-토마시가 “추적하기 좋은 특징”을 $\lambda_2 > \tau$ 로 정의한 이유가 여기 있다. 추적기가 안 터질 점만 고른다는 것이고, 이 조합(코너 선택 + LK 추적)이 KLT 추적기라는 이름으로 굳었다. LK는 조밀 흐름이 아니라 선택된 점의 희소 흐름을 주는 도구로 쓰이는 것이 보통이다.

4.2. Horn–Schunck[편집]

호른과 슝크(1981)는 같은 해에 정반대 길을 갔다.³ 흐름장 전체를 미지 함수로 두고 변분 문제를 세운다.

E(u,v) = \iint \Bigl[\;\bigl(I_x u + I_y v + I_t\bigr)^2 \;+\; \alpha^2\bigl(\lvert\nabla u\rvert^2 + \lvert\nabla v\rvert^2\bigr)\;\Bigr]\,dx\,dy

앞 항이 자료항, 뒤 항이 평활항이고 $\alpha$ 가 둘의 저울이다. 변분법의 오일러-라그랑주 방정식을 쓰면 연립 타원형 편미분방정식이 나온다.

I_x\bigl(I_xu+I_yv+I_t\bigr) = \alpha^2 \nabla^2 u, \qquad I_y\bigl(I_xu+I_yv+I_t\bigr) = \alpha^2 \nabla^2 v

라플라시안을 $\nabla^2 u \approx \bar u - u$ ( $\bar u$ 는 이웃 평균)로 이산화하고 $2\times2$ 를 손으로 풀면 그 유명한 갱신식이 떨어진다.

u^{k+1} = \bar u^{k} - I_x\,\frac{I_x\bar u^{k} + I_y\bar v^{k} + I_t}{\alpha^2 + I_x^2 + I_y^2}, \qquad v^{k+1} = \bar v^{k} - I_y\,\frac{I_x\bar u^{k} + I_y\bar v^{k} + I_t}{\alpha^2 + I_x^2 + I_y^2}

이건 야코비 반복이고, $\bar u$ 를 갱신된 값으로 즉시 바꿔 쓰면 가우스-자이델, 나아가 다중격자법으로 가속할 수 있다. 즉 광류를 푸는 일은 이 지점부터 완전히 반복법의 세계로 들어간다. 평활항 덕에 정보가 텍스처 있는 곳에서 평탄한 곳으로 확산되므로, LK가 포기하는 균일 영역에서도 값이 채워진다. 이것을 흐름의 “채우기(filling-in)” 효과라 부른다.

정답 flow (0.90, −0.55) px 를 아는 128×64 합성 영상쌍에서 Lucas–Kanade 와 Horn–Schunck 를 같은 미분값으로 푼다. 사인 격자 패치 936화소는 전부 λ₂<τ 로 판정돼 LK 가 법선 성분만 복원하고(EPE 0.848, 접선 성분이 만드는 이론 하한 0.825), 같은 화소를 HS 는 평활항의 채워넣기로 400회 야코비에 0.120 까지 내린다. σ 를 0.04 로 올리면 잡음이 만든 λ₂ 가 τ 를 넘어 구멍 판정 자체가 3348→69 화소로 무너진다.

항목	Lucas–Kanade	Horn–Schunck
정보 보충	창 안에서 흐름 상수	전역 평활 벌점 $\alpha$
푸는 것	화소마다 독립 $2\times2$	전역 연립계, 반복
밀도	조건 좋은 곳만(희소)	전 화소(조밀)
병렬화	완전 독립, 자명	반복·통신 필요
약점	균일 영역에서 무응답	운동 경계를 뭉갠다

둘은 배타적이지 않다. 브룬·바이커트·슈뇌르의 CLG(combined local-global, 2005)는 호른-슝크 에너지의 자료항을 점별 잔차 대신 구조 텐서로 국소 평균한 잔차로 바꾼다. 잡음에는 LK처럼 강하면서 결과는 HS처럼 조밀한, 말 그대로 두 마리를 다 잡는 구성이다.

5. 큰 변위 — 피라미드와 워핑[편집]

선형화가 작은 변위에서만 성립한다는 제약은 실전에서 치명적이다. 초당 30프레임 영상에서도 자동차나 손은 프레임당 수십 화소를 간다. 표준 처방은 이미지 피라미드를 이용한 굵은-고운(coarse-to-fine) 전략이다.

영상을 $2^L$ 배 축소하면 변위도 $2^{-L}$ 배가 되어 선형화가 성립한다.
거친 층에서 흐름을 구하고, 그것으로 두 번째 영상을 워핑해 잔차 변위만 남긴다.
한 층 내려가 흐름을 2배로 키운 뒤 잔차만 다시 추정한다. 바닥까지 반복.

이 반복적 워핑을 브록스 등(2004)이 에너지 최소화의 고정점 반복으로 해석하면서 비로소 이론적 지위가 정리됐다 — 피라미드는 요령이 아니라 비볼록 에너지에 대한 연속화(continuation) 기법이라는 것. 자세한 계층 구성과 다중격자법과의 차이는 이미지 피라미드 문서가 정리해 두었다.

그럼에도 남는 근본적 한계가 있다. 작고 빠른 물체는 거친 층에서 아예 사라진다. 축소 과정에서 지워진 물체의 변위는 어떤 워핑으로도 복구되지 않고, 이것이 “large displacement optical flow”라는 별도 연구 갈래(기술자 매칭을 자료항에 섞는 방식)를 낳았다.

6. 이차 평활항의 대가, 그리고 강건화[편집]

호른-슝크의 $\lvert\nabla u\rvert^2$ 는 볼록하고 미분 가능해 다루기 편하지만, 운동 불연속을 벌점으로 세게 때린다. 물체 경계에서 흐름이 점프해야 하는데 이차 벌점이 그것을 뭉개서, 배경 위로 물체가 번지는 흔한 실패가 나온다. 처방의 계보는 전변분 잡음제거와 놀랄 만큼 닮았다.

강건 벌점. 블랙과 아난단(1996)이 자료항·평활항 모두에 로렌치안 같은 재하강형 M-추정자를 씌워 이상점과 운동 경계를 함께 흡수했다.
TV- $L^1$ . 평활항을 $\lvert\nabla u\rvert$ (전변분), 자료항을 절댓값으로 바꾼 구성(Zach 외 2007). 볼록성을 유지하면서 조각별 매끄러운 해를 얻고, 밝기 이상점에도 강하다. GPU 실시간 구현의 표준이 됐다.
영상 구동 평활. 평활 강도를 영상 기울기에 따라 낮춰 흐름 경계가 영상 에지에 붙게 한다. 비등방성 확산의 확산 텐서를 그대로 가져다 쓰는 형태가 흔하다.
가정 자체의 교체. 밝기 항상성은 조명 변화에 무력하므로, 기울기 항상성 $\nabla I$ 보존이나 구조 텐서 보존을 추가 자료항으로 넣는다.

7. 얼마나 맞는지 재는 법[편집]

정답 흐름장을 아는 데이터가 있어야 평가가 가능한데, 광류의 정답은 사람이 손으로 그릴 수 없다는 것이 오래된 골칫거리였다.

EPE(endpoint error, 종점 오차) — $\lVert (u,v) - (u_{gt},v_{gt})\rVert_2$ . 현재 사실상 유일한 주 지표다.
AAE(average angular error, 평균 각도 오차) — $(u,v,1)$ 로 3차원 벡터를 만들어 각도를 잰다. 시간축의 1을 끼워 넣는 탓에 작은 흐름에서 오차가 과소평가되는 편향이 있어, 지금은 보조 지표로 밀렸다.

지표를 보기 전에 사람들은 대개 흐름장 그림부터 보는데, 그 색깔 규약도 이 데이터셋들이 정했다.⁴ 데이터셋의 계보가 곧 이 분야의 연대기다. Middlebury(Baker 외, 2007/2011)는 형광 도료와 자외선 촬영이라는 기발한 방법으로 실사 장면의 준정답을 만들었지만 변위가 작았다. KITTI(2012/2015)는 차량에 라이다와 GPS를 얹어 실제 주행 장면의 준정답을 얻었고, 대신 흐름이 희소하다. MPI Sintel(2012)은 오픈소스 애니메이션의 렌더링 파이프라인에서 흐름장을 그대로 뽑아, 큰 변위·모션 블러·안개까지 포함한 완전한 조밀 정답을 공짜로 얻었다. 정답을 구하기 어려우면 장면을 통째로 합성한다는 이 발상이 이후 학습 기반 방법의 학습 데이터 문제까지 해결해 버렸다.

8. 학습 기반으로의 전환[편집]

FlowNet(2015)이 합성곱망으로 흐름을 직접 회귀한 첫 시도였고, 초기 성적은 고전 변분법에 밀렸다. 판이 뒤집힌 것은 망 구조에 고전 알고리즘의 뼈대를 다시 집어넣으면서다.

PWC-Net(2018) — 피라미드(Pyramid), 워핑(Warping), 비용 볼륨(Cost volume). 이름이 곧 굵은-고운 워핑 그 자체다.
RAFT(2020) — 전 화소쌍 상관으로 4차원 비용 볼륨을 한 번 만들어 두고, GRU가 흐름장을 반복 갱신한다. 굵은-고운 대신 단일 해상도에서 반복하는 구조라 작고 빠른 물체가 사라지는 고전적 실패를 피한다. 갱신을 반복해 수렴시킨다는 점에서 사실상 학습된 반복 솔버다.

정리하면 심층 학습이 바꾼 것은 자료항과 정칙화를 손으로 설계할지 데이터로 배울지이고, 문제 정의(대응 찾기)·비용 볼륨·반복 세련화라는 골격은 그대로 남았다. 밝기 항상성 가정과 조리개 문제는 여전히 이 분야의 첫 두 페이지다.

9. 어디에 쓰나[편집]

동영상 압축. 흔히 광류의 응용으로 소개되지만 정확히는 아니다. H.264/HEVC의 움직임 추정은 미분이 아니라 블록 매칭이고, 얻는 벡터는 물리적 운동이 아니라 부호화 비용을 최소화하는 예측 벡터다. 실제 광류가 쓰이는 자리는 움직임 보상 프레임 보간과 후처리 쪽이며, 여기서는 진짜 운동을 맞히는 것이 목적이라 요구 조건이 다르다.
유동 계측. 입자 영상 유속계(PIV)의 주류는 상관 기반이지만, 조밀한 속도장과 비압축 조건 같은 물리 제약을 정칙화로 넣을 수 있다는 이유로 광류형 PIV가 꾸준히 쓰인다. 상관법·DIC와의 위치 관계는 이미지 정합 문서에 정리돼 있다.
시각 주행거리계와 SLAM. KLT 희소 추적이 고전 파이프라인의 앞단이고, 추적된 점들로 RANSAC + 에피폴라 기하를 풀어 자세를 얻는다. 스테레오 비전의 시차 추정도 흐름을 에피폴라선 위 1차원으로 제한한 특수 경우로 볼 수 있다.
의료·과학 영상. 심근 운동 추적, 위성 구름 이동 추정, 현미경 세포 추적. 공통점은 정답이 없고 물리 제약(비압축성, 질량 보존)을 정칙화로 넣을 수 있다는 것.

한 줄 요약. 광류는 식이 하나 모자란 문제이고, 지난 40년의 연구는 전부 “모자란 한 식을 어디서 어떻게 빌려 올 것인가”에 대한 서로 다른 대답이었다.

10. 관련 문서[편집]

Horn, B. K. P. (1986). Robot Vision, MIT Press. 회전하는 무광 구 이야기가 이 책의 광류 장 서두에 나온다. 결론은 “광류와 운동장이 같다고 믿을 근거는 없지만, 그렇다고 믿지 않으면 아무것도 할 수 없다”에 가깝다. 컴퓨터 비전 교과서에서 드물게 솔직한 대목. ↩
Lucas, B. D. & Kanade, T. (1981). “An Iterative Image Registration Technique with an Application to Stereo Vision”, IJCAI. 제목에 광류라는 단어가 없다. 원래 목적은 스테레오 정합이었고, 광류 논문으로 인용되기 시작한 건 한참 뒤다. 인용 수 2만이 넘는 논문의 절반쯤은 저자가 의도하지 않은 용도로 인용된다는 법칙의 사례. ↩
Horn, B. K. P. & Schunck, B. G. (1981). “Determining Optical Flow”, Artificial Intelligence 17. 같은 해 같은 문제에 정반대 처방이 나온 것은 우연이 아니라, 1980년 전후에 “조리개 문제를 어떻게 메울 것인가”가 이미 공개된 병목이었기 때문이다. 참고로 이 논문의 평활항 유도는 지금 기준으로도 읽을 만하다. ↩
광류 논문의 그림은 대개 색상환으로 그린다 — 색상(hue)이 방향, 채도가 크기. Middlebury가 정한 이 관례가 워낙 굳어서, 이제는 색만 봐도 “아 광류구나” 하게 됐다. 다만 이 시각화는 정량 비교에 무력하고, 그래서 논문의 표에는 반드시 EPE 숫자가 따로 실린다. ↩

광류