에지 검출

컴퓨터 그래픽스 수치해석 마지막 수정: 2026-08-27 04:13:41

1. 개요[편집]

에지 검출 Edge Detection
문제	영상 밝기 함수의 불연속 위치 추정
수학적 성격	수치 미분 = 잘못된 문제(ill-posed) → 정칙화 필요
1차 미분	로버츠 · 프리윗 · 소벨 · 샤르
2차 미분	라플라시안 · LoG(마르-힐드레스) 영교차
표준	캐니 검출기(1986)

사람은 선을 본다. 컴퓨터는 숫자의 계단을 본다. 문제는 잡음도 계단처럼 생겼다는 것.

에지 검출은 영상의 밝기 함수 $I(x,y)$ 에서 값이 급격히 변하는 위치, 즉 불연속(계단)이 놓인 자리를 찾아내는 문제다. 물체의 윤곽, 그림자 경계, 재질이 바뀌는 선 — 3차원 장면의 물리적 사건이 2차원 밝기의 불연속으로 투영된다는 가정 위에 서 있다. 그래서 에지 검출은 영상처리의 첫 단추이자, 이미지 분할·활성 윤곽선·물체 인식이 딛고 서는 바닥이다.

기법 자체는 한 줄로 요약된다. 밝기의 기울기가 큰 곳을 찾는다. 그런데 이 한 줄이 60년 동안 논문 수천 편을 낳았다. 미분이라는 연산이 잡음 앞에서 얼마나 무력한지, 그리고 “경계”라는 개념이 얼마나 사람의 해석에 의존하는지가 전부 여기서 터져 나오기 때문이다.

이 문서는 분할 기법 전반의 계보(이미지 분할)나 변분 곡선 모형(활성 윤곽선)과 겹치지 않는 쪽 — 미분 연산자를 어떻게 설계하고, 잡음과 국소화 사이의 저울을 어디에 놓는가 — 에 집중한다.

2. 미분은 잡음 증폭기다[편집]

이산 영상에서 미분을 구하는 가장 소박한 방법은 차분이다. $I_x \approx I(x+1,y) - I(x,y)$ . 이게 왜 위험한지는 주파수 영역에서 한 줄로 보인다. 미분의 전달함수는 $i\omega$ 이므로 미분은 주파수에 비례해 성분을 키운다. 잡음이 백색(모든 주파수에 균등)이면 미분 후 잡음 전력은 $\omega^2$ 에 비례해 커진다. 신호의 에너지는 저주파에 몰려 있는데 잡음만 고주파에서 증폭되니, 순수 차분은 잡음 증폭기 그 자체다.

수학적으로 더 정확히 말하면 수치 미분은 잘못된 문제(ill-posed problem)다. 입력에 아무리 작은 섭동을 줘도 미분값은 얼마든지 크게 흔들릴 수 있어 해가 데이터에 연속적으로 의존하지 않는다. 토레와 포지오가 1986년에 이 점을 명시적으로 짚고 에지 검출은 정칙화 없이는 성립하지 않는다고 선언한 것이 현대 에지 검출의 출발점이다.¹ 처방은 티호노프 정규화와 같은 사고방식이다 — 미분하기 전에 매끄러운 핵으로 평활한다.

\frac{\partial}{\partial x}\bigl(G_\sigma * I\bigr) \;=\; \left(\frac{\partial G_\sigma}{\partial x}\right) * I

합성곱과 미분이 교환되므로, “평활한 뒤 미분”은 “미분된 핵으로 한 번 합성곱”과 같다. 이 등식이 모든 실용적 에지 검출기의 뼈대다. 결국 설계 문제는 “어떤 핵을 쓸 것인가”와 ” $\sigma$ 를 얼마로 둘 것인가” 두 개로 줄어든다.

3. 1차 미분 — 소벨과 친구들[편집]

가장 오래된 계열은 기울기 벡터 $\nabla I = (I_x, I_y)$ 의 크기 $|\nabla I|$ 가 국소 극대인 곳을 에지로 보는 것이다. 3×3 마스크로 쓰면 다음과 같다.

연산자	$x$ 방향 마스크(행 단위)	특징
로버츠 교차(1963)	2×2 대각 차분	가장 싸고 가장 잡음에 약함
프리윗(1970)	(-1,0,1)/(-1,0,1)/(-1,0,1)	상자 평활 + 중심차분
소벨(1968)	(-1,0,1)/(-2,0,2)/(-1,0,1)	삼각 평활 + 중심차분, 사실상 국룰
샤르(2000)	(-3,0,3)/(-10,0,10)/(-3,0,3)	회전 대칭성(각도 오차)을 최적화

소벨 마스크의 정체는 분리 가능한 두 1차원 필터의 곱이다. 세로로 $[1,2,1]^{\mathsf T}$ (이항 평활), 가로로 $[-1,0,1]$ (중심차분). 즉 소벨은 “가우스로 평활하고 미분한다”는 위 원리를 3탭짜리 최소 예산으로 흉내 낸 물건이고, 프리윗은 평활 핵이 상자라서 주파수 응답이 나쁠 뿐 발상은 같다. 분리 가능하다는 성질 덕에 $O(k^2)$ 가 $O(k)$ 로 줄어드는 것은 덤.

샤르 마스크가 존재하는 이유는 실무에서 자주 잊히는데, 3탭 미분은 기울기 크기뿐 아니라 방향도 틀린다. 소벨로 잰 기울기 방향은 대각선 근처에서 수 도(度) 단위로 편향되고, 이 오차는 뒤에 나올 비최대 억제와 구조 텐서 기반 계산에 그대로 전파된다. 방향이 중요한 일(광학 흐름, 이방성 확산)에는 샤르나 더 긴 가우스 미분 핵을 쓴다.

4. 2차 미분 — 라플라시안과 영교차[편집]

기울기 크기의 극대는 곧 2차 미분의 영점이다. 그래서 방향에 무관한 스칼라 연산자인 라플라시안 $\nabla^2 I = I_{xx} + I_{yy}$ 의 영교차(zero crossing)를 에지로 삼는 계열이 나온다. 마르와 힐드레스가 1980년에 제안한 LoG(Laplacian of Gaussian)가 대표다.²

\nabla^2 G_\sigma(x,y) \;=\; \frac{1}{\pi\sigma^4}\left(\frac{x^2+y^2}{2\sigma^2} - 1\right)\exp\!\left(-\frac{x^2+y^2}{2\sigma^2}\right)

가운데가 음이고 둘레가 양인, 이른바 멕시코 모자(솜브레로) 모양이다. 계산이 비싸면 표준편차 비가 약 1.6인 두 가우스의 차 DoG(Difference of Gaussians)로 근사한다 — 이 비율은 마르-힐드레스가 LoG와의 형상 오차를 최소화해 고른 값이고, 훗날 SIFT의 스케일 공간이 그대로 물려받는다.

영교차 방식의 장점은 뚜렷하다. 연속함수의 영등고선이므로 결과가 항상 닫힌 곡선이고 한 화소 두께다. 임계값을 고르는 고민도, 끊긴 에지를 이어 붙이는 후처리도 원리적으로 필요 없다. 단점도 그만큼 뚜렷하다.

곡률이 큰 곳에서 위치가 안쪽으로 밀린다. 모서리를 둥글게 자르는 유명한 증상.
영교차는 “기울기가 크다”를 요구하지 않는다. 밝기가 거의 평평한 곳에서도 영교차는 생기므로 약한 에지를 잔뜩 만들어낸다. 실무에서는 결국 $|\nabla I|$ 로 걸러야 한다.
잡음에 대한 민감도가 1차 미분보다 한 차수 더 나쁘다( $\omega^2$ ).

그래서 영교차는 오늘날 단독 검출기로는 드물게 쓰이고, 대신 블롭 검출기(LoG의 극값이 원형 구조에 반응)와 스케일 공간의 도구로 살아남았다.

5. 캐니 검출기 — 여전히 표준[편집]

존 캐니가 1986년에 낸 검출기는 40년이 지난 지금도 모든 영상 라이브러리의 기본값 자리를 지키고 있다.³ 강한 이유가 있다. 캐니는 마스크를 손으로 만들지 않고 검출기가 만족해야 할 성능 지표를 범함수로 쓴 뒤 변분법으로 최적 필터를 풀었다.

좋은 검출 — 참 에지에서의 응답 대 잡음 응답의 비(SNR)를 최대화.
좋은 국소화 — 검출된 위치와 참 위치의 제곱편차 기댓값을 최소화.
단일 응답 — 하나의 에지에 응답이 여러 번 나오지 않을 것(잡음 극대 사이 평균 간격 제약).

앞의 두 기준만 곱해 최대화하면 계단형 필터가 나오는데(응답이 무한히 여러 번 나온다), 세 번째 제약을 넣으면 해가 유한 폭으로 잡힌다. 그 최적해는 닫힌 형태가 지저분한 함수지만, 가우스의 1차 미분(FDoG)이 그 성능의 거의 대부분을 재현한다. 그래서 실전 캐니는 다음 4단계로 굳어졌다.

가우시안 평활 — $\sigma$ 로 정칙화. 여기서 스케일이 결정된다.
기울기 계산 — 소벨 등으로 $|\nabla I|$ 와 방향 $\theta = \arctan(I_y/I_x)$ .
비최대 억제(non-maximum suppression) — 각 화소에서 기울기 방향으로 이웃 두 점의 기울기 크기를 보간해 비교하고, 자기가 최대가 아니면 0으로 죽인다. 두꺼운 능선을 한 화소 폭의 마루로 깎는 단계다.⁴
이력 이중 임계(hysteresis thresholding) — 임계값 두 개 $T_{\text{high}} > T_{\text{low}}$ 를 둔다. $T_{\text{high}}$ 를 넘으면 무조건 에지(씨앗), $T_{\text{low}}$ 미만이면 무조건 버림, 그 사이는 씨앗과 연결돼 있을 때만 살린다.

4단계가 캐니의 진짜 발명이다. 임계값이 하나면 에지가 임계값 근처에서 켜졌다 꺼졌다 하며 점선이 되는 스트리킹(streaking)이 생기는데, 이력 방식은 “일단 강한 에지에 붙어 있으면 약해도 따라간다”는 연결성 판단을 넣어 이를 없앤다. 권장 비율은 대개 $T_{\text{high}} : T_{\text{low}} = 2{:}1 \sim 3{:}1$ . 구현은 씨앗에서 시작하는 너비 우선 탐색 한 번이면 끝난다.

캐니의 최적 필터를 재귀 IIR로 구현해 $\sigma$ 와 무관하게 화소당 상수 시간에 돌리는 데리슈 필터(1987)도 같은 계보이며, 큰 $\sigma$ 를 쓸 때 유용하다.

6. 스케일 — 공짜 점심은 없다[편집]

$\sigma$ 는 단순한 튜닝 손잡이가 아니라 문제의 정의 자체다.

$\sigma$ 를 키우면 잡음에 강해지고 SNR이 좋아진다. 대신 가까운 두 에지가 뭉개져 하나가 되고, 곡선 위치가 곡률 중심 쪽으로 밀린다(국소화 악화).
$\sigma$ 를 줄이면 위치가 정확해지지만 잡음 극대가 무더기로 살아난다.

캐니의 기준 1·2를 같이 쓰면 SNR $\times$ 국소화의 곱이 필터 폭에 대해 불확정성 관계 비슷한 상한을 갖는다는 결론이 나온다. 한쪽을 좋게 하면 다른 쪽이 반드시 나빠지는 저울이고, 여기에 보편적 최적값은 없다. 그래서 실무의 답은 둘 중 하나다. 응용이 관심 있는 물체 크기를 알면 그에 맞춰 $\sigma$ 를 고정하거나, 아니면 여러 $\sigma$ 에서 검출하고 결과를 결합한다(스케일 공간 접근). 후자는 “굵은 스케일에서 존재를 확인하고 가는 스케일에서 위치를 정한다”는 굵은-가는(coarse-to-fine) 전략으로 이어진다.

7. 미분 이후 — 텐서와 비미분 검출기[편집]

구조 텐서. 기울기 벡터를 그냥 쓰지 않고 국소 외적을 평활한 2×2 행렬

J_\rho = G_\rho * \begin{pmatrix} I_x^2 & I_xI_y \\ I_xI_y & I_y^2\end{pmatrix}

을 본다. 두 고윳값 $\lambda_1 \ge \lambda_2$ 가 국소 구조를 요약한다 — 둘 다 작으면 평탄, $\lambda_1 \gg \lambda_2$ 이면 에지, 둘 다 크면 코너/접합점. 기울기의 평균은 부호가 상쇄돼 죽지만 외적의 평균은 안 죽는다는 것이 핵심이고, 그래서 구조 텐서는 잡음 속에서 방향성을 재는 표준 도구가 됐다. 해리스 코너 검출기, 이방성 확산 필터, 광학 흐름의 개구 문제 판정이 전부 이 행렬을 부른다. 다채널(컬러) 영상에서 “기울기”를 정의하는 올바른 방법도 채널별 구조 텐서의 합이다.

SUSAN(1997)은 아예 미분을 하지 않는다. 각 화소에 원형 마스크를 씌우고 중심과 밝기가 비슷한 화소의 넓이(USAN)를 센다. 평탄부에서는 넓이가 마스크 전체, 에지 위에서는 절반, 코너에서는 4분의 1 이하로 떨어진다. 미분이 없으니 잡음에 강하고 마스크가 작아도 되지만, 밝기 유사도 임계값이라는 새 손잡이가 생긴다.

8. 학습 기반 — 경계는 밝기 불연속이 아니다[편집]

2000년대 들어 판이 한 번 뒤집힌다. 사람이 라벨링한 경계 데이터셋(BSDS)이 나오면서, 사람이 말하는 “경계”의 상당수는 밝기 불연속이 아니라 질감·색·전역 문맥의 변화라는 사실이 정량적으로 드러났기 때문이다. 얼룩말 무늬 위에서 소벨은 줄무늬를 전부 에지로 부르지만 사람은 동물의 외곽선 하나만 그린다.

마틴·파울크스·말릭의 $P_b$ (2004)는 밝기·색·질감 기울기를 뽑아 로지스틱 회귀로 “여기가 경계일 확률”을 학습했고, 뒤이은 gPb는 스펙트럴 군집화 정보를 더했다. 2015년 시에와 투의 HED(Holistically-nested Edge Detection)는 합성곱 신경망의 여러 층에서 각각 에지 맵을 뽑아 각 층에 직접 손실을 걸고(deep supervision) 그것들을 융합하는 구조로, 서로 다른 층이 자연스럽게 서로 다른 스케일을 담당하게 만들었다. 앞 절의 다중 스케일 결합을 역전파에 맡긴 셈이다. 이 계열은 BSDS500 벤치마크에서 사람 주석자 간 일치도에 근접하는 성능을 냈고, 이후 에지 검출 연구의 무게중심은 완전히 학습 쪽으로 옮겨갔다.

그렇다고 캐니가 죽은 것은 아니다. 학습 검출기가 이기는 것은 “의미 있는 물체 경계”라는 과제이지, “밝기 불연속의 정확한 위치”가 아니다. 계측·검사·과학 영상처럼 정답이 물리적으로 정의되고 학습 데이터가 없는 곳에서는 여전히 캐니와 부화소 보간이 정답이다.

9. 해석 파이프라인에서[편집]

시뮬레이션 하는 사람이 에지 검출을 만나는 자리는 대개 정해져 있다.

형상 추출. CT/마이크로 CT 볼륨에서 이미지 분할로 상(phase)을 나눈 뒤 경계를 뽑아 메시 생성으로 넘긴다. 여기서 에지의 부화소 위치가 그대로 형상 오차, 즉 해석 오차가 된다.
PIV·계면 추적. 실험 영상에서 자유표면이나 화염면 위치를 잡을 때. 이때는 에지 검출기가 곧 계측기이므로 편향(굵은 $\sigma$ 가 만드는 위치 밀림)을 반드시 보정해야 한다.
초기 곡선 공급. 활성 윤곽선이나 레벨셋 방법 기반 분할의 정지항 $g = 1/(1+|\nabla G_\sigma * I|^2)$ 은 사실상 에지 검출기 그 자체다.

실무 감각 몇 가지. 에지 검출 결과가 나쁘면 검출기를 바꾸기 전에 영상 획득을 의심한다 — 조명이 균일하지 않거나 노출이 포화됐으면 어떤 연산자도 살릴 수 없다. 임계값은 절댓값으로 박지 말고 기울기 크기의 분위수(예: 상위 10%)로 잡아야 밝기 스케일이 달라져도 산다. 그리고 에지 지도는 최종 산출물이 아니라 중간 표현이다 — 끊긴 조각을 이어 붙이는 연결(linking), 직선/원 맞추기(허프 변환), 다각형 근사까지 가야 비로소 쓸 수 있는 물건이 된다.

10. 관련 문서[편집]

Torre, V. & Poggio, T. (1986). “On Edge Detection”, IEEE TPAMI 8(2). 논문의 요지를 한 줄로 줄이면 “미분하기 전에 필터를 걸어라, 그것은 취향이 아니라 수학적 필요다”이다. 이 문장을 안 읽고 3×3 차분을 원본에 그대로 때린 코드가 아직도 세상에 넘친다. ↩
Marr, D. & Hildreth, E. (1980). “Theory of Edge Detection”, Proc. R. Soc. Lond. B 207. 마르는 이 연산자가 망막 신경절 세포의 중심-주변 수용장과 닮았다는 점을 근거로 “생물학적으로도 이게 정답”이라고 주장했다. 사람 눈을 근거로 든 알고리즘 논문이 흔치 않던 시절 이야기. ↩
Canny, J. (1986). “A Computational Approach to Edge Detection”, IEEE TPAMI 8(6). 원래 MIT 석사 논문이었다. 인용 수가 4만을 넘겨서, 학위 논문 한 편으로 분야 하나를 40년 동안 지배한 대표적 사례로 꼽힌다. ↩
비최대 억제는 이름과 개념이 물체 검출(bounding box NMS)에도 그대로 쓰이지만 하는 일은 다르다. 여기서는 기울기 방향으로 1차원 능선을 깎는 것이고, 저기서는 겹치는 박스를 IoU로 지우는 것이다. 검색하다 엉뚱한 글을 읽고 혼란에 빠지는 통과의례가 있다. ↩