힌지 손실

1. 개요[편집]

힌지 손실 Hinge Loss
정의	ℓ(z) = max(0, 1 − z), z = y·f(x)
부류	마진 기반 볼록 대리손실
대표 사용처	서포트 벡터 머신 · 구조적 SVM · 삼중항 손실
미분 불가점	z = 1 — 열등미분 · 준경사법으로 처리
주는 것	희소성(정확히 0인 구간) · 분류 캘리브레이션
안 주는 것	확률 추정 · 미분가능성 · 다중분류 일관성

손실 함수 하나가 알고리즘 전체의 성격을 결정하는 사례를 딱 하나만 대라고 하면, 대부분 이걸 댄다.

힌지 손실(hinge loss)은 정답 라벨 $y\in\{-1,+1\}$ 과 실수값 판정함수 $f(\mathbf x)$ 의 곱인 마진 $z=y f(\mathbf x)$ 에 대해 $\ell(z)=\max(0,\,1-z)$ 로 정의되는 볼록 손실이다. 이름은 $z=1$ 에서 꺾이는 모양이 문의 경첩(hinge)을 닮았다는 데서 왔다. $z\ge1$ 이면 값이 정확히 0, 그보다 작으면 기울기 $-1$ 로 선형 증가한다.

이 함수의 정체는 두 층으로 읽어야 한다. 표면에서는 서포트 벡터 머신의 소프트 마진 여유변수를 소거하면 남는 항이고 — 그 유도와 “마진 최대화 = 힌지 + L2” 재해석은 해당 문서에 있다 — 그보다 아래에서는 계산 불가능한 0-1 오분류 손실을 볼록 최적화가 가능한 형태로 대체하는 대리손실(surrogate loss)의 원형이다. 이 문서는 후자, 즉 손실 함수로서의 힌지가 무엇을 보장하고 무엇을 포기하는지를 다룬다.

2. 마진 기반 손실이라는 틀[편집]

이진 분류의 손실 대다수는 예측과 라벨을 따로 보지 않고 곱 하나 $z=yf(\mathbf x)$ 만 본다. 이런 손실을 마진 기반(margin-based)이라 부르고, $z>0$ 은 정분류, $z<0$ 은 오분류, $|z|$ 는 결정경계로부터의 확신 정도를 뜻한다. 궁극의 목표는 0-1 손실

$$\ell_{01}(z) = \mathbf 1\{z \le 0\}$$

의 기대값(= 오분류율) 최소화지만, 이 함수는 볼록하지 않고 계단이라 경사가 거의 어디서나 0이며, 선형 분류기에 대해서조차 최소화가 NP-난해다.¹ 그래서 이것을 위에서 덮는 볼록 함수로 갈아 치운다.

손실	$\ell(z)$	특징
0-1	$\mathbf 1\{z\le0\}$	목표. 볼록도 아니고 최적화도 안 됨
퍼셉트론	$\max(0,-z)$	볼록이지만 $f\equiv0$ 이 최소해 — 마진 개념 없음
힌지	$\max(0,1-z)$	$z\ge1$ 에서 0. 희소성. $z=1$ 에서 미분 불가
제곱 힌지	$\max(0,1-z)^2$	$C^1$. 희소성 유지, 꼬리가 2차라 이상치에 민감
부드러운 힌지	구간별 2차 + 선형	$C^1$ + 선형 꼬리. 두 장점 절충
로지스틱	$\log(1+e^{-z})$	매끄럽고 어디서도 0이 아님. 확률 추정 가능
지수	$e^{-z}$	AdaBoost의 손실. 이상치에 취약
램프	$\min(1,\max(0,1-z))$	유계 → 진짜 로버스트. 볼록이 아님

퍼셉트론 손실과의 대비가 힌지를 이해하는 가장 빠른 길이다. 두 함수의 차이는 꺾이는 위치가 0인가 1인가뿐인데, 그 1이 마진이라는 개념 전체를 만들어 낸다. 꺾임이 0이면 $f$ 를 아무리 작게 줄여도 손실이 늘지 않아서 $\mathbf w=\mathbf 0$ 이 자명한 최소해가 되고 스케일에 대한 정보가 없다. 꺾임이 1이면 손실이 0이 되기 위해 $|f|$ 가 최소한 1은 되어야 하고, 여기에 $\lVert\mathbf w\rVert^2$ 벌점이 붙으면 “1을 넘기되 $\mathbf w$ 는 작게” 라는 긴장이 생긴다. 그 긴장의 균형점이 곧 최대 마진 초평면이다.

3. 대리손실로서의 지위[편집]

힌지가 0-1 손실의 상계인 것은 그림으로 보인다 — $z\le0$ 이면 $1-z\ge1$, $z>0$ 이면 $\max(0,1-z)\ge0$. 따라서

$$\ell_{01}(z) \le \ell_{\text{hinge}}(z) \quad \forall z$$

이고, 힌지 위험을 줄이면 오분류율의 상계가 줄어든다. 그런데 “볼록 상계 중 가장 타이트한 것”이라는 흔한 설명은 그대로는 틀렸다. 0-1 손실의 볼록 포락선은 항등적으로 0이다 — $(0,0)$ 과 $(-M,1)$ 을 잇는 직선의 기울기를 $M\to\infty$ 로 보내면 0이 되므로, 아무 제약 없이 “덮으면서 가장 낮은 볼록 함수”를 찾으면 쓸모없는 상수 함수가 나온다. 그래서 대리손실은 어딘가에서 값을 못 박아야 한다.

정확한 진술은 이렇다. $z=1$ 에서 0이 되는 볼록 상계들 가운데, 오분류 구간 $z\le0$ 에서 점별로 가장 작은 것이 힌지다.² 즉 힌지의 최적성은 “정분류에 상한 여유를 1로 정한다”는 규약 아래에서의 최적성이다. 이 규약을 바꾸면(예: $z\ge\rho$ 에서 0) 힌지도 그만큼 이동하는데, 이는 $\mathbf w$ 를 재스케일링하는 것과 같아서 정규화 계수에 흡수된다.

이론적으로 더 중요한 것은 분류 캘리브레이션(classification calibration, Fisher 일관성)이다. 손실 $\phi$ 가 분류 캘리브레이션되었다는 것은 $\phi$-위험을 최소화하는 함수의 부호가 베이즈 최적 분류기와 일치한다는 뜻이다. 바틀렛·조던·매컬리프(2006)는 볼록 마진 손실에 대해 판정 기준을 하나로 압축했다 — $\phi$ 가 0에서 미분가능하고 $\phi'(0)<0$ 이면 분류 캘리브레이션된다. 힌지는 $z=0$ 근방에서 기울기 $-1$ 이므로 통과한다.

힌지의 인구 최소해를 직접 계산해 보면 이 성질과 그 대가가 동시에 보인다. $\eta(\mathbf x)=P(y=1\mid\mathbf x)$ 라 두고 점별 기대손실을 $f\in[-1,1]$ 에서 쓰면

$$\eta\,(1-f) + (1-\eta)(1+f) = 1 + f\,(1-2\eta)$$

로 $f$ 에 대해 선형이다. 따라서 최소해는 구간의 끝점, 즉

$$f^\star(\mathbf x) = \operatorname{sign}\big(2\eta(\mathbf x)-1\big)$$

이다(Lin, 2002). 힌지는 $\eta$ 를 추정하지 않고 $\eta$ 가 1/2를 넘는지만 추정한다. 로지스틱 손실의 최소해가 $f^\star=\log\frac{\eta}{1-\eta}$ 로 $\eta$ 를 완전히 복원하는 것과 정반대다. 그래서 SVM의 $f(\mathbf x)$ 는 확률이 아니고, 확률이 필요하면 플랫 스케일링 같은 사후 보정을 덧대야 하며, 그 보정이 잘 안 맞는 것은 버그가 아니라 손실의 설계 결과다. 확률 캘리브레이션이 필요한 문제라면 애초에 로지스틱 쪽이 맞다.

한편 힌지에는 다른 손실이 못 주는 선물이 하나 있다. 힌지의 초과 위험이 곧바로 0-1 초과 위험의 상계가 된다 — $\psi$-변환이 항등함수라

$$R_{01}(f) - R_{01}^\star \;\le\; R_{\text{hinge}}(f) - R_{\text{hinge}}^\star$$

가 상수 없이 성립한다. 로지스틱이나 지수 손실에서는 제곱근이 붙어 느슨해지는데, 힌지는 그 손실이 없다. 확률을 포기한 대가로 오분류율과 가장 가까운 눈금을 얻은 셈이다.

4. 미분 불가와 준경사법[편집]

$z=1$ 에서 꺾이므로 경사하강법을 그대로 쓸 수 없다. 처방은 열등미분(subgradient)이다.

$$\partial\ell(z) = \begin{cases} \{-1\}, & z<1\\ [-1,\,0], & z=1\\ \{0\}, & z>1 \end{cases}$$

$z=1$ 에서 값이 하나가 아니라 구간이라는 점이 볼록 비평활 최적화의 표준 상황이고, 이 구간 안의 아무 값이나 골라 내려가면 수렴한다. 정규화항까지 포함한 목적함수

$$J(\mathbf w) = \frac{\lambda}{2}\lVert\mathbf w\rVert^2 + \frac{1}{n}\sum_{i=1}^{n}\max\big(0,\ 1-y_i\mathbf w^{\mathsf T}\mathbf x_i\big)$$

의 준경사는 결국 마진을 위반한 표본만 골라 더하는 것이 된다.

$$\mathbf g = \lambda\mathbf w - \frac{1}{n}\sum_{i:\ y_i\mathbf w^{\mathsf T}\mathbf x_i<1} y_i\mathbf x_i$$

여유 있게 맞힌 표본은 경사에 기여하지 않는다 — 이것이 서포트 벡터 희소성의 최적화 쪽 얼굴이다.

Pegasos(Shalev-Shwartz 외, 2007)는 이 준경사를 미니배치로 계산하는 확률적 경사하강법이고, 세 가지 선택이 성능을 만든다. 학습률을 $\eta_t=1/(\lambda t)$ 로 고정하는 것(강볼록성 덕분에 튜닝이 필요 없다), 갱신 후 $\mathbf w$ 를 반지름 $1/\sqrt\lambda$ 공으로 사영하는 것(최적해가 그 안에 있음을 보일 수 있다), 그리고 갱신을 $\mathbf w \leftarrow (1-\eta_t\lambda)\mathbf w + \dots$ 로 쓸 때 스칼라 배율을 따로 들고 다녀서 희소 벡터에 대해 비영요소만 만지는 것이다. 결과적으로 필요한 반복 횟수가 $\tilde O(1/(\lambda\epsilon))$ 로 표본 수와 무관해진다.

비평활 볼록 함수에 대한 확률적 준경사법의 일반 수렴률은 $O(1/\sqrt T)$, 강볼록이면 $O(1/T)$ 급이다. 매끄러운 손실에서 얻는 가속(네스테로프, $O(1/T^2)$)이나 뉴턴형 방법을 힌지에서는 그냥 못 쓴다는 것이 실질적 불이익이고, 그래서 매끄러운 변형이 여럿 생겼다.

• 제곱 힌지 $\max(0,1-z)^2$ — $C^1$ 이고 경사가 립시츠라 신뢰영역 뉴턴법을 쓸 수 있다(LIBLINEAR의 L2 손실 SVC). 대신 쌍대에서 승수의 상한 $C$ 가 사라져 모든 표본이 양의 승수를 받고, 꼬리가 2차로 자라 이상치 하나가 해를 크게 흔든다.
• 부드러운 힌지 / 후버화 힌지(Rennie, 2005 등) — $z<1-h$ 에서는 선형, $1-h\le z\le 1$ 구간에서만 2차로 이어 붙인다. 선형 꼬리(로버스트)와 미분가능성(빠른 최적화)을 동시에 갖는 절충안이며, 로지스틱과 힌지 사이의 중간 지대에 놓인다.
• 램프 손실(truncated hinge) — 손실을 1에서 잘라 유계로 만든다. 오분류가 심한 점의 영향이 포화되어 진짜 로버스트해지지만 볼록성을 잃고, 그러면 SVM의 최대 장점(전역해 보장)이 사라진다. 유계 손실과 볼록성은 동시에 가질 수 없다는 것이 이 계열의 근본 제약이다.

5. 로지스틱 손실과의 실제 차이[편집]

두 손실을 “힌지는 이상치에 강하고 로지스틱은 약하다”로 정리하는 설명이 흔한데, 꼬리만 보면 둘은 거의 같다. $z\to-\infty$ 에서 $\log(1+e^{-z})\to -z$ 이므로 로지스틱도 힌지와 마찬가지로 선형으로 자란다. 이상치 민감도에서 진짜로 갈리는 것은 지수 손실($e^{-z}$, 지수 증가)과 제곱 힌지($z^2$, 2차 증가)이고, 진짜 로버스트를 원하면 유계인 램프 손실로 가야 한다. 힌지와 로지스틱의 차이는 다른 데 있다.

항목	힌지	로지스틱
$z\ge1$ 에서 값	정확히 0	항상 양수
해의 희소성	서포트 벡터만 남음	모든 표본이 기여
미분가능성	$z=1$ 에서 불가	전 구간 $C^\infty$
인구 최소해	$\operatorname{sign}(2\eta-1)$	$\log\eta/(1-\eta)$
확률 추정	불가 (사후 보정 필요)	원리적으로 가능
꼬리 증가	선형	선형 (점근적으로 동일)
초과 위험 비교식	상수 1, 지수 1	제곱근이 붙음
분리 가능 데이터	유한한 해 존재	발산 (정규화 필수)

마지막 행이 의외로 실무적이다. 완전 분리 가능한 데이터에서 정규화 없는 로지스틱 회귀는 가능도를 계속 키울 수 있어 계수가 발산하지만, 힌지는 모든 마진이 1을 넘는 순간 손실이 0이 되어 더 밀 이유가 없다. 힌지의 평평한 구간은 희소성만 주는 것이 아니라 “충분히 맞혔으면 그만”이라는 정지 조건이기도 하다.

6. 다중분류로의 확장[편집]

힌지는 이진 손실이므로 $K$ 클래스로 늘리는 방법이 여럿이고, 셋이 표준으로 남았다. 클래스별 점수 $f_1,\dots,f_K$ 와 정답 $y$ 에 대해

• Weston-Watkins(1999): 경쟁자 하나하나에 힌지를 걸고 더한다.

$$\ell_{\text{WW}} = \sum_{k\ne y}\max\big(0,\ 1 - f_y(\mathbf x) + f_k(\mathbf x)\big)$$

• 크래머-싱어(Crammer & Singer, 2001): 가장 위험한 경쟁자 하나만 본다.

$$\ell_{\text{CS}} = \max\Big(0,\ 1 - f_y(\mathbf x) + \max_{k\ne y} f_k(\mathbf x)\Big)$$

• Lee-Lin-Wahba(2004): 합이 0이라는 제약 $\sum_k f_k=0$ 아래 오답 점수만 벌한다.

$$\ell_{\text{LLW}} = \sum_{k\ne y}\max\big(0,\ 1 + f_k(\mathbf x)\big)$$

세 개가 공존하는 이유는 취향이 아니라 성질이 다르기 때문이다. WW는 오답 개수에 비례하는 벌을 주므로 여러 클래스가 동시에 침범하는 상황에 반응하고, CS는 최대 위반 하나만 보므로 희소하고 쌍대 변수 수가 적어 최적화가 가볍다. 그런데 이론 쪽 판정은 냉정하다 — 테와리·바틀렛(2007)은 CS와 WW 형태의 다중분류 힌지가 $K>2$ 에서 분류 캘리브레이션되지 않음을 보였고, LLW 형태는 캘리브레이션된다는 것을 보였다. 즉 가장 널리 쓰이는 두 정식화가 일관성이 없고, 일관성이 있는 정식화는 잘 안 쓰인다. 실무 성능이 이론적 일관성과 항상 같은 방향은 아니라는 흔한 사례다.³

한 걸음 더 나아간 것이 구조적 힌지 손실이다. 출력이 라벨 하나가 아니라 수열·트리·정합처럼 구조를 가질 때, 정답 구조 $\mathbf y$ 와 오답 구조 $\hat{\mathbf y}$ 사이의 거리 $\Delta(\mathbf y,\hat{\mathbf y})$ 를 마진 요구량으로 쓴다.

$$\ell = \max_{\hat{\mathbf y}}\ \Big[\Delta(\mathbf y,\hat{\mathbf y}) + f(\mathbf x,\hat{\mathbf y}) - f(\mathbf x,\mathbf y)\Big]_+$$

지수적으로 많은 $\hat{\mathbf y}$ 에 대한 최댓값을 동적계획법 같은 조합 알고리즘으로 계산할 수 있으면(비터비, 최대 신장 트리 등) 이 손실이 실제로 최적화된다. 이것이 구조적 SVM과 최대 마진 마르코프 망(Taskar 외, 2003)의 골격이고, 구조 예측에 마진 개념을 이식한 결과다.

7. 딥러닝 시대에 살아남은 자리[편집]

이미지 분류에서 소프트맥스 + 교차 엔트로피가 사실상 기본값이 된 뒤 힌지는 주역 자리에서 밀렸다. 이유는 확률 출력이 필요한 파이프라인이 많고, 매끄러운 손실이 심층망 최적화와 궁합이 좋으며, 소프트맥스 함수의 경사가 구현하기 편하다는 것이다. 그럼에도 힌지는 형태를 바꿔 여러 곳에 살아 있다.

• 메트릭 학습의 삼중항 손실. 기준점 $a$, 같은 부류 $p$, 다른 부류 $n$ 에 대해 $\max(0,\ m + d(a,p) - d(a,n))$ — 마진 $m$ 을 가진 힌지 그 자체다. 얼굴 인식, 검색용 임베딩, 대조 학습 계열이 모두 이 형태를 쓴다. “충분히 벌어졌으면 더 밀지 않는다”는 성질이 임베딩 붕괴를 막는 데 결정적이라 여기서는 평평한 구간이 기능이다.
• 순위 학습. RankSVM의 쌍별 손실 $\max(0,1-(f(\mathbf x_i)-f(\mathbf x_j)))$ 는 “선호되는 쪽이 더 높은 점수를 마진만큼 받아라”는 힌지다.
• 생성적 적대 신경망의 힌지 판별 손실. 판별자 손실을 $\mathbb E[\max(0,1-D(x))] + \mathbb E[\max(0,1+D(G(z)))]$ 로 두는 판본이 대규모 이미지 생성에서 표준에 가깝게 쓰였다. 판별자가 이미 충분히 이긴 표본에서 경사를 0으로 만들어 학습을 안정화하는 것이 목적이다.⁴
• 소표본·선형 모형. 선형 SVM은 텍스트 분류에서 여전히 강한 기준선이고, 그 실체는 힌지 + L2 를 좌표하강이나 Pegasos로 푸는 것이다.

공통점이 있다. 평평한 구간이 필요한 자리에서 힌지가 살아남았다. 확률이 필요한 자리에서는 로지스틱이 이겼고, 이 분업은 앞에서 본 인구 최소해 계산에서 이미 예고된 것이다.

8. 관련 문서[편집]

• 서포트 벡터 머신 · 서포트 벡터 회귀 · 커널 트릭
• 로지스틱 회귀 · 소프트맥스 함수 · AdaBoost · 그래디언트 부스팅
• 볼록 최적화 · 약볼록 함수 · 경사하강법 · 확률적 경사하강법
• 손실 함수 · 확률 캘리브레이션 · 구조적 SVM · 퍼셉트론
• 과적합 · 교차검증 · 티호노프 정규화
• 심층 학습 · 생성적 적대 신경망 · 역전파

9. Footnotes[편집]

1. 잡음이 있는 데이터에서 0-1 손실을 최소화하는 선형 분리자를 찾는 문제는 NP-난해이고, 일정 비율 안으로 근사하는 것조차 어렵다는 결과가 여럿 있다(Ben-David 외, 2003 계열). “그냥 오분류 개수를 직접 줄이면 되지 않나”라는 질문에 대한 답이 이것이며, 대리손실이라는 개념 전체가 이 한 줄의 난이도에서 파생됐다. ↩

2. 증명은 세 줄이다. $g$ 가 볼록이고 $g\ge\ell_{01}$ 이며 $g(1)=0$ 이라 하자. $g(0)\ge1$ 이다. $z<0$ 에 대해 $0=\lambda z+(1-\lambda)\cdot1$ 이 되도록 $\lambda=1/(1-z)$ 를 잡으면 볼록성에서 $g(0)\le\lambda g(z)+(1-\lambda)g(1)=g(z)/(1-z)$. 따라서 $g(z)\ge(1-z)g(0)\ge1-z$. 즉 오분류 구간에서 힌지보다 낮은 볼록 상계는 없다. ↩

3. 이 사실이 발표된 뒤에도 LIBLINEAR·scikit-learn·PyTorch 기본값은 여전히 크래머-싱어나 WW 계열이다. 캘리브레이션 반례가 성립하는 조건이 실제 데이터에서 잘 안 나타난다는 반론도 있고, 그냥 아무도 기본값을 안 바꾼다는 설명도 있다. 진실은 아마 후자에 가깝다. ↩

4. 힌지 판별 손실이 유행한 이유를 “이론적으로 더 좋은 발산을 최소화하기 때문”이라 설명하는 논문이 많았는데, 실제로 인용되는 실험적 근거는 대체로 “이걸 쓰면 학습이 덜 터진다”였다. 경사를 0으로 잘라 주는 손실이 불안정한 최소최대 최적화를 살려 준다는 것은 정직한 설명이고, 그 자체로 충분히 좋은 이유다. ↩