라벨 평활화

1. 개요

라벨 평활화 Label Smoothing
제안	Szegedy et al. (2016), Inception-v3
하는 일	원-핫 타깃 y 를 (1−α)y + α/K 로 교체
등가 형태	교차엔트로피 + α·KL(균등분포 ‖ 예측)
효과	정답-오답 로짓 간극이 유한값으로 고정 → 과신 억제
부수 효과	보정(ECE) 개선, 같은 클래스 표현이 템플릿으로 수축
관례값	α = 0.1 (유도 없음, 경험적)
알려진 부작용	이 교사로 증류하면 학생이 나빠진다

라벨 평활화는 분류 학습의 타깃을 정답에 확률 1을 몰아준 원-핫 벡터 대신 약간의 확률을 모든 클래스에 골고루 흘려 놓은 분포로 바꾸는 정규화 기법이다. 클래스가 $K$ 개일 때

$$\tilde{y}_k = (1-\alpha)\,\delta_{k,y} + \frac{\alpha}{K}$$

로 두고 평소처럼 교차엔트로피를 최소화한다. 코드로는 한 줄이고 하이퍼파라미터도 $\alpha$ 하나뿐인데, 세게디 등(2016)이 Inception-v3 논문에서 ImageNet 상위-1 오차를 0.2%p 남짓 낮추는 잔기술로 소개한 이래 이미지 분류부터 트랜스포머 기계번역까지 사실상 기본 설정이 됐다.¹

동기는 명확하다. 원-핫 타깃은 모형에게 “정답 확률을 1로, 나머지를 전부 0으로 만들어라” 고 요구하는데, 소프트맥스 함수는 유한한 로짓으로 확률 0을 만들 수 없다. 그래서 손실을 계속 줄이려면 정답 로짓과 나머지 로짓의 간극을 무한히 벌리는 수밖에 없고, 학습은 끝나지 않는 로짓 팽창으로 흐른다. 그 결과가 훈련 정확도 100%에 시험 정확도는 그대로인 과신 모형이다. 라벨 평활화는 목표 지점 자체를 유한한 곳에 못 박아 이 폭주를 끊는다.

2. 로짓 간극이 유한해진다

이 기법의 거의 모든 성질이 다음 계산 하나에서 나온다. 소프트 타깃 $\tilde{y}$ 에 대한 교차엔트로피 $-\sum_k \tilde{y}_k\log p_k$ 는 깁스 부등식에 의해 $p = \tilde{y}$ 에서 최소가 되므로, 최적 예측은

$$p^\star_y = 1-\alpha+\frac{\alpha}{K}, \qquad p^\star_j = \frac{\alpha}{K}\quad(j\ne y)$$

이고, 소프트맥스를 거꾸로 풀면 로짓 간극이 닫힌 형태로 나온다.

$$z_y - z_j = \log\frac{p^\star_y}{p^\star_j} = \log\frac{K(1-\alpha)+\alpha}{\alpha}$$

$K=1000$, $\alpha=0.1$ 이면 $\log 9001 \approx 9.1$. 원-핫($\alpha=0$)이면 이 값이 $\infty$ 로 발산한다는 것과 대조하면 요점이 선명하다 — 라벨 평활화는 로짓의 스케일에 상한을 거는 장치다. 문헌에 따라 $\alpha$ 를 오답 클래스 $K-1$ 개에만 균등 배분하는 정의도 쓰이는데, 그때 간극은 $\log\bigl((K-1)(1-\alpha)/\alpha\bigr)$ 이다. 두 값은 $K$ 가 크면 사실상 같고($K=1000$, $\alpha=0.1$ 에서 9.10 대 9.10), 어느 관례를 쓰든 결론은 바뀌지 않는다.²

손실을 다시 쓰면 정체가 더 분명해진다.

$$\mathcal{L}_{\text{LS}} = (1-\alpha)\,\mathrm{CE}(y, p) + \alpha\,\mathrm{CE}(u, p) = (1-\alpha)\,\mathrm{CE}(y, p) + \alpha\,D_{\mathrm{KL}}(u \,\Vert\, p) + \text{상수}$$

($u$ 는 균등분포.) 즉 라벨 평활화 = 교차엔트로피 + 균등분포 쪽으로 당기는 KL 벌점이다. 쿨백-라이블러 발산의 인수 순서에 주목할 것 — 균등분포가 앞에 있으므로 $p$ 가 어느 클래스에서든 0에 가까워지면 벌점이 폭발한다. “모든 클래스에 최소한의 확률은 남겨 둬라”는 요구가 이 순서에서 나온다. 엔트로피 정규화와 형제 관계이되, 정규화를 목적함수의 엔트로피 항으로 넣는 대신 타깃 쪽에 섞어 넣은 판본이라고 보면 된다.

3. 보정 — 이게 실질적인 주 효과

정확도만 보면 라벨 평활화의 이득은 소수점 몇 자리다. 진짜 값을 하는 곳은 보정(calibration)이다. 현대 심층망은 “확률 0.99”라고 말할 때 실제로는 90% 정도만 맞는, 체계적으로 과신하는 모형이라는 것이 잘 알려져 있다. 이를 재는 표준 지표가 기대 보정 오차(ECE)로, 예측 신뢰도를 구간 $B_m$ 으로 나눠 각 구간의 정확도와 평균 신뢰도의 차이를 표본 수로 가중해 더한다.

$$\mathrm{ECE} = \sum_{m} \frac{|B_m|}{n}\,\bigl|\,\mathrm{acc}(B_m) - \mathrm{conf}(B_m)\,\bigr|$$

라벨 평활화로 학습한 모형은 이 값이 눈에 띄게 낮아진다. 로짓 스케일에 상한이 걸려 있으니 당연한 결과다. 실제로 사후 보정의 표준인 온도 조정(로짓을 $z/T$ 로 나눠 검증셋에서 $T$ 를 맞추는 것)과 비교하면 ECE 개선 폭이 비슷한 수준이라는 보고가 있는데, 둘의 성격은 전혀 다르다. 온도 조정은 학습이 끝난 뒤 스칼라 하나만 맞추므로 정확도가 정확히 보존되고 표현도 그대로다. 라벨 평활화는 학습 자체를 바꾸므로 정확도도 표현도 달라진다. 확률값 자체가 후속 의사결정에 들어가는 시스템(불확실성 정량화가 필요한 곳)에서는 일단 온도 조정부터 해 보고, 그래도 부족하면 학습 쪽을 건드리는 순서가 합리적이다.

4. 표현이 어떻게 바뀌는가

뮐러, 콘블리스, 힌턴(2019)이 이 기법의 부작용까지 포함해 정리했다. 핵심 도구는 시각화다 — 마지막 은닉층(펜얼티메이트) 공간에서 세 클래스의 가중치 벡터(템플릿)가 만드는 평면에 표현들을 투영해 본 것.

• 평활화 없이 학습하면 각 클래스의 표현이 자기 템플릿 방향으로 길쭉하게 뻗은 호를 그린다. 표본마다 “얼마나 전형적인가”와 “어느 클래스와 헷갈리는가”가 위치에 남는다.
• 평활화하면 같은 클래스 표현이 템플릿 주위로 조여들어 촘촘한 덩어리가 되고, 각 덩어리는 다른 템플릿들로부터 거의 같은 거리에 놓인다. 오답 로짓들이 서로 비슷해지도록 강제되기 때문이다.

이 수축은 분류 결정경계 관점에서는 좋은 소식이지만, 오답 클래스들 사이의 상대적 유사도 정보가 지워진다는 뜻이기도 하다. 입력과 로짓 사이의 상호정보량이 줄어드는 것으로 정량화된다.

여기서 이 문서에서 가장 유명한 결과가 나온다. 라벨 평활화로 학습한 교사로 지식 증류를 하면 학생이 나빠진다. 증류가 먹고사는 재료가 바로 그 “오답 클래스들의 상대 확률”인데, 평활화가 그것을 뭉개 버렸기 때문이다. 교사 자신의 정확도와 보정은 오히려 좋아졌는데 학생은 나빠지는, 지표와 목적이 어긋나는 전형적인 사례다.³ 증류 쪽 사정은 해당 문서로 넘긴다.

같은 이유로 표현의 클래스 내부 구조가 중요한 과제에서 손해를 볼 수 있다. 검색·거리 학습처럼 같은 클래스 안에서의 미세한 순위가 성능을 결정하는 곳에서는 클러스터 수축이 곧 정보 손실이다. 물체 검출에서도 라벨 평활화는 분류 분기에만 걸리고 위치 회귀는 아무 이득을 못 받는데, 비최대 억제(NMS)가 신뢰도 순위에 의존하므로 지나친 평활화가 순위를 뭉갤 수 있다는 지적이 있다. 여기서 얻는 교훈은 단순하다 — 라벨 평활화는 “확률을 잘 맞추는 분류기”를 만드는 기법이지 “좋은 표현”을 만드는 기법이 아니다.

5. 잡음 라벨 아래에서

훈련 라벨 일부가 틀려 있을 때 라벨 평활화가 도움이 된다는 것은 직관과 실증이 모두 맞는 드문 경우다. 직관은 이렇다 — 원-핫 타깃은 틀린 라벨도 “확률 1”로 믿으라고 요구하므로 모형이 잡음을 통째로 암기하지만, 평활화된 타깃은 애초에 확신을 덜 요구하므로 잘못된 표본이 만드는 기울기의 크기가 제한된다. 손실 보정(loss correction) 계열의 잡음 대응 기법과 견줄 만한 성능이 보고됐고, 구현 난이도가 비교가 안 되게 낮다는 점이 실무적 장점이다.

다만 만병통치는 아니다. 잡음 비율이 아주 높은 구간에서는 오히려 $\alpha<0$, 즉 음의 평활화(정답 쪽을 1보다 크게 밀고 나머지를 음수로)가 더 낫다는 후속 보고도 있다. $\alpha$ 를 잡음 수준에 맞춰 고르라는 이야기인데, 정작 잡음 수준을 모르는 것이 보통이라 실무에서는 여전히 0.1 근처에서 시작한다.

6. 대안과 조합

기법	작동 방식	정확도 영향	보정 개선
라벨 평활화	타깃에 균등분포를 섞음	대체로 소폭 상승	확실
신뢰도 페널티	손실에 예측 엔트로피 보너스	비슷	확실
초점 손실	쉬운 표본의 손실을 감쇠	불균형 데이터에서 상승	보고됨
믹스업 · 컷믹스	입력과 타깃을 함께 보간	대체로 상승	보고됨
온도 조정	학습 후 로짓을 스칼라로 나눔	변화 없음	확실

신뢰도 페널티는 라벨 평활화와 쌍둥이다. 손실에 $-\beta\,\mathcal{H}(p)$ 를 더하는데, $-\mathcal{H}(p) = D_{\mathrm{KL}}(p\Vert u) - \log K$ 이므로 결국 KL의 반대 방향을 쓰는 것이다. 라벨 평활화는 $D_{\mathrm{KL}}(u\Vert p)$ 를, 신뢰도 페널티는 $D_{\mathrm{KL}}(p\Vert u)$ 를 벌한다. 전자는 모든 클래스에 바닥 확률을 깔라고 하고, 후자는 예측 분포 전체를 평평하게 밀라고 한다. 실전 성능은 대체로 비슷하다.

초점 손실은 $(1-p_y)^\gamma$ 를 곱해 이미 잘 맞히는 표본의 기여를 죽이는 기법인데, 이 손실이 KL에서 엔트로피 항을 뺀 양의 상한으로 쓰이는 덕에 암묵적 엔트로피 정규화로 읽힌다. 믹스업·컷믹스는 입력과 라벨을 같은 비율로 섞으므로 표본마다 다른 소프트 타깃을 만들어 내는데, 균등하게 섞는 라벨 평활화보다 정보량이 많다. 다만 셋을 다 겹쳐 쓰면 과하게 평평해져 오히려 정확도가 떨어지는 구간이 있으니, 정규화 기법은 더하기가 아니라 예산 배분으로 다뤄야 한다. 과적합을 잡겠다고 가중치 감쇠·드롭아웃·증강·평활화를 한꺼번에 최대로 거는 것이 흔한 실수다.

7. α = 0.1 은 어디서 왔는가

정직하게 말하면 유도는 없다. 세게디 등이 ImageNet($K=1000$)에서 0.1을 썼고 결과가 좋았으며, 그 뒤로 모두가 복사했다. 트랜스포머 원논문도 같은 0.1을 썼는데 그 논문은 부작용까지 명시적으로 적어 두었다 — 평활화가 퍼플렉서티는 나쁘게 만들지만 BLEU는 올린다는 것. 모형이 일부러 덜 확신하게 되니 확률 예측 지표는 나빠지고, 그 대가로 최종 과제 성능이 오른다는 뜻이다. 정규화 기법이 무엇을 팔아 무엇을 사는지 이보다 솔직하게 적힌 문장은 드물다.

$K$ 에 대한 의존성도 이론적으로 정리된 바가 없다. 위 로짓 간극 공식은 $\log(K/\alpha)$ 에 가까우므로 $K$ 가 커지면 간극도 커지는데, 이게 “그러니 큰 $K$ 에서는 $\alpha$ 를 키워야 한다”는 처방으로 이어지지는 않는다. 이진 분류($K=2$)에서 0.1을 쓰면 타깃이 $(0.95, 0.05)$ 라 꽤 센 개입이고, $K=10^4$ 에서는 오답 클래스 하나당 $10^{-5}$ 라 거의 아무것도 아니다. $\alpha$ 는 “정답 확률을 얼마까지 허용할 것인가”로 읽고 검증셋에서 0.05~0.2 범위를 훑는 것이 그나마 근거 있는 실무 지침이다. 논문 표에 0.1이 적혀 있다는 것은 그 논문의 데이터셋에서 0.1이 나쁘지 않았다는 뜻 이상은 아니며, 이 정도의 검증 및 확인 감각은 유지하는 편이 좋다.

8. 관련 문서

• 소프트맥스 함수 · 쿨백-라이블러 발산 · 엔트로피 정규화
• 지식 증류 · 심층 학습 · 합성곱 신경망 · 트랜스포머
• 초점 손실 · 믹스업 · 과적합 · 티호노프 정규화
• 불확실성 정량화 · 최대 엔트로피 원리 · 검증 및 확인

9. Footnotes

1. Szegedy, C. et al. (2016). “Rethinking the Inception Architecture for Computer Vision”, CVPR. 이 논문은 라벨 평활화 말고도 인수분해 합성곱, 보조 분류기 재평가 등 잡기술이 잔뜩 든 백화점인데, 정작 인용 맥락의 상당수가 “라벨 평활화 [이 논문]” 한 줄이다. 논문의 운명은 저자가 정하지 않는다. ↩

2. 두 관례를 섞어 읽다가 공식이 안 맞는다고 당황하는 일이 자주 생긴다. 확인법은 간단하다 — 타깃 벡터의 성분을 다 더해 1이 되는지, 그리고 정답 성분이 $1-\alpha$ 인지 $1-\alpha+\alpha/K$ 인지 보면 된다. 프레임워크 기본 구현들도 관례가 갈리므로 $\alpha$ 를 논문에서 그대로 옮겨 쓸 때는 한 번 확인하는 게 안전하다. ↩

3. Müller, Kornblith, Hinton (2019). “When Does Label Smoothing Help?”, NeurIPS. 제목이 질문형인 논문은 대개 답이 “가끔”이다. 이 논문도 예외가 아니어서, 앞 절반은 왜 좋은지, 뒤 절반은 왜 나쁜지를 같은 실험 틀로 보여 준다. 이후 “그 비호환성이 그렇게 절대적인 건 아니다”라는 반박 논문도 나왔으니, 교사에 평활화를 걸어야 한다면 최소한 학생 성능을 직접 재 보고 결정할 일이다. ↩