능형회귀

편집 역사 토론
통계 수치해석 마지막 수정: 2026-08-09 04:12:40

1. 개요[편집]

능형회귀
Ridge Regression
다른 이름릿지 회귀, L2 정규화, weight decay, 티호노프 정규화
제안A. E. Hoerl & R. W. Kennard (1970, Technometrics)
추정량β̂(λ) = (XTX + λI)-1XTy
노리는 것편향을 조금 사고 분산을 크게 판다
유효 자유도df(λ) = Σ dj2/(dj2+λ)
λ 고르기LOOCV(PRESS 공식), GCV

능형회귀(ridge regression)는 최소자승법의 잔차제곱합에 계수 크기의 제곱 벌점 λ∥β∥22\lambda\|\beta\|_2^2 를 더해, 불편성을 일부러 포기하는 대신 추정량의 분산을 대폭 줄이는 축소(shrinkage) 회귀 기법이다.

β^(λ)=arg⁡min⁡β  ∥y−Xβ∥22+λ∥β∥22=(XTX+λI)−1XTy\hat\beta(\lambda) = \arg\min_\beta \; \|y - X\beta\|_2^2 + \lambda\|\beta\|_2^2 = (X^{T}X + \lambda I)^{-1}X^{T}y

식만 보면 티호노프 정규화와 글자 하나 다르지 않다. 실제로 같은 추정량이다. 수치해석·역문제 동네는 이것을 티호노프라 부르며 필터인자·L-곡선·불일치 원리로 설명하고, 통계 동네는 능형회귀라 부르며 편향-분산·MSE·교차검증으로 설명한다. 무엇을 최소화하는지가 아니라 무엇을 걱정하는지가 다르다. 부적절 문제의 잡음 증폭이 걱정이면 저쪽 문서로 가고, 회귀계수의 표본 변동성이 걱정이면 이 문서다.1

호를과 케너드가 1970년 이것을 내놓은 동기는 다중공선성이었다. 설명변수들이 서로 강하게 상관되면 XTXX^{T}X 가 특이행렬에 가까워지고, 조건수가 폭발하면서 최소자승 계수의 표준오차가 터무니없이 커진다. 부호가 뒤집히고, 데이터 한 점을 빼면 계수가 두 배로 뛰고, “이 변수의 효과는 −3.7입니다”라고 보고서에 쓰기가 무섭다. 대각에 λ\lambda 를 얹는 것은 그 병든 방향을 인위적으로 세우는 처방이다.

2. 편향-분산 분해와 호를-케너드 존재 정리[편집]

능형회귀의 정체는 특이값 분해 X=UDVTX = UDV^{T} 로 좌표를 돌리면 완전히 드러난다. 정준좌표 α=VTβ\alpha = V^{T}\beta 에서 문제가 완전히 분리되어

α^j(λ)=djdj2+λ ujTy,E[α^j]=dj2dj2+λ αj\hat\alpha_j(\lambda) = \frac{d_j}{d_j^2+\lambda}\,u_j^{T}y, \qquad \mathbb{E}[\hat\alpha_j] = \frac{d_j^2}{d_j^2+\lambda}\,\alpha_j

가 된다. 즉 jj 번째 성분은 필터인자 dj2/(dj2+λ)d_j^2/(d_j^2+\lambda) 만큼 원점 쪽으로 눌린다. 큰 특이값(데이터가 잘 결정해 주는 방향)은 거의 안 건드리고, 작은 특이값(데이터가 거의 모르는 방향)만 집중적으로 죽인다. 능형회귀는 모든 계수를 똑같이 줄이는 게 아니라, 정보가 없는 방향을 골라서 줄인다.

이 필터 관점은 사촌뻘 방법과의 관계도 한 줄로 정리해 준다. 주성분 회귀(PCR)는 상위 kk 개 주성분만 남기고 나머지를 통째로 버리므로 필터인자가 {0,1}\{0,1\} 뿐인 칼같은 절단이고, 능형은 같은 축 위에서 dj2/(dj2+λ)d_j^2/(d_j^2+\lambda) 라는 매끄러운 저역통과를 건다. 주성분 분석과 절단 특이값 분해 쪽에서 벌어지는 “하드 컷 대 소프트 필터” 논쟁이 회귀에서도 글자 그대로 반복된다. 실전 성능은 대체로 능형이 조금 낫다 — 절단은 σk≈σk+1\sigma_k \approx \sigma_{k+1} 인 애매한 경계에서 결정을 강요당하지만, 능형은 그 경계를 부드럽게 넘어가기 때문이다.

총 평균제곱오차를 쓰면 거래 조건이 그대로 보인다. 잡음이 Var(ε)=σ2I\mathrm{Var}(\varepsilon)=\sigma^2 I 일 때

MSE(λ)=σ2∑jdj2(dj2+λ)2⏟분산+λ2∑jαj2(dj2+λ)2⏟편향2\mathrm{MSE}(\lambda) = \underbrace{\sigma^2\sum_j \frac{d_j^2}{(d_j^2+\lambda)^2}}_{\text{분산}} + \underbrace{\lambda^2\sum_j \frac{\alpha_j^2}{(d_j^2+\lambda)^2}}_{\text{편향}^2}

여기서 결정적인 관찰 하나. λ=0\lambda=0 에서 편향항은 λ2\lambda^2 차라 미분값이 정확히 0인데, 분산항의 미분은 −2σ2∑jdj−4<0-2\sigma^2\sum_j d_j^{-4} < 0 이다. 그러니 MSE′(0)<0\mathrm{MSE}'(0) < 0 — λ\lambda 를 0에서 아주 조금만 키우면 MSE는 반드시 줄어든다. 이것이 호를-케너드의 존재 정리이며, 더 구체적으로는 0<λ<2σ2/αmax⁡20 < \lambda < 2\sigma^2/\alpha_{\max}^2 (αmax⁡\alpha_{\max} 는 정준좌표 계수의 최댓값) 구간 전체에서 능형이 최소자승을 이긴다.

문제는 이 구간의 상한이 모르는 β\beta 와 σ2\sigma^2 로 쓰여 있다는 것이다. 그래서 이건 “좋은 λ\lambda 가 존재한다”는 보장일 뿐 “이 λ\lambda 를 쓰라”는 처방이 아니다. 존재 정리와 사용법 사이의 이 간극을 메우는 게 아래의 교차검증이다.2

3. 축소 추정량의 계보 — 제임스-스타인[편집]

“불편추정량이 최선이 아닐 수 있다”는 충격은 회귀보다 먼저 왔다. 스타인(1956)과 제임스-스타인 추정량(1961)은 p≥3p \ge 3 차원 정규분포 평균을 추정할 때, 표본평균을 원점 쪽으로 축소한

θ^JS=(1−(p−2)σ2∥y∥22)y\hat\theta_{JS} = \left(1 - \frac{(p-2)\sigma^2}{\|y\|_2^2}\right) y

가 모든 θ\theta 에 대해 표본평균보다 총 MSE가 작다는 것을 보였다. 좌표별로는 각각 최적인 추정량들을 모아 놓으면 전체로는 최적이 아니라는 것 — 이른바 스타인 역설이다.

능형회귀는 이 축소 아이디어의 회귀판이다. 다만 중요한 차이를 정직하게 적어 둘 필요가 있다. 제임스-스타인은 축소량을 데이터로부터 정하며 우월성이 무조건 성립하는(dominance) 반면, 고정된 λ\lambda 의 능형회귀는 최소자승을 균일하게 이기지 못한다. 참 β\beta 가 아주 크면 그 λ\lambda 는 손해다. 능형이 이기는 구간이 항상 존재할 뿐, 그 구간이 어디인지는 β\beta 에 달려 있다. ”λ\lambda 만 넣으면 공짜로 좋아진다”는 말은 절반만 맞다.

4. 베이즈 해석 — 가우시안 사전분포와 MAP[편집]

같은 식을 확률로 읽으면 λ\lambda 의 의미가 명확해진다. y∣β∼N(Xβ, σ2I)y \mid \beta \sim N(X\beta,\ \sigma^2 I) 에 사전분포 β∼N(0, τ2I)\beta \sim N(0,\ \tau^2 I) 를 주면 사후분포는 가우시안이고, 그 최빈값(MAP)이자 사후평균이 정확히 능형해다.

λ=σ2τ2\lambda = \frac{\sigma^2}{\tau^2}

즉 λ\lambda 는 임의의 손잡이가 아니라 잡음 분산 대 사전 신념 분산의 비다. 계수가 클 리 없다고 강하게 믿을수록(τ\tau 작을수록) λ\lambda 가 커진다. 덤으로 사후 공분산 σ2(XTX+λI)−1\sigma^2(X^{T}X+\lambda I)^{-1} 까지 공짜로 나와서, 점추정만 주는 빈도주의 능형과 달리 불확실성을 그대로 들고 다닐 수 있다. 다만 이 구간추정은 사전분포가 맞다는 가정 위에 서 있으므로, 벌점을 튜닝으로 정해 놓고 베이즈 구간인 척하는 것은 반칙이다.3

5. 유효 자유도와 λ 고르기[편집]

능형은 계수를 0으로 만들지 않으므로 “몇 개 변수를 썼는가”로 복잡도를 셀 수 없다. 대신 사영행렬 Hλ=X(XTX+λI)−1XTH_\lambda = X(X^{T}X+\lambda I)^{-1}X^{T} 의 대각합을 쓴다.

df(λ)=tr(Hλ)=∑j=1pdj2dj2+λ\mathrm{df}(\lambda) = \mathrm{tr}(H_\lambda) = \sum_{j=1}^{p}\frac{d_j^2}{d_j^2+\lambda}

λ=0\lambda=0 이면 pp, λ→∞\lambda\to\infty 면 0으로 연속적으로 내려간다. 연속적인 자유도 — 변수 개수라는 정수 눈금을 실수로 확장한 것이 능형회귀의 개념적 기여 중 하나다. 필터인자의 합이 곧 자유도라는 사실은 티호노프 정규화의 “유효 랭크”와 정확히 같은 물건이다.

λ\lambda 선택의 표준은 교차검증인데, 능형은 선형 평활자(y^=Hλy\hat y = H_\lambda y, HλH_\lambda 가 yy 와 무관)라서 LOOCV를 공짜로 얻는 특권이 있다.

CV(λ)=1n∑i=1n(yi−y^i1−[Hλ]ii)2\mathrm{CV}(\lambda) = \frac1n\sum_{i=1}^{n}\left(\frac{y_i-\hat y_i}{1-[H_\lambda]_{ii}}\right)^2

nn 번 다시 적합할 필요 없이 한 번 적합한 잔차를 1−hii1-h_{ii} 로 나누면 끝이다. 이 항등식이 이른바 PRESS 공식이고, 원래는 최소자승용(Allen 1974)이지만 임의의 선형 평활자로 그대로 확장된다. hiih_{ii} 를 평균값 df(λ)/n\mathrm{df}(\lambda)/n 으로 갈아 끼우면 회전불변인 GCV가 된다. SVD를 한 번 계산해 두면 λ\lambda 격자 전체의 CV 곡선을 O(np)O(np) 도 아닌 O(n)O(n) 수준으로 훑을 수 있어서, 실무에서 능형의 λ\lambda 탐색은 사실상 공짜다.

6. 표준화, 절편, 그리고 p > n[편집]

세 가지 함정이 있다.

  • 벌점은 스케일에 안 불변이다. 어떤 변수를 미터에서 밀리미터로 바꾸면 계수가 1000배 작아지고, ∥β∥22\|\beta\|_2^2 에 기여하는 몫이 100만분의 1로 줄어 사실상 벌점을 안 받는다. 그래서 표준 절차는 모든 열을 평균 0, 분산 1로 표준화한 뒤 적합하고 계수를 원래 스케일로 되돌리는 것이다. 이걸 빼먹으면 “결과가 이상한데요”의 대표 사례가 된다.
  • 절편은 벌점 대상이 아니다. β0\beta_0 까지 줄이면 yy 의 원점 이동에 따라 예측이 달라져 버린다. 실무 구현은 yy 와 XX 를 중심화해 절편을 분리한 뒤 나머지에만 벌점을 건다.
  • p>np > n 이어도 잘 돌아간다. XTXX^{T}X 는 특이행렬이지만 XTX+λIX^{T}X+\lambda I 는 λ>0\lambda>0 이면 항상 양정부호라 해가 유일하다. 계산은 밀어내기 항등식으로 n×nn\times n 계 β^=XT(XXT+λI)−1y\hat\beta = X^{T}(XX^{T}+\lambda I)^{-1}y 를 푸는 쪽이 싸다. 대신 능형은 변수를 선택하지 않는다 — 상관 높은 변수 무리에 계수를 균등하게 나눠 주는 것이 능형의 습성이고, 0을 만들고 싶으면 라쏘로 가야 한다.

7. 커널 능형회귀와 가우시안 프로세스[편집]

바로 위의 n×nn\times n 형태 β^=XT(XXT+λI)−1y\hat\beta = X^{T}(XX^{T}+\lambda I)^{-1}y 가 결정적이다. XX 가 오직 내적 XXTXX^{T} 로만 등장하므로, 그 자리를 커널 행렬 Kij=k(xi,xj)K_{ij}=k(x_i,x_j) 로 갈아 끼우면 명시적 특징사상 없이 무한차원 특징공간에서 능형회귀를 돌릴 수 있다.

f^(x)=k(x)T(K+λI)−1y\hat f(x) = k(x)^{T}(K+\lambda I)^{-1}y

이것이 커널 능형회귀다. 그런데 이 식은 잡음 분산 σn2=λ\sigma_n^2=\lambda 인 가우시안 프로세스 회귀의 사후평균과 글자 그대로 동일하다. 두 방법은 예측 평균에서 구분 불가능하고, 차이는 GP가 사후분산까지 준다는 것과 초모수를 주변우도로 정한다는 것뿐이다. 정규화된 회귀·재생핵 힐베르트 공간·베이즈 비모수가 사실 한 물건이라는 사실이 이 한 줄에 압축돼 있다. 대리 모델, 축소차수모델, 베이지안 최적화의 내부 루프가 죄다 이 식을 푸는 이유이기도 하다.4

8. 관련 문서[편집]

9. Footnotes[편집]

  1. 이름이 “능형(ridge, 산등성이)“인 이유는 호를이 1962년 반응표면 분석에서 쓰던 능선 분석(ridge analysis)에서 표기를 가져왔기 때문이다. 계수 경로 β^(λ)\hat\beta(\lambda) 를 그린 그림을 능형 자취(ridge trace)라 부르고, 호를-케너드는 원래 이 그림이 “안정되는” 지점을 눈으로 골라 λ\lambda 를 정하라고 권했다. 지금 기준으로는 그냥 CV를 돌리는 게 낫다. ↩

  2. 딥러닝의 weight decay도 정확히 같은 물건이다 — 단, SGD가 아니라 Adam 같은 적응형 옵티마이저에서는 손실에 λ∥θ∥2\lambda\|\theta\|^2 를 더하는 것과 갱신식에서 직접 θ←(1−ηλ)θ\theta \leftarrow (1-\eta\lambda)\theta 로 깎는 것이 더 이상 같지 않다. 이 차이를 정리한 것이 AdamW다. 50년 된 정규화가 2017년에 논문거리가 된 셈. ↩

  3. 이 “경험적 베이즈로 튜닝하고 완전 베이즈인 척하기”는 통계 심사위원이 가장 먼저 잡아내는 것 중 하나다. 그래도 예측이 목적이라면 실무적으로는 대체로 무해하다. 구간을 보고하는 순간부터 문제가 된다. ↩

  4. 능형·GP·RKHS·스플라인 평활이 전부 같은 표현자 정리(representer theorem)의 사례라는 사실은 처음 볼 때 꽤 충격적이다. 그래서 이 바닥에서는 “새 방법을 만들었다”고 주장하는 논문을 보면 일단 능형인지부터 확인하는 습관이 생긴다. 절반은 능형이다. ↩