엘라스틱 넷

편집 역사 토론
통계 수치해석 최적설계 마지막 수정: 2026-08-11 04:27:05

1. 개요[편집]

엘라스틱 넷
Elastic Net
제안H. Zou & T. Hastie (2005, JRSS-B)
벌점λ1‖β‖1 + (λ2/2)‖β‖22
glmnet 표기λ[α‖β‖1 + ((1−α)/2)‖β‖22], α∈[0,1]
특징희소성(라쏘) + 그룹 효과(능형)
해결하는 것p≫n의 n개 제한, 상관 변수군에서의 임의 선택
솔버좌표 하강법 (강볼록이라 수렴이 더 얌전하다)

엘라스틱 넷은 최소제곱 손실에 ℓ1\ell_1 벌점과 ℓ2\ell_2 벌점을 동시에 거는 정규화 회귀로, 라쏘의 변수 선택 능력과 능형회귀의 축소·안정성을 한 목적함수에 섞어 놓은 것이다.

β^=arg⁡min⁡β 12∥y−Xβ∥22+λ1∥β∥1+λ22∥β∥22\hat\beta = \arg\min_\beta\ \tfrac12\|y-X\beta\|_2^2 + \lambda_1\|\beta\|_1 + \frac{\lambda_2}{2}\|\beta\|_2^2

주(Zou)와 하스티가 2005년에 제안했고, 이름은 “두 종류의 그물을 겹쳐 놓으면 큰 물고기는 다 잡되 그물이 늘어나 무리를 통째로 건진다”는 비유에서 왔다. 실무에서는 λ1,λ2\lambda_1,\lambda_2 대신 전체 세기 λ\lambda 와 혼합비 α\alpha 로 다시 매개화한 형태를 쓴다 — α=1\alpha=1 이면 라쏘, α=0\alpha=0 이면 능형회귀, 그 사이는 연속적인 스펙트럼이다.1

ℓ1\ell_1 과 ℓ2\ell_2 의 기하를 겹치면 왜 이게 되는지가 보인다. 제약 영역 α∥β∥1+1−α2∥β∥22≤t\alpha\|\beta\|_1 + \frac{1-\alpha}{2}\|\beta\|_2^2 \le t 는 좌표축 위에는 여전히 뾰족한 꼭짓점이 남아 있고 그 사이는 바깥으로 볼록하게 부푼 모양이다. 꼭짓점이 있으니 계수가 정확히 0이 되고(α>0\alpha>0), 면이 엄격 볼록하니 상관 변수 사이에서 접점이 한쪽으로 미끄러지지 않는다. 라쏘가 마름모, 능형이 원이라면 엘라스틱 넷은 모서리가 살아 있는 부푼 마름모다.

2. 라쏘가 막히는 세 지점[편집]

주-하스티가 논문에서 든 동기는 정확히 세 가지였고, 지금 봐도 여전히 유효하다.

p>np > n 이면 최대 nn 개까지만 고른다. 라쏘 해의 활성집합 크기는 min⁡(n,p)\min(n,p) 를 넘을 수 없다. 유전자 2만 개에 시료 100개인 데이터에서 “관련 유전자는 100개 이하”라는 결론이 통계적 발견이 아니라 알고리즘의 산술적 제약에서 나온 것이라면 곤란하다.

상관 높은 변수군에서 하나만 임의로 고른다. 거의 같은 정보를 가진 변수 다섯 개가 있으면 라쏘는 그중 하나에 계수를 몰아주고 넷을 0으로 만든다. 어느 하나가 뽑히는지는 잡음이 정한다. 데이터를 부트스트랩하면 매번 다른 변수가 뽑히고, 생물학자에게 “이 유전자가 원인입니다”라고 보고하는 순간 재현되지 않는다.

n>pn > p 이지만 상관이 강하면 능형이 더 잘 예측한다. 예측 성능만 놓고 보면 상관 구조가 강한 데이터에서 라쏘가 능형에 지는 경우가 흔하다. 그런데 능형은 변수를 고르지 못한다. 둘 중 하나를 포기해야 하는 상황 자체가 문제라는 것이 엘라스틱 넷의 출발점이다.

3. 그룹 효과 — 상관 변수를 함께 살린다[편집]

ℓ2\ell_2 항이 하는 일을 정량적으로 잡아낸 것이 주-하스티의 그룹 효과(grouping effect) 정리다. 열이 표준화돼 있고 두 계수의 부호가 같다면(β^iβ^j>0\hat\beta_i\hat\beta_j>0), 두 열의 표본상관 ρij\rho_{ij} 에 대해

∣β^i−β^j∣∥y∥1  ≤  1λ22 (1−ρij)\frac{\bigl|\hat\beta_i - \hat\beta_j\bigr|}{\|y\|_1} \;\le\; \frac{1}{\lambda_2}\sqrt{2\,(1-\rho_{ij})}

가 성립한다. 읽는 법은 명료하다 — 두 변수의 상관이 1에 가까울수록 두 계수의 차이가 강제로 0에 가까워진다. 완전히 같은 열이 두 개 있으면(ρ=1\rho=1) 엘라스틱 넷 해는 두 계수를 정확히 똑같이 나눠 갖는다. 반면 라쏘는 같은 상황에서 해가 무수히 많고(두 계수의 합만 정해진다) 솔버가 아무거나 하나를 뱉는다.

경계가 1/λ21/\lambda_2 로 스케일된다는 점도 중요하다. ℓ2\ell_2 세기를 키우면 그룹이 더 단단히 묶이고, λ2→0\lambda_2\to0 이면 보장이 사라져 라쏘의 불안정성으로 돌아간다. 즉 α\alpha 는 “희소성 대 안정성” 손잡이다.

미리 정의된 변수 묶음을 통째로 살리거나 죽이는 그룹 라쏘와는 성격이 다르다는 것도 짚어 둘 만하다. 그룹 라쏘는 그룹 구조를 사람이 입력해야 하고, 엘라스틱 넷은 그런 입력 없이 데이터의 상관 구조가 알아서 무리를 만든다. 경로 구조가 명확한 유전체 데이터라면 전자가, 상관은 있는데 그 구조를 모르는 스펙트럼·센서 데이터라면 후자가 자연스럽다.

4. 이중 수축과 (1+λ₂) 재조정[편집]

여기에 주-하스티가 정직하게 지적한 부작용이 하나 있다. 두 벌점이 각자 따로 계수를 줄이므로 축소가 두 번 걸린다. 직교 설계 X⊤X=IX^\top X = I 에서 계산해 보면 즉시 보인다. zj=xj⊤yz_j = x_j^\top y 라 할 때 위 목적함수의 해는

β^jnaive=Sλ1(zj)1+λ2\hat\beta_j^{\text{naive}} = \frac{\mathcal{S}_{\lambda_1}(z_j)}{1+\lambda_2}

이다. 라쏘의 연성 임계화 Sλ1(zj)\mathcal{S}_{\lambda_1}(z_j) 를 얻은 다음, 능형의 비례 축소 1/(1+λ2)1/(1+\lambda_2) 를 한 번 더 먹인 꼴이다. 앞쪽 임계화는 희소성을 만드는 데 필요한 축소지만, 뒤쪽 비례 축소는 이미 살아남기로 결정된 큰 계수까지 추가로 깎아 편향만 키운다.

그래서 원 논문은 위 해를 나이브 엘라스틱 넷이라 부르고, 여기에 (1+λ2)(1+\lambda_2) 를 곱한

β^EN=(1+λ2) β^naive\hat\beta^{\text{EN}} = (1+\lambda_2)\,\hat\beta^{\text{naive}}

를 엘라스틱 넷 추정량으로 정의했다. 직교 설계에서는 이 보정이 정확히 라쏘의 연성 임계화를 복원한다 — 희소성 패턴은 ℓ1\ell_1 이 정하고, 상관 변수 사이의 배분은 ℓ2\ell_2 가 정하되, 크기의 이중 축소는 되돌린다는 역할 분담이다.2

다만 실무 코드가 이 재조정을 항상 하는 것은 아니다. glmnet 은 λ[α∥β∥1+1−α2∥β∥22]\lambda[\alpha\|\beta\|_1+\frac{1-\alpha}{2}\|\beta\|_2^2] 를 그대로 최소화한 값을 돌려준다. (λ,α)(\lambda,\alpha) 를 교차검증으로 고르는 이상 재조정 여부는 좌표 재매개화에 가깝다는 관점이며, 결과 계수를 논문의 정의와 대조할 때 이 차이 때문에 숫자가 안 맞는 일이 종종 있다.

5. 증강 데이터 — 라쏘 문제로 환원[편집]

계산 쪽에서 가장 예쁜 결과는 엘라스틱 넷이 라쏘 문제 하나로 정확히 환원된다는 것이다. 데이터를 다음처럼 늘려 붙이면 된다.

X∗=11+λ2(Xλ2 Ip)∈R(n+p)×p,y∗=(y0)X^\ast = \frac{1}{\sqrt{1+\lambda_2}} \begin{pmatrix} X \\ \sqrt{\lambda_2}\,I_p \end{pmatrix} \in \mathbb{R}^{(n+p)\times p}, \qquad y^\ast = \begin{pmatrix} y \\ 0 \end{pmatrix}

이 인공 데이터에 벌점 γ=λ1/1+λ2\gamma = \lambda_1/\sqrt{1+\lambda_2} 짜리 라쏘를 돌리면, 그 해가 (스케일 되돌림 후) 나이브 엘라스틱 넷 해와 일치한다. 확인은 목적함수를 전개하기만 하면 된다 — 아래쪽 λ2I\sqrt{\lambda_2}I 블록이 만드는 잔차제곱합이 정확히 λ2∥β∥22\lambda_2\|\beta\|_2^2 다.

이 트릭에서 앞서 말한 nn 개 제한이 풀리는 이유도 즉시 나온다. 원래 XX 의 계수(rank)는 min⁡(n,p)\min(n,p) 지만, 증강 행렬 X∗X^\ast 는 아래에 IpI_p 가 붙어 있어 항상 계수 pp 다. 라쏘의 활성집합 상한이 설계행렬의 계수에서 오는 것이므로, 증강 후에는 pp 개 전부를 고를 수 있다. p≫np \gg n 에서 엘라스틱 넷이 nn 개를 넘겨 고를 수 있는 것은 마법이 아니라 이 랭크 보충의 결과다.

물론 실전에서 (n+p)×p(n+p)\times p 행렬을 실제로 만들지는 않는다. 증강은 성질을 증명하고 기존 라쏘 이론을 그대로 상속받기 위한 장치이고, 계산은 아래처럼 훨씬 싸게 한다.

6. 계산 — 강볼록이 주는 것[편집]

ℓ2\ell_2 항이 붙는 순간 목적함수는 λ2\lambda_2-강볼록이 된다. 이게 계산에 주는 이득은 세 가지다.

  • 해가 유일하다. p>np>n 이어도, 열이 완전히 중복돼도 유일하다. 라쏘가 p>np>n 에서 해의 유일성을 보장받지 못하는 것과 대비된다.
  • 좌표 하강법의 갱신식이 거의 그대로다. 부분잔차 r(−j)r^{(-j)} 에 대해
βj←Sλα(xj⊤r(−j))∥xj∥22+λ(1−α)\beta_j \leftarrow \frac{\mathcal{S}_{\lambda\alpha}\bigl(x_j^\top r^{(-j)}\bigr)}{\|x_j\|_2^2 + \lambda(1-\alpha)}

분모에 항이 하나 늘어난 것이 전부다. 벌점이 여전히 좌표별로 완전히 분리되므로 셍(2001)의 수렴 조건도 그대로 만족하며, 강볼록성 덕에 수렴이 선형이 된다. 라쏘 경로에서 상관이 심한 열들 때문에 좌표 하강이 지루하게 오가는 현상이 α\alpha 를 조금만 낮춰도 눈에 띄게 줄어든다.

  • 경로가 안정하다. 웜스타트로 λ\lambda 격자를 내려갈 때 이웃한 해가 급격히 튀지 않는다. 라쏘 경로에서 상관 변수들이 서로 자리를 바꾸며 계수가 왔다 갔다 하는 지점들이, 엘라스틱 넷에서는 계수를 나눠 갖는 매끄러운 구간으로 바뀐다.

자유도 쪽에도 대응물이 있다. 라쏘의 유효 자유도가 활성 변수 개수의 기댓값인 것에 대응해, 엘라스틱 넷은 활성집합 AA 위에서 능형 형태의 대각합 tr[XA(XA⊤XA+λ2I)−1XA⊤]\mathrm{tr}\bigl[X_A(X_A^\top X_A + \lambda_2 I)^{-1}X_A^\top\bigr] 로 주어진다. 능형처럼 정수가 아니라 실수 값이며, λ2→0\lambda_2\to0 이면 ∣A∣|A| 로 수렴해 라쏘 결과와 이어진다.

7. 실무에서 α와 λ 고르기[편집]

  • α\alpha 는 격자 몇 개로 충분하다. {0.1,0.3,0.5,0.7,0.9,1}\{0.1, 0.3, 0.5, 0.7, 0.9, 1\} 정도를 놓고 각각 λ\lambda 경로를 교차검증하는 것이 관행이다. α\alpha 는 λ\lambda 만큼 민감하지 않다 — 성능 곡선이 대체로 평평해서 “적당히 0.5 근처”가 자주 이긴다.
  • 표준화는 여전히 필수. 두 벌점 다 스케일 의존적이고, 특히 ℓ2\ell_2 항은 단위를 바꾸면 그룹 효과의 세기 자체가 바뀐다. 절편은 벌점에서 뺀다.
  • α\alpha 가 작을수록 변수를 많이 고른다. 상관 변수를 무리째 살리는 것이 목적이라면 그게 정상 동작이지만, “해석 가능한 짧은 목록”이 목적이라면 α\alpha 를 낮추는 것이 목표와 정면으로 충돌한다. 그룹 효과와 간결성은 같은 손잡이의 양쪽 끝이다.
  • 편향은 여전히 남는다. 엘라스틱 넷은 라쏘의 불안정성과 nn 개 제한을 고쳤을 뿐, 큰 계수를 깎는 편향 문제는 오히려 ℓ2\ell_2 때문에 더한다. 크기 추정이 중요하면 활성집합만 고른 뒤 벌점 없이 다시 적합하는 완화형 절차나 SCAD·MCP 같은 비볼록 벌점 쪽을 본다.
  • α\alpha 를 CV로 고른 뒤 같은 데이터로 검정을 돌리면 안 된다. 선택 후 추론(post-selection inference)의 함정은 라쏘와 똑같이 적용된다.3

8. 관련 문서[편집]

9. Footnotes[편집]

  1. 이름의 유래에 대해 저자들이 논문에서 밝힌 비유는 “늘어나는 그물(stretchable fishing net)이 물고기를 다 잡되 그물 자체는 유지된다”는 것이었다. 라쏘(올가미)에 이어 또 낚시·목축 은유라는 점이 이 계보의 전통이다. 정작 통계학자들이 붙인 이름 중 가장 성공한 것은 “부트스트랩”이라는 데 이견이 없는 편. ↩

  2. 재조정 계수 (1+λ2)(1+\lambda_2) 가 어디서 왔는지는 증강 데이터 트릭에서 명확하다. X∗X^\ast 정의에 들어 있는 1/1+λ21/\sqrt{1+\lambda_2} 를 되돌리는 인수이며, 즉 “라쏘로 환원할 때 곱한 스케일을 다시 나누는” 자리다. 임의로 끼워 넣은 보정 상수가 아니라는 뜻. ↩

  3. 두 개의 하이퍼파라미터를 CV로 고르고, 그 결과 뽑힌 변수 목록에 t검정을 붙여 p값을 보고하는 것은 그럴듯해 보이지만 1종 오류율이 통제되지 않는다. 최소한 데이터를 나눠 선택용과 추론용을 분리하거나, 탈편향 라쏘 계열의 보정을 쓰는 것이 예의다. “CV가 골라 줬으니 객관적”이라는 말은 통계적으로 아무 의미가 없다. ↩