일반화 선형 모형

편집 역사 토론
통계 수치해석 마지막 수정: 2026-08-12 04:24:07

1. 개요[편집]

일반화 선형 모형
Generalized Linear Model
약칭GLM
정립Nelder & Wedderburn (1972)
세 부품확률성분(지수족) + 선형예측자 + 연결함수
적합IRLS = 피셔 스코어링
정준연결일 때피셔 스코어링 = 뉴턴-랩슨법 (정확히 일치)
적합도이탈도(deviance) · 피어슨 카이제곱
자주 나는 사고과산포, 로지스틱 회귀의 완전분리

일반화 선형 모형(generalized linear model, GLM)은 반응변수의 분포를 지수족으로 두고, 그 평균을 연결함수로 변환한 값이 설명변수의 선형결합과 같다고 놓는 회귀 모형의 통칭이다.

선형회귀는 ”yy 가 정규분포이고 평균이 x⊤βx^\top\beta“라는 아주 좁은 가정 위에 서 있다. 그런데 현실의 반응변수는 0/1 이거나(감염 여부), 음이 아닌 정수이거나(사고 건수), 양수이고 오른쪽으로 길게 꼬리를 끄는(수리 시간) 경우가 훨씬 많다. 이런 자료에 정규 선형회귀를 억지로 쓰면 확률이 1.3 이 나오고 사고 건수가 −2 건이 나온다.

이때 흔한 임시방편은 yy 를 로그로 바꾸거나 로짓으로 바꿔서 선형회귀에 밀어 넣는 것인데, 이건 관측값을 변환하는 짓이라 y=0y=0 에서 정의가 깨지고 오차구조도 왜곡된다. GLM의 핵심 아이디어는 정확히 이 지점을 뒤집는 데 있다. 관측값이 아니라 평균을 변환한다.1 넬더와 웨더번이 1972년에 이 관점을 정리하면서, 그전까지 따로 놀던 선형회귀·로지스틱 회귀·프로빗·포아송 로그선형모형·분할표 분석이 하나의 모형족과 하나의 적합 알고리즘으로 통합됐다.

2. 세 부품[편집]

GLM은 다음 세 조각을 각각 고르면 완성된다.

1. 확률성분. yiy_i 가 지수분산족(exponential dispersion family)을 따른다.

f(y;θ,ϕ)=exp⁡ ⁣{yθ−b(θ)a(ϕ)+c(y,ϕ)}f(y;\theta,\phi) = \exp\!\left\{\frac{y\theta - b(\theta)}{a(\phi)} + c(y,\phi)\right\}

여기서 θ\theta 가 정준모수, ϕ\phi 가 산포모수다. 이 꼴에서 평균과 분산이 자동으로 나온다.

μ=E[y]=b′(θ),Var⁡(y)=a(ϕ) b′′(θ)=a(ϕ) V(μ)\mu = \mathbb{E}[y] = b'(\theta), \qquad \operatorname{Var}(y) = a(\phi)\,b''(\theta) = a(\phi)\,V(\mu)

V(μ)=b′′(θ(μ))V(\mu) = b''(\theta(\mu)) 를 분산함수라 부른다. GLM에서 분산은 따로 정하는 자유 모수가 아니라 평균이 정해지면 따라오는 것이라는 점이 정규 선형회귀(등분산)와의 가장 큰 차이다.

2. 선형예측자. ηi=xi⊤β\eta_i = x_i^\top\beta. 이름 그대로 여기만 선형이다. 설명변수 쪽 비선형성은 기저함수·스플라인·교호항으로 얼마든지 넣을 수 있고, 그래도 β\beta 에 대해 선형이면 GLM이다.

3. 연결함수. g(μi)=ηig(\mu_i) = \eta_i. 단조·미분가능해야 하고, 보통 μ\mu 의 정의역(예: (0,1)(0,1), (0,∞)(0,\infty))을 실수 전체로 펴는 역할을 한다.

분포분산함수 V(μ)정준연결전형적 용도
정규1항등 (μ)연속 반응, 등분산
베르누이·이항μ(1−μ)로짓 log{μ/(1−μ)}0/1, 비율
포아송μ로그 (log μ)계수자료, 발생률
감마μ²역수 (−1/μ)양수·변동계수 일정
역가우스μ³−1/(2μ²)강한 오른쪽 꼬리

gg 를 정준모수 θ\theta 자체로 만드는 연결, 즉 g=(b′)−1g = (b')^{-1} 을 정준연결(canonical link)이라 한다. 정준연결을 쓰면 θi=ηi=xi⊤β\theta_i = \eta_i = x_i^\top\beta 가 되어 로그가능도가 β\beta 에 대해 오목해지고, X⊤yX^\top y 가 충분통계량이 되며, 뒤에 나오듯 뉴턴법과 피셔 스코어링이 정확히 같아진다. 다만 정준연결이 항상 옳은 선택은 아니다. 이항자료에서 상대위험을 그대로 해석하고 싶으면 로그 연결이, 용량-반응 곡선의 물리적 근거가 있으면 여연결(complementary log-log)이 더 낫다.

3. IRLS — 계산 관점에서 본 GLM[편집]

GLM이 실무 도구로 살아남은 진짜 이유는 통계적 우아함이 아니라 분포를 뭘 고르든 같은 코드로 풀린다는 데 있다. 로그가능도를 β\beta 로 미분하면 스코어 방정식은

∑i=1n(yi−μi)V(μi) dμidηi xij=0(j=1,…,p)\sum_{i=1}^{n} \frac{(y_i - \mu_i)}{V(\mu_i)}\,\frac{d\mu_i}{d\eta_i}\, x_{ij} = 0 \qquad (j = 1,\dots,p)

μi=g−1(xi⊤β)\mu_i = g^{-1}(x_i^\top\beta) 라서 이건 비선형 연립방정식이다. 뉴턴 계열로 풀어야 하는데, 헤세 대신 기대 헤세(= 피셔 정보)를 쓰는 것이 피셔 스코어링이다. 이 갱신식을 정리하면 놀랍도록 익숙한 모양이 나온다.

β(t+1)=(X⊤WX)−1X⊤Wz\beta^{(t+1)} = \left(X^\top W X\right)^{-1} X^\top W z zi=ηi+(yi−μi)dηidμi,wi=1V(μi)(dμidηi) ⁣2z_i = \eta_i + (y_i - \mu_i)\frac{d\eta_i}{d\mu_i}, \qquad w_i = \frac{1}{V(\mu_i)}\left(\frac{d\mu_i}{d\eta_i}\right)^{\!2}

즉 작업반응 zz 에 대한 가중최소제곱을 반복해서 푸는 것이고, 이것이 반복 가중최소제곱(iteratively reweighted least squares, IRLS)이다. 매 반복이 그냥 최소자승법 한 번이라, 이미 있는 QR 기반 최소제곱 루틴에 가중치만 얹으면 구현이 끝난다. 1970년대 GLIM 소프트웨어가 그 작은 메모리로 온갖 모형을 돌릴 수 있었던 이유다.

계산 관점에서 짚을 것들.

  • 정준연결이면 dμ/dη=V(μ)d\mu/d\eta = V(\mu) 이므로 관측정보와 기대정보가 같아진다. 즉 피셔 스코어링 = 뉴턴-랩슨이고, 로그가능도가 오목하므로 수렴은 사실상 보장된다. 비정준연결에서는 둘이 갈라지고, 뉴턴법의 헤세가 준정부호가 아닐 수 있어 오히려 피셔 스코어링이 더 안정적이다.
  • X⊤WXX^\top W X 를 명시적으로 만들어 역행렬을 구하지 마라. 조건수가 제곱된다. wi\sqrt{w_i} 로 스케일한 설계행렬의 QR 분해로 푸는 것이 표준이며, 실제로 R의 glm.fit 이 그렇게 한다.
  • 수렴은 대개 4~8회. 그보다 오래 걸리거나 가중치가 0/무한으로 발산하면 자료 쪽 사고(분리, 완전예측, 결측 범주)를 의심해야 한다.
  • 초기값은 μi(0)\mu_i^{(0)} 를 yiy_i 근처에서 정의역 안으로 살짝 밀어 넣고(예: 이항에서 (yi+0.5)/2(y_i+0.5)/2) 거기서 η\eta 를 역산하는 것이 국룰이다.

로지스틱 회귀에서 완전분리(어떤 초평면이 두 클래스를 완벽히 가르는 경우)가 일어나면 최대가능도는 무한대에서만 달성되어 β^\hat\beta 가 발산한다. 알고리즘 버그가 아니라 자료가 최대가능도추정을 허용하지 않는 것이며, 표준오차가 수천으로 찍히는 출력이 그 신호다. 처방은 벌점화(Firth의 편향보정 벌점, 능형회귀식 ℓ2\ell_2 벌점)나 베이즈 사전분포지, 반복 횟수를 늘리는 게 아니다.

4. 이탈도와 적합도[편집]

GLM의 잔차제곱합에 해당하는 양이 이탈도(deviance)다. 관측 하나마다 모수를 하나씩 주어 μ^i=yi\hat\mu_i = y_i 로 맞춘 포화모형을 기준선으로 잡고, 거기서 얼마나 로그가능도를 잃었는지를 잰다.

D=2ϕ{ℓ(포화)−ℓ(β^)}D = 2\phi\left\{\ell(\text{포화}) - \ell(\hat\beta)\right\}

정규분포에서는 DD 가 정확히 잔차제곱합(RSS)이 된다. 다른 분포에서는 이런 꼴이다.

DPoisson=2∑i{yilog⁡yiμ^i−(yi−μ^i)},DGamma=2∑i{yi−μ^iμ^i−log⁡yiμ^i}D_{\text{Poisson}} = 2\sum_i \left\{ y_i \log\frac{y_i}{\hat\mu_i} - (y_i - \hat\mu_i)\right\}, \qquad D_{\text{Gamma}} = 2\sum_i \left\{ \frac{y_i-\hat\mu_i}{\hat\mu_i} - \log\frac{y_i}{\hat\mu_i}\right\}

쓸모는 두 갈래다. 첫째, 중첩모형 비교. ϕ\phi 가 알려져 있으면 이탈도 차이가 점근적으로 χΔp2\chi^2_{\Delta p} 를 따라 우도비 검정이 된다. 이건 잘 작동한다. 둘째, 절대 적합도. 잔차 이탈도를 자유도와 비교해 ”D≈n−pD \approx n-p 면 잘 맞는 것”이라고 읽는 관행이 있는데 — 여기가 함정이다. 잔차 이탈도의 χ2\chi^2 근사는 ϕ→0\phi \to 0 이나 이항의 시행수 m→∞m \to \infty 같은 조건에서 성립하지, n→∞n \to \infty 로는 성립하지 않는다. 관측마다 yi∈{0,1}y_i \in \{0,1\} 인 로지스틱 회귀에서 잔차 이탈도로 적합도를 판정하는 것은 근거가 없다.2

잔차도 여러 종류다. 피어슨 잔차 (yi−μ^i)/V(μ^i)(y_i-\hat\mu_i)/\sqrt{V(\hat\mu_i)} 는 계산이 쉽지만 비대칭이 심하고, 이탈도 잔차는 정규성에 더 가깝다. 계수자료처럼 이산성이 강하면 둘 다 잔차산점도가 줄무늬로 보여 눈으로 읽기 어려운데, 이때는 무작위화 분위수 잔차(randomized quantile residual)가 현실적이다.

5. 과산포와 준가능도[편집]

포아송을 가정하면 Var⁡(y)=μ\operatorname{Var}(y) = \mu 로 분산이 평균에 못 박힌다. 그런데 실제 계수자료는 관측되지 않은 이질성 때문에 분산이 평균보다 큰 경우가 압도적으로 많다. 이것이 과산포(overdispersion)다. 무시하면 점추정 β^\hat\beta 는 (평균모형이 맞다면) 그럭저럭 살아남지만 표준오차가 심하게 과소평가되어, 아무 관계 없는 변수가 p<0.001p<0.001 로 유의하게 나온다. GLM 실무에서 가장 자주 나는 사고다.

처방은 크게 셋이다.

  • 산포모수 도입. Var⁡(y)=ϕ V(μ)\operatorname{Var}(y)=\phi\,V(\mu) 로 두고 ϕ^=X2/(n−p)\hat\phi = X^2/(n-p) (피어슨 카이제곱 기반)로 추정한 뒤, 모든 표준오차에 ϕ^\sqrt{\hat\phi} 를 곱한다. 점추정은 그대로다.
  • 분포를 바꾼다. 음이항(감마-포아송 혼합)이면 V(μ)=μ+μ2/κV(\mu)=\mu+\mu^2/\kappa 로 이차 분산함수를 얻는다. 과산포의 원인이 잠재 이질성이라는 서사가 있으면 이쪽이 정직하다.
  • 준가능도. 웨더번(1974)의 관찰은 급진적이다. IRLS를 돌리는 데 실제로 필요한 것은 평균 μ(β)\mu(\beta) 와 분산함수 V(μ)V(\mu) 뿐이고, 완전한 확률분포는 필요 없다. 그래서 다음 준스코어를 0으로 두는 추정방정식만 정의한다.
U(β)=∑i(yi−μi)ϕV(μi)∂μi∂β=0U(\beta) = \sum_i \frac{(y_i-\mu_i)}{\phi V(\mu_i)}\frac{\partial \mu_i}{\partial \beta} = 0

평균모형만 옳으면 β^\hat\beta 는 일치추정량이고, 분산함수가 틀려도 샌드위치 분산으로 표준오차를 고칠 수 있다. 대신 대가가 있다. 가능도가 아니므로 AIC를 그대로 쓸 수 없고(그래서 ϕ^\hat\phi 로 나눈 QAIC를 쓴다), 우도비 검정도 스케일 보정이 필요하다. 아카이케 정보기준을 준포아송 출력에 그대로 적용해 모형을 고르는 실수가 여기서 나온다.

반대 방향의 과소산포도 존재한다(예: 사건이 규칙적으로 간격을 두는 경우). 드물지만 있으면 검정이 보수적으로 변한다. 그리고 계수자료에서 0이 유난히 많은 것은 과산포가 아니라 0-팽창 문제일 수 있어서, 처방이 다르다.

6. 확장[편집]

  • 반복측정·군집자료: 관측이 독립이 아니면 GLM의 표준오차가 무너진다. 주변모형이면 일반화 추정방정식(GEE), 개체별 효과를 모형화하려면 일반화 선형 혼합모형(GLMM)으로 간다. GLMM은 적분이 닫히지 않아 라플라스 근사나 적응 구적, 몬테카를로 방법이 필요하고, 여기서부터는 IRLS 한 방으로 끝나지 않는다.
  • 비모수 확장: 선형예측자를 ∑jfj(xj)\sum_j f_j(x_j) 로 바꾼 것이 일반화 가법모형(GAM)이다.
  • 정규화: ℓ1\ell_1 벌점을 붙이면 라쏘 로지스틱 회귀가 되고, 좌표 하강법으로 IRLS 안쪽 최소제곱을 대체해 푼다.
  • 기계학습과의 접점: 소프트맥스 분류기는 다항 로짓 GLM 그 자체다. 심층 학습의 마지막 층 + 교차엔트로피 손실 조합은 “GLM의 설계행렬을 신경망이 학습한 표현으로 바꾼 것”으로 읽을 수 있다.

7. 관련 문서[편집]

8. Footnotes[편집]

  1. 이 차이를 한 줄로 외우면 이렇다. 변환회귀는 E[g(y)]=x⊤β\mathbb{E}[g(y)] = x^\top\beta, GLM은 g(E[y])=x⊤βg(\mathbb{E}[y]) = x^\top\beta. 젠센 부등식 때문에 둘은 절대 같지 않다. 로그를 씌워 회귀한 뒤 지수를 다시 씌우면 평균이 아니라 중앙값 근처를 추정하게 되는 이유이기도 하다. ↩

  2. 그럼에도 출력에 “Residual deviance: 812.3 on 787 degrees of freedom”이 찍혀 있으면 사람은 반드시 두 숫자를 비교한다. 소프트웨어가 나란히 인쇄하기 때문이다. UI가 통계학을 이긴 대표 사례. ↩