로지스틱 회귀

1. 개요[편집]

로지스틱 회귀 Logistic Regression
모형	$y \sim \mathrm{Bernoulli}(p)$, $\ \mathrm{logit}(p) = x^\top\beta$
연결함수	로짓 = 베르누이의 정준연결
손실	음의 로그가능도 = 이진 교차엔트로피
목적함수 성질	볼록 (헤세 $=X^\top W X \succeq 0$)
표준 적합	IRLS = 피셔 스코어링 = 뉴턴법
이름	Berkson (1944), "logit"
대표 사고	완전분리 → MLE 발산

로지스틱 회귀(logistic regression)는 이진 반응 $y \in \{0,1\}$ 의 성공확률 $p$ 를 로짓 변환한 값이 설명변수의 선형결합과 같다고 놓는 회귀 모형이다.

$$\log \frac{p(x)}{1-p(x)} = x^\top \beta \qquad\Longleftrightarrow\qquad p(x) = \sigma(x^\top\beta) = \frac{1}{1+e^{-x^\top\beta}}$$

이름에 “회귀”가 붙어 있지만 하는 일은 분류다. 정확히 말하면 분류 라벨이 아니라 확률을 내놓고, 라벨은 그 확률에 임계값을 걸어 사용자가 만든다. 이 구분이 실무에서 생각보다 중요하다 — 임계값 0.5는 손실이 대칭일 때만 최적이고, 불량 검출처럼 오탐과 미탐의 값이 다르면 임계값은 비용비로부터 나와야 한다.

이 문서는 이진·다항 로지스틱 모형 자체와 그 적합·병리에 집중한다. 지수족·연결함수·이탈도·과산포 같은 일반론은 상위 문서 일반화 선형 모형에 있고, 다항 판본의 출력 함수 자체는 소프트맥스 함수 문서를 참고.

2. 로짓 링크와 베르누이 가능도[편집]

$y_i \in \{0,1\}$ 이 독립이고 $p_i = \sigma(x_i^\top\beta)$ 라면 로그가능도는

$$\ell(\beta) = \sum_{i=1}^{n}\Big[ y_i \log p_i + (1-y_i)\log(1-p_i) \Big] = \sum_{i=1}^{n}\Big[ y_i\, x_i^\top\beta - \log\big(1+e^{x_i^\top\beta}\big)\Big]$$

오른쪽 형태가 로짓이 정준연결이라는 사실의 정체다. 베르누이를 지수족 표준형으로 쓰면 정준모수가 정확히 로그오즈 $\theta = \log\{p/(1-p)\}$ 이고, $b(\theta)=\log(1+e^\theta)$ 이므로 $\ell$ 이 $\beta$ 에 대해 “선형항 − 볼록항” 꼴로 깔끔하게 떨어진다. 기계학습 쪽에서 부르는 이진 교차엔트로피 손실은 $-\ell/n$ 과 같은 것이며, 이름만 다르다.

기울기와 헤세는 이렇다.

$$\nabla\ell = X^\top (y - p), \qquad \nabla^2\ell = -X^\top W X, \quad W = \mathrm{diag}\big(p_i(1-p_i)\big)$$

기울기가 “관측 − 예측”의 가중합이라는 것은 정준연결의 일반 성질이고, 적합된 모형에서는 $X^\top(y-\hat p)=0$ 이 성립한다. 즉 절편이 있으면 예측확률의 합이 실제 성공 횟수와 정확히 일치한다 — 로지스틱 회귀가 별도 보정 없이도 평균적으로는 잘 보정(calibrated)되어 있는 이유다.¹

3. 볼록성 — 좋은 소식[편집]

$W$ 의 대각원소 $p_i(1-p_i)$ 는 항상 0 이상이므로 $X^\top W X \succeq 0$ 이고, 따라서 $-\ell$ 은 볼록함수다. 여기서 나오는 결론들이 실무의 안정감을 만든다.

• 국소최소 = 전역최소. 초기값 걱정을 하지 않아도 된다. 신경망에서 초기화 방식으로 논쟁하는 것과 대조적이다.
• $X$ 가 완전 열계수(full column rank)이고 $0<p_i<1$ 이면 $X^\top W X \succ 0$ 이라 엄격 볼록이고 해가 유일하다. 이 두 전제가 깨질 때가 곧 뒤에 나올 사고들이다.
• 볼록이라 볼록 최적화의 도구를 그대로 쓸 수 있다. $\ell_1$ 벌점을 붙여도 여전히 볼록이라 라쏘 로지스틱을 좌표 하강법으로 안정적으로 풀 수 있다.

다만 볼록하다고 유계인 것은 아니다. 볼록함수가 무한대에서 하한에 접근하면 최소점이 존재하지 않는다. 완전분리가 정확히 그 상황이다.

4. IRLS인가 경사하강인가[편집]

$\nabla\ell=0$ 은 $\beta$ 에 대해 비선형이라 반복법이 필요하다. 표준은 반복 가중최소제곱(IRLS)이다.

$$\beta^{(t+1)} = \big(X^\top W X\big)^{-1} X^\top W z, \qquad z = X\beta^{(t)} + W^{-1}(y-p)$$

정준연결이므로 관측정보와 피셔 정보가 같고, 따라서 IRLS = 피셔 스코어링 = 뉴턴-랩슨법 이 정확히 일치한다. 유도 과정은 일반화 선형 모형 문서에 있다.

두 접근의 성격 차이가 문제 규모에 따라 승자를 바꾼다.

	IRLS(뉴턴)	경사하강
수렴 차수	이차 — 해 근처에서 유효자릿수가 매 반복 두 배	일차 — 오차가 상수배씩 감소
반복 횟수	보통 4~8회	수백~수만 회, 학습률에 민감
반복당 비용	$O(np^2 + p^3)$	$O(np)$
스케일 민감도	없음 (아핀 불변)	큼 — 표준화 안 하면 지그재그
메모리	$p\times p$ 헤세 행렬 필요	기울기 벡터만

경사하강의 수렴이 느린 이유는 조건수에 있다. 볼록·평활 문제에서 최급강하의 수렴률은 대략 $\big(\frac{\kappa-1}{\kappa+1}\big)^2$ 배씩인데, $\kappa$ 는 $X^\top W X$ 의 조건수다. 변수 스케일이 제각각이면 $\kappa$ 가 $10^6$ 을 넘고, 그러면 사실상 기지 않는다. 뉴턴법은 헤세로 좌표계를 아예 백색화해 버리므로 이 문제가 원천적으로 없다 — 설명변수를 몇 배로 늘려도 반복 궤적이 그대로다.

그렇다고 IRLS가 언제나 답은 아니다. $p$ 가 수만~수백만인 텍스트·유전체 자료에서는 $p\times p$ 행렬을 만들 수도 없다. 이때는 준-뉴턴법(L-BFGS)이 표준이고, $n$ 이 거대하면 확률적 경사하강법으로 간다. 실제로 통계 패키지의 glm은 IRLS, 기계학습 라이브러리의 로지스틱 회귀 기본 솔버는 L-BFGS 또는 좌표하강인 것이 이 경계선을 그대로 반영한다.

수치 구현에서 지킬 것 하나. $X^\top W X$ 를 명시적으로 만들어 역행렬을 구하지 마라 — 조건수가 제곱된다. $\sqrt{w_i}$ 로 스케일한 설계행렬의 QR 분해로 푸는 것이 표준이며, $p_i$ 가 0이나 1에 붙으면 $w_i$ 가 언더플로하므로 하한으로 잘라 준다.

5. 완전분리 — MLE가 발산한다[편집]

로지스틱 회귀의 가장 유명한 병리. 어떤 초평면이 두 클래스를 완벽하게 가르면($x_i^\top b > 0 \Leftrightarrow y_i=1$ 인 $b$ 가 존재하면) $\beta = c\,b$ 로 두고 $c\to\infty$ 를 보낼 때 모든 $p_i$ 가 정답 쪽 0/1로 수렴하며 $\ell \to 0$ 으로 단조 증가한다. 상한에 도달하는 유한한 $\hat\beta$ 가 없다. 즉 최대가능도추정량이 존재하지 않는다.

• 완전분리(complete separation): 위처럼 완벽히 갈리는 경우. 관련 계수 전부가 발산.
• 준완전분리(quasi-complete separation): 초평면 위에 놓인 관측이 있어 등호가 섞이는 경우. 일부 계수만 발산한다. 알버트와 앤더슨(1984)이 이 분류와 판정 조건을 정리했다.

증상은 특징적이다. 계수 추정값이 $\pm 10$ 을 넘어 계속 커지고, 표준오차가 수천~수만으로 폭발하며, 반복 횟수 상한에서 멈추고, 그런데도 이탈도는 0에 가깝다. 여기서 “수렴 안 됐네, 반복 횟수를 늘리자”는 정확히 틀린 대응이다. 알고리즘 버그가 아니라 자료가 유한한 MLE를 허용하지 않는 것이다.

언제 생기나. 표본이 작고 설명변수가 많을 때, 범주형 변수의 어떤 수준에서 결과가 전부 0이거나 전부 1일 때(가장 흔하다), 그리고 실수로 반응변수를 예측변수에 넣었을 때. 마지막 경우는 웃을 일이 아니라 실제로 자주 일어난다.

처방은 전부 “무한대로 가는 것을 막는 벌점”이다.

• $\ell_2$ 벌점. $-\ell(\beta) + \frac{\lambda}{2}\lVert\beta\rVert^2$ 는 강볼록이라 분리 여부와 무관하게 유일한 유한 해가 존재한다. 능형회귀의 논리 그대로이고, 베이즈 관점에서는 $\beta$ 에 정규 사전분포를 준 MAP 추정이다. $\lambda$ 는 교차검증으로 고른다.
• 퍼스(Firth) 벌점. 로그가능도에 $\frac{1}{2}\log\det \mathcal{I}(\beta)$ 를 더한다. 원래는 MLE의 $O(1/n)$ 편향을 제거하려고 제안된 것인데(Firth 1993), 부수 효과로 분리 상황에서도 항상 유한한 추정값을 준다. 벌점항이 제프리스 사전분포의 로그와 같아서 사전분포 관점의 해석도 붙는다. 소표본 임상연구에서 사실상 표준 처방.²
• 정확 로지스틱 회귀 / 베이즈. 조건부 정확검정이나 약한 사전분포(예: 코시)로 정규화한 베이즈 추정도 같은 목적을 달성한다.

여기서 재미있는 연결 하나. 벌점 없이 분리된 자료에 경사하강을 돌리면 $\lVert\beta^{(t)}\rVert$ 는 $\log t$ 로 발산하지만 방향 $\beta^{(t)}/\lVert\beta^{(t)}\rVert$ 는 $\ell_2$ 최대마진 분리 초평면으로 수렴한다. 즉 정칙화를 안 넣어도 최적화 알고리즘 자체가 하드마진 서포트 벡터 머신과 같은 방향을 고르는데, 이것이 과매개변수 모형의 암묵적 정칙화(implicit bias)를 설명하는 대표 사례로 자주 인용된다.

6. 오즈비 해석[편집]

계수의 의미가 명시적인 것이 로지스틱 회귀가 의학·역학에서 살아남은 이유다. $x_j$ 만 1 올리면 로그오즈가 $\beta_j$ 만큼 오르므로

$$\mathrm{OR}_j = \frac{\text{오즈}(x_j+1)}{\text{오즈}(x_j)} = e^{\beta_j}$$

즉 $e^{\beta_j}$ 가 오즈비(odds ratio)다. $\beta_j=0.69$ 면 오즈가 두 배. 주의할 것 세 가지.

• 오즈비 ≠ 위험비. 사건이 드물면($p\lesssim 0.1$) 둘이 비슷하지만, 흔한 사건에서는 오즈비가 위험비를 과장한다. “위험이 3배”라고 번역하면 틀린 경우가 많다.
• 비붕괴성(non-collapsibility). 무관한 공변량을 모형에 추가하기만 해도 오즈비의 크기가 변한다. 교란이 없어도 그렇다. 선형회귀 계수의 직관을 그대로 가져오면 안 되는 지점.
• 사례-대조 연구에서의 특권. 결과를 기준으로 표본을 뽑으면 절편만 왜곡되고 기울기 계수는 편향되지 않는다. 희귀질환 연구가 로지스틱 회귀를 쓰는 근본 이유이며, 클래스 불균형 자료를 재표본추출로 균형 맞춘 뒤 절편만 보정하는 실무 관행도 같은 성질에 기대고 있다.

7. 다항 로지스틱과 소프트맥스[편집]

범주가 $K$ 개면 각 범주에 로짓을 하나씩 준다.

$$P(y=k \mid x) = \frac{\exp(x^\top\beta_k)}{\sum_{j=1}^{K}\exp(x^\top\beta_j)}$$

이것이 다항 로지스틱 회귀(multinomial logit)이며 출력 함수가 곧 소프트맥스 함수다. 모든 $\beta_k$ 에 같은 벡터를 더해도 값이 변하지 않으므로 그대로는 식별되지 않는다 — 통계 쪽에서는 기준범주를 잡아 $\beta_K=0$ 으로 고정하고, 기계학습 쪽에서는 그냥 과매개변수인 채로 두고 $\ell_2$ 벌점이 알아서 유일한 해를 고르게 한다.

로그가능도는 여전히 볼록하고, 헤세는 소프트맥스의 야코비안 $\mathrm{diag}(p)-pp^\top$ 을 블록으로 갖는 준양정부호 행렬이다. 다만 크기가 $Kp \times Kp$ 라 뉴턴법의 매력이 급격히 떨어져, 실무에서는 L-BFGS나 확률적 방법으로 간다.

순서가 있는 범주(불량 등급 1~5)에는 누적로짓 모형(비례오즈)을, 선택지마다 속성이 다른 상황(교통수단 선택)에는 조건부 로짓을 쓴다. 후자는 이산 선택 모형 문서에서 다루며, 다항 로짓의 유명한 약점인 무관한 대안의 독립성(IIA) 문제도 거기에 있다.³

8. GLM 안에서의 위치, 그리고 딥러닝[편집]

로지스틱 회귀는 “베르누이 + 로짓 연결”인 일반화 선형 모형의 한 사례다. 연결함수를 표준정규 분위수 함수로 바꾸면 프로빗 모형, 여로그로그로 바꾸면 비대칭 용량-반응 모형이 된다. 계수 크기는 달라져도(로짓 ≈ 1.6 × 프로빗) 적합도는 거의 구분되지 않는 것이 보통이다 — 꼬리에서만 갈린다. 로짓이 기본값이 된 것은 오즈비 해석과 사례-대조 성질 때문이지 적합도 때문이 아니다.

한편 심층 학습 분류기의 마지막 층은 문자 그대로 다항 로지스틱 회귀다. Linear(d, K) 다음에 소프트맥스와 교차엔트로피를 붙이는 그 조합이 정확히 위의 다항 로짓이며, 다른 점은 설계행렬 $X$ 가 고정된 관측 변수가 아니라 신경망이 학습한 표현이라는 것뿐이다. 그래서 로지스틱 회귀의 병리도 그대로 따라온다.

• 클래스가 선형분리 가능한 표현이 학습되면 로짓 노름이 계속 커진다. 딥넷의 과확신(overconfidence) 문제의 뿌리 중 하나이며, 라벨 스무딩이나 온도 스케일링이 사후 처방으로 쓰인다.
• 가중치 감쇠(weight decay)는 곧 $\ell_2$ 벌점이고, 위에서 본 “분리 시 해의 존재성 회복”과 같은 역할을 한다.
• 확률을 그대로 믿으려면 보정 곡선을 봐야 한다. 로지스틱 회귀는 정의상 평균 보정이 맞지만, 심층 분류기는 그렇지 않다.

관점을 하나 더. $p(x\mid y)$ 를 정규분포로 가정하고 베이즈 정리를 적용하면 사후확률이 정확히 로지스틱 형태가 되는데, 그 경로로 얻는 것이 선형판별분석이다. 즉 LDA와 로지스틱 회귀는 같은 함수족을 생성모형 경로와 판별모형 경로로 각각 적합한 것이다. 가정이 맞으면 LDA가 통계적으로 효율적이고, 틀리면 가정을 덜 하는 로지스틱 쪽이 튼튼하다. 최대 엔트로피 원리 관점에서는 “1차 적률 제약만 두고 엔트로피를 최대화한 조건부 분포”가 로짓 모형이라는 유도도 가능하다.

9. 시뮬레이션 현장에서[편집]

해석 엔지니어가 로지스틱 회귀를 만나는 자리는 대개 이진 결과를 내놓는 시뮬레이션의 대리모형이다.

• 신뢰성 해석의 분류 대리모형. 파괴/생존이라는 이진 라벨만 있는 상황에서 한계상태면을 확률적으로 근사한다. 결정경계 근처를 집중적으로 표본추출하는 능동학습과 궁합이 좋다. 다만 파괴확률 $10^{-6}$ 짜리 문제에서는 라벨이 극단적으로 불균형해 로지스틱 하나로는 부족하고, 대개 중요도 표본추출과 조합한다.
• 수렴/발산 예측. 격자 품질 지표·완화계수·CFL 수를 입력으로, 해석이 수렴했는지를 라벨로 놓고 적합하면 계수가 그대로 “어떤 설정이 위험한지”의 서열이 된다. 대리 모델 중에서 해석 가능성이 필요한 자리에 여전히 쓰인다.
• 품질/불량 판정. 공정 센서 요약통계로 불량 확률을 예측하는 모형. 여기서 클래스 불균형과 임계값 선택이 정확도 대신 정밀도-재현율로 평가되어야 하는 이유는 이상치 탐지 문서에서 다룬다.

실무 체크리스트는 짧다. 변수는 표준화하고, 범주형 수준별 표 셀이 0인지 먼저 보고(분리의 주범), 계수 대신 오즈비와 신뢰구간을 보고, 확률 예측을 쓸 거면 ROC 곡선만 보지 말고 보정 곡선을 같이 그린다.

10. 관련 문서[편집]

• 일반화 선형 모형 · 지수족 · 최대우도추정
• 소프트맥스 함수 · 이산 선택 모형
• 뉴턴-랩슨법 · 준-뉴턴법 · 확률적 경사하강법 · 좌표 하강법
• 능형회귀 · 라쏘 · 과적합 · 교차검증
• 볼록 최적화 · 피셔 정보 · 최대 엔트로피 원리
• 심층 학습 · 이상치 탐지 · 신뢰성 해석

11. Footnotes[편집]

1. 정확히는 절편이 모형에 있어야 이 등식이 성립한다. “우리 모형이 예측한 불량률 합이 실제 불량 개수와 딱 맞네요”라며 감탄하는 사람이 가끔 있는데, 그건 모형이 잘 맞아서가 아니라 정규방정식이 그렇게 생겨서다. 감탄은 다른 데서 하자. ↩

2. “로짓”이라는 단어를 만든 사람은 조지프 버크슨(1944)이고, 프로빗을 만든 블리스에 대한 일종의 응수였다는 이야기가 전해진다. 통계학 용어의 상당수가 이런 식으로 옆 학파를 향한 견제구에서 태어났다. 참고로 퍼스 벌점은 1993년 논문인데, 정작 “분리 문제를 푼다”는 용도로 유명해진 것은 한참 뒤인 2002년 하인체-슈메르의 임상 논문 이후다. ↩

3. 빨간 버스/파란 버스 예제. 자동차와 빨간 버스가 반반이던 시장에 색만 다른 파란 버스를 넣으면, 다항 로짓은 세 대안의 점유율을 1/3씩으로 예측한다. 색깔이 자동차 이용자를 빼앗아 온다는 뜻인데, 상식적으로 버스 두 대가 원래 버스 몫을 나눠 가져야 맞다. 대안 간 상관을 못 보는 IIA 가정의 대가다. ↩