레벤버그-마쿼트 방법

편집 역사 토론
수치해석 최적설계 마지막 수정: 2026-07-20 04:17:40

1. 개요[편집]

잘 나갈 땐 가우스-뉴턴처럼 과감하게, 헤맬 땐 경사하강처럼 조심스럽게.

레벤버그-마쿼트 방법(Levenberg-Marquardt algorithm, LMA)은 비선형 최소자승 문제를 푸는 반복 알고리즘으로, 가우스-뉴턴법의 빠른 수렴성과 경사하강법의 안정적인 전역성을 하나의 감쇠 계수 λ\lambda로 매끄럽게 이어 붙인 방법이다. 잔차의 제곱합을 최소화하는 문제, 즉 곡선 적합·역문제·센서 보정처럼 “모델을 데이터에 맞추는” 거의 모든 상황에서 사실상 표준 도구로 쓰인다. 별명은 감쇠 최소자승법(damped least squares).

LMA가 사랑받는 이유는 단순하다. 가우스-뉴턴법은 좋은 초기값에서는 빛의 속도로 수렴하지만 나쁜 초기값에서는 발산하기 일쑤고, 경사하강법은 어디서 출발하든 안 터지지만 답답할 정도로 느리다. LMA는 상황에 따라 두 성격을 자동으로 오가며, 사용자가 초기값을 대충 던져도 웬만하면 답까지 데려다준다.

2. 비선형 최소자승 문제[편집]

모델 f(x;β)f(x; \boldsymbol{\beta})를 데이터 {(xi,yi)}\{(x_i, y_i)\}에 맞춘다고 하자. 잔차 ri(β)=yi−f(xi;β)r_i(\boldsymbol{\beta}) = y_i - f(x_i; \boldsymbol{\beta})를 정의하면, 목적함수는 잔차 제곱합이다.

S(β)=∑iri(β)2=∥r(β)∥2S(\boldsymbol{\beta}) = \sum_i r_i(\boldsymbol{\beta})^2 = \|\mathbf{r}(\boldsymbol{\beta})\|^2

이걸 뉴턴-랩슨법으로 정직하게 풀려면 헤세 행렬이 필요한데, 2차 미분 계산이 비싸고 불안정하다. 최소자승 구조의 묘미는 여기서 나온다. 자코비안 행렬 J\mathbf{J} (Jij=∂ri/∂βjJ_{ij} = \partial r_i / \partial \beta_j)만 있으면 헤세 행렬을 J⊤J\mathbf{J}^\top \mathbf{J}로 근사할 수 있다. 이 1차 정보만으로 2차 수렴에 가까운 속도를 뽑아내는 것이 가우스-뉴턴법이다.

3. 두 방법을 잇는 감쇠 계수[편집]

가우스-뉴턴 갱신식은 다음 정규방정식을 푼다.

(J⊤J) Δβ=J⊤r(\mathbf{J}^\top \mathbf{J})\,\Delta\boldsymbol{\beta} = \mathbf{J}^\top \mathbf{r}

문제는 J⊤J\mathbf{J}^\top \mathbf{J}가 특이(singular)에 가까우면(악조건, 조건수가 큼) Δβ\Delta\boldsymbol{\beta}가 터무니없이 커져 발산한다는 것이다. 레벤버그(1944)는 대각선에 λ\lambda를 더해 이를 정칙화하자고 제안했고, 마쿼트(1963)는 그 λ\lambda를 대각 성분에 비례해 곱하도록 다듬었다.

(J⊤J+λ diag(J⊤J)) Δβ=J⊤r(\mathbf{J}^\top \mathbf{J} + \lambda\,\mathrm{diag}(\mathbf{J}^\top \mathbf{J}))\,\Delta\boldsymbol{\beta} = \mathbf{J}^\top \mathbf{r}

이 한 줄에 알고리즘의 정신이 다 들어 있다.

  • λ→0\lambda \to 0: 식은 순수한 가우스-뉴턴 갱신이 된다. 곡률 정보를 최대한 활용해 큰 보폭으로 과감하게 나아간다.
  • λ→∞\lambda \to \infty: λ diag\lambda\,\mathrm{diag} 항이 지배해 Δβ≈1λJ⊤r\Delta\boldsymbol{\beta} \approx \frac{1}{\lambda}\mathbf{J}^\top\mathbf{r}, 즉 경사하강법의 작은 스텝이 된다. 방향은 확실히 목적함수를 낮추지만 보폭이 짧다.

마쿼트가 I\mathbf{I} 대신 diag(J⊤J)\mathrm{diag}(\mathbf{J}^\top\mathbf{J})를 쓴 것은 각 매개변수의 스케일 차이를 보정하기 위함이다. 어떤 파라미터는 나노 단위, 어떤 파라미터는 기가 단위일 때, 단순히 λI\lambda\mathbf{I}를 더하면 스케일 작은 방향만 과하게 억눌린다.1

4. λ 적응 전략[편집]

λ\lambda는 고정값이 아니라 매 반복 살아 움직인다. 갱신을 시도한 뒤 목적함수가 실제로 줄었는지 보고 조절한다.

  1. 현재 λ\lambda로 Δβ\Delta\boldsymbol{\beta}를 계산하고 S(β+Δβ)S(\boldsymbol{\beta} + \Delta\boldsymbol{\beta})를 평가한다.
  2. 줄었으면: 갱신을 받아들이고 λ\lambda를 (예: 10으로 나눠) 줄인다. 더 가우스-뉴턴답게, 더 과감하게 간다.
  3. 안 줄었으면: 갱신을 버리고 λ\lambda를 (예: 10을 곱해) 키운다. 더 경사하강답게, 더 조심스럽게 물러난다.

이 되먹임 덕분에 초반 험한 지형에서는 λ\lambda가 커져 안전하게 기어가다가, 최적해 부근의 매끈한 골짜기에 들어서면 λ\lambda가 작아져 2차 수렴 속도로 정착한다. 사용자가 학습률 같은 걸 손으로 튜닝할 필요가 거의 없다는 점이 실용적으로 결정적이다.2

초기 λ\lambda는 대개 J⊤J\mathbf{J}^\top\mathbf{J} 대각 성분의 대표값에 작은 상수를 곱해 잡고, 배율은 상향·하향에 각각 다른 값(예: 상향 ×\times3, 하향 ÷\div2)을 두는 비대칭 전략이 수렴을 더 매끄럽게 만든다는 것이 경험칙이다. 또한 갱신을 거부할 때 λ\lambda만 키우고 자코비안 재계산은 생략하면, 비싼 미분 평가 없이 스텝만 다시 시도할 수 있어 계산량을 아낀다. 이런 세부 튜닝이 라이브러리마다 조금씩 다르지만, 큰 그림은 언제나 “성공하면 대담하게, 실패하면 소심하게”라는 한 문장으로 요약된다.

5. 신뢰 영역 해석[편집]

LMA를 바라보는 더 현대적인 관점은 신뢰 영역 방법이다. λ\lambda를 더한다는 것은 사실 갱신 벡터의 크기를 어떤 반경 Δ\Delta 안으로 제한하는 것과 수학적으로 동치다. 즉 “가우스-뉴턴 2차 모델을 반경 Δ\Delta인 신뢰 구(球) 안에서만 믿겠다”는 제약 최소화 문제의 라그랑주 승수가 바로 λ\lambda다.

이 관점에서 보면 λ\lambda 조절은 신뢰 반경 조절과 같다. 모델 예측과 실제 감소가 잘 맞으면(ρ\rho가 크면) 반경을 넓히고(λ\lambda 축소), 어긋나면 반경을 좁힌다(λ\lambda 확대). 그래서 LMA는 “신뢰 영역 방법을 최소자승 문제에 특화한 고전적 구현”으로 이해하는 것이 정확하다.3 두 문서를 함께 읽으면 감쇠 계수의 정체가 훨씬 선명해진다.

6. 활용과 한계[편집]

LMA가 실제로 굴러가는 곳은 넓다.

  • 곡선 적합: 지수 감쇠, 가우시안 피크, 반응 속도 상수 추정 등 실험 데이터 회귀의 기본기.
  • 역문제와 보정: 관측값으로부터 물성·경계 조건을 역산하거나, 센서·카메라 캘리브레이션(예: 렌즈 왜곡, 번들 조정)에서 표준.
  • 머신러닝: 소·중규모 신경망 훈련에 쓰이기도 한다. 다만 파라미터가 수백만 개면 J⊤J\mathbf{J}^\top\mathbf{J}를 만들고 푸는 비용이 폭발해 부적합하다.

한계도 분명하다. LMA는 어디까지나 지역 최적화라, 잔차 지형에 골짜기가 여러 개면 초기값이 결정하는 지역 최소값에 빠진다. 전역 탐색이 필요하면 유전 알고리즘이나 입자 군집 최적화로 좋은 출발점을 잡은 뒤 LMA로 마무리하는 하이브리드가 흔한 처방이다. 또 자코비안을 해석적으로 못 구하면 유한차분이나 자동 미분으로 대신하는데, 유한차분은 정확도와 비용 모두에서 자동 미분에 밀린다.

7. 관련 문서[편집]

8. Footnotes[편집]

  1. 그래서 마쿼트 버전을 “스케일 불변에 가까운 레벤버그”라고 부르기도 한다. 실무에서 파라미터 단위가 제각각인 물리 모델을 다룰 때 이 차이가 수렴 여부를 가른다. 레벤버그 원판만 알고 있으면 “왜 어떤 파라미터는 절대 안 움직이지?”라는 미스터리에 빠지기 쉽다. ↩

  2. 이 자동 튜닝 성격 덕분에 MINPACK의 lmdif/lmder, SciPy의 least_squares, MATLAB의 lsqcurvefit 등 거의 모든 수치 라이브러리가 비선형 최소자승의 기본 백엔드로 LMA를 채택하고 있다. “일단 curve fit”의 국룰이 곧 LMA인 셈. ↩

  3. 역사적으로는 레벤버그·마쿼트가 신뢰 영역 이론보다 먼저 나왔다. 나중에 모레(Moré, 1978)가 LMA를 엄밀한 신뢰 영역 틀 안에서 재정식화하며 수렴 이론을 정비했고, 지금 쓰는 견고한 구현은 대부분 이 계보를 따른다. ↩