레일리 몫

수치해석 계산물리 마지막 수정: 2026-07-30 04:11:07

1. 개요[편집]

레일리 몫 Rayleigh Quotient
정의	$R(\mathbf{x}) = \dfrac{\mathbf{x}^{\mathsf{T}}A\mathbf{x}}{\mathbf{x}^{\mathsf{T}}\mathbf{x}}$
치역(대칭)	$[\lambda_{\min},\ \lambda_{\max}]$
임계점	고유벡터, 임계값 = 고유값
정확도	벡터 오차 $\varepsilon$ → 고유값 오차 $\mathcal{O}(\varepsilon^2)$
대표 정리	쿠랑-피셔 min-max

고유벡터를 대충 알아도 고유값은 정확하게 나온다. 그 “공짜 한 자릿수”를 파는 가게가 레일리 몫이다.

레일리 몫(Rayleigh quotient)은 대칭(에르미트) 행렬 $A$ 와 영이 아닌 벡터 $\mathbf{x}$ 에 대해 정의되는 스칼라 $R(\mathbf{x}) = \mathbf{x}^{\mathsf{T}}A\mathbf{x} / \mathbf{x}^{\mathsf{T}}\mathbf{x}$ 로, 주어진 방향 $\mathbf{x}$ 가 고유벡터라고 가정했을 때 가장 그럴듯한 고유값을 돌려주는 양이다. 이름은 음향학·진동학에서 이 몫으로 기본 진동수를 추정하던 레일리 경(Lord Rayleigh, 1877)에게서 왔다.

정의만 보면 그냥 이차형식을 노름 제곱으로 나눈 것이지만, 고유값 문제의 거의 모든 반복 알고리즘이 이 한 줄 위에 서 있다. 란초스 알고리즘·아놀디 알고리즘·데이비드슨 알고리즘이 공유하는 뼈대인 레일리-리츠 사영도, 양자역학의 변분 원리도, 구조동역학의 레일리 방법도 전부 이 몫의 성질을 우려먹는 것이다. 이 문서는 알고리즘이 아니라 양(quantity) 자체를 다룬다.

2. 정의와 기본 성질[편집]

$A = A^{\mathsf{T}} \in \mathbb{R}^{n \times n}$ 의 고유값을 $\lambda_1 \le \lambda_2 \le \cdots \le \lambda_n$ , 대응하는 정규직교 고유벡터를 $\mathbf{u}_1, \dots, \mathbf{u}_n$ 이라 하자. 임의의 $\mathbf{x} = \sum_i c_i \mathbf{u}_i$ 에 대해

R(\mathbf{x}) = \frac{\sum_i \lambda_i c_i^2}{\sum_i c_i^2}

즉 레일리 몫은 고유값들의 가중평균이며 가중치는 각 고유방향 성분의 제곱이다. 여기서 세 가지가 즉시 따라 나온다.

치역은 정확히 $[\lambda_1, \lambda_n]$ 이다. 최솟값·최댓값이 각각 최소·최대 고유값이고, 그때 $\mathbf{x}$ 는 대응 고유벡터다.
$R(\alpha\mathbf{x}) = R(\mathbf{x})$ — 크기에 무관하므로 사실상 단위구 위에서 정의된 함수다.
$R(\mathbf{x})$ 는 고정된 $\mathbf{x}$ 에 대해 잔차를 최소화하는 스칼라다. 실제로 $\min_{\mu} \|A\mathbf{x} - \mu\mathbf{x}\|_2$ 의 해가 $\mu = R(\mathbf{x})$ 이며(1변수 최소제곱), 이것이 “가장 그럴듯한 고유값”이라는 표현의 정확한 의미다.

비대칭 행렬로 가면 이 몫의 치역은 실수 구간이 아니라 복소평면의 영역이 되는데, 이를 수치 치역(numerical range, field of values)이라 부른다. 퇴플리츠-하우스도르프 정리에 따라 항상 볼록이고 모든 고유값을 품지만, 고유값보다 훨씬 넓을 수 있다. 비정규 행렬에서 “고유값은 얌전한데 시스템이 폭주한다”는 현상의 한 얼굴이다.

3. 임계점이 곧 고유벡터[편집]

레일리 몫의 기울기를 직접 계산하면 이 함수의 정체가 드러난다.

\nabla R(\mathbf{x}) = \frac{2}{\mathbf{x}^{\mathsf{T}}\mathbf{x}}\big(A\mathbf{x} - R(\mathbf{x})\,\mathbf{x}\big)

괄호 안은 정확히 잔차 벡터 $\mathbf{r} = A\mathbf{x} - R(\mathbf{x})\mathbf{x}$ 다. 따라서

\nabla R(\mathbf{x}) = \mathbf{0} \iff A\mathbf{x} = R(\mathbf{x})\,\mathbf{x}

레일리 몫의 임계점 집합 = 고유벡터 집합이고, 임계값 = 고유값이다. 고유값 문제가 제약 없는(정확히는 스케일 불변인) 최적화 문제와 완전히 동치라는 뜻이며, 그래서 고유값을 경사법·공액경사법으로 푸는 것이 가능하다.¹ 최소 고유값은 전역 최소, 최대 고유값은 전역 최대, 나머지 고유값은 전부 안장점이라는 점도 여기서 나온다 — 중간 고유값이 반복법에서 유난히 잡기 어려운 근본 이유다.

4. 오차 제곱 정확도 — 이 문서의 핵심[편집]

$\mathbf{x} = \mathbf{u}_1 + \mathbf{e}$ 이고 $\mathbf{e} \perp \mathbf{u}_1$ , $\|\mathbf{e}\| = \varepsilon$ 라 하자. 위 가중평균 표현에 넣으면

R(\mathbf{x}) - \lambda_1 = \frac{\sum_{i\ge 2}(\lambda_i - \lambda_1)c_i^2}{1 + \varepsilon^2} \;\le\; (\lambda_n - \lambda_1)\,\frac{\varepsilon^2}{1+\varepsilon^2}

고유벡터의 오차가 $\varepsilon$ 이면 고유값의 오차는 $\mathcal{O}(\varepsilon^2)$ 이다. 유효숫자가 한 번에 두 배로 늘어나는 셈이라, 고유벡터를 3자리만 맞춰도 고유값은 6자리가 맞는다. 진동 해석에서 모드 형상을 대충 가정해도 고유진동수 추정치는 쓸 만하게 나오는 현상이 이것이고, 변분법 기반 양자화학 계산이 파동함수보다 에너지가 훨씬 빨리 수렴하는 것도 같은 이유다.

주의할 것은 이 성질이 대칭성에 의존한다는 점이다. 비대칭 행렬에서는 좌·우 고유벡터가 다르고, 우 고유벡터만으로 만든 레일리 몫의 오차는 $\mathcal{O}(\varepsilon)$ 에 그친다. 제곱 정확도를 되찾으려면 좌우 고유벡터를 함께 쓰는 이변수 레일리 몫 $\mathbf{y}^{*}A\mathbf{x}/\mathbf{y}^{*}\mathbf{x}$ 가 필요하다.

잔차만으로 오차를 사후 평가하는 카토-템플(Kato–Temple) 부등식도 같은 구조다. $\|\mathbf{x}\| = 1$ , $\theta = R(\mathbf{x})$ , $\mathbf{r} = A\mathbf{x} - \theta\mathbf{x}$ 이고 $\theta$ 에서 가장 가까운 다른 고유값까지의 간격이 $\delta$ 이면

|\theta - \lambda| \le \frac{\|\mathbf{r}\|^2}{\delta}

여기서도 잔차가 제곱으로 들어간다. 다만 분모에 간격이 있어서, 고유값이 뭉쳐 있으면(축퇴 근처) 이 보증은 급격히 나빠진다.²

5. 쿠랑-피셔 min-max[편집]

레일리 몫을 부분공간 위에서 최대·최소화하면 모든 고유값의 변분적 특징이 나온다. 쿠랑-피셔(Courant–Fischer) 정리는

\lambda_k = \min_{\dim \mathcal{S} = k}\ \max_{\mathbf{0} \ne \mathbf{x} \in \mathcal{S}} R(\mathbf{x}) = \max_{\dim \mathcal{S} = n-k+1}\ \min_{\mathbf{0} \ne \mathbf{x} \in \mathcal{S}} R(\mathbf{x})

라고 말한다. 고유벡터를 전혀 모르고도 $k$ 번째 고유값을 최적화 문제로 정의할 수 있다는 것이 요점이며, 여기서 실용적 따름정리들이 쏟아진다.

코시 인터레이싱: $A$ 에서 행·열 하나를 지운 $(n{-}1)$ 차 주부분행렬의 고유값 $\mu_k$ 는 $\lambda_k \le \mu_k \le \lambda_{k+1}$ 을 만족한다. 부분공간을 좁히면 고유값이 사이에 낀다.
바일 부등식: $\lambda_k(A) + \lambda_1(E) \le \lambda_k(A+E) \le \lambda_k(A) + \lambda_n(E)$ . 대칭 행렬의 고유값은 섭동에 대해 완전히 안정하며, 조건수가 1인 셈이다. 비대칭 행렬이 섭동에 취약한 것과 정확히 대비된다.
키 판(Ky Fan) 정리: 하위 $k$ 개 고유값의 합은 $\min_{V^{\mathsf{T}}V = I_k} \mathrm{tr}(V^{\mathsf{T}}AV)$ 다. 주성분 분석이나 스펙트럴 군집화가 “직교 제약 위의 대각합 최적화”로 쓰이는 근거.

6. 부분공간 위에서 — 리츠 값[편집]

$m$ 차원 부분공간의 정규직교 기저 $V$ 가 주어졌을 때, 그 안에서 레일리 몫을 정류시키는 벡터를 찾는 문제는 축소된 고유값 문제 $(V^{\mathsf{T}}AV)\mathbf{y} = \theta\mathbf{y}$ 로 귀결된다. 이때 $\theta$ 가 리츠 값, $V\mathbf{y}$ 가 리츠 벡터이며, 이 절차 전체가 레일리-리츠 사영이다. 즉 크리로프 부분공간법 계열 고유값 해법은 예외 없이 “부분공간을 잘 키우는 방법”과 “그 위에서 레일리 몫을 정류시키는 방법”의 조합이다.

리츠 값이 갖는 성질도 전부 위에서 나온 것들이다. 대칭 문제에서 리츠 값은 항상 참 고유값을 한쪽에서 근사하고( $\theta_1 \ge \lambda_1$ ), 부분공간을 키우면 단조롭게 개선되며, 잔차의 제곱 정확도가 그대로 상속된다.³ 부분공간을 아무리 잘 키워도 그 안에 참 고유벡터의 성분이 없으면 리츠 값은 영원히 틀린 값에 머무는데, 이것이 축퇴 모드를 놓치는 사고의 정체다.

$\sigma$ 를 갱신하면서 매 반복 $R(\mathbf{x}_k)$ 를 새 시프트로 쓰는 것이 레일리 몫 반복(RQI)이고, 대칭 문제에서 세제곱 수렴(cubic convergence)을 보인다 — 제곱 정확도와 역반복법의 선형 수렴이 곱해진 결과다. 알고리즘 쪽 이야기는 그 문서에서 다룬다.

7. 물리·공학에서 만나는 얼굴[편집]

레일리 방법(구조동역학): 가정 모드 $\boldsymbol{\phi}$ 에 대해 $\omega^2 \approx \boldsymbol{\phi}^{\mathsf{T}}K\boldsymbol{\phi} / \boldsymbol{\phi}^{\mathsf{T}}M\boldsymbol{\phi}$ . 분모에 질량행렬이 들어간 일반화 레일리 몫이며, 가정 모드가 무엇이든 결과는 참 기본진동수의 상한이다(제약을 추가한 셈이므로 계가 더 뻣뻣해진다). 모드 해석의 손계산 추정과 강성행렬 기반 근사가 여기서 나온다.
양자역학 변분 원리: $E[\psi] = \langle\psi|H|\psi\rangle / \langle\psi|\psi\rangle \ge E_0$ . 무한차원에서의 레일리 몫이고, 하트리-폭 방법부터 배치상호작용까지 모든 변분 계산의 정의식이다.
좌굴: $(K + \lambda K_G)\boldsymbol{\phi} = \mathbf{0}$ 형태의 좌굴 임계하중도 일반화 레일리 몫의 최소화로 특징지어진다.
레일리 감쇠: 이름이 같아 헷갈리지만 $C = \alpha M + \beta K$ 는 별개 개념이다. 다만 그 계수를 모드 감쇠비에 맞추는 계산에는 다시 레일리 몫이 등장한다.

8. 관련 문서[편집]

실제로 LOBPCG(국소 최적 블록 전처리 공액경사법)가 이 노선을 끝까지 밀어붙인 알고리즘이다. “고유값 문제는 최적화 문제”라는 문장은 은유가 아니라 구현 방침이다. ↩
그래서 축퇴 근처에서는 “잔차가 작으니 수렴했다”는 판정이 배신한다. 잔차가 보증하는 것은 개별 고유벡터가 아니라 불변 부분공간까지이며, 그 안에서 어떻게 회전해 있는지는 아무도 보증하지 않는다. ↩
상한만 준다는 성질이 은근히 실무에서 쓸모 있다. 리츠 값이 $\theta_1$ 이면 참 최소 고유값은 무조건 그 아래이므로, 안전측 설계에서 “적어도 이보다는 낮다”를 말할 수 있다. 반대로 하한을 얻으려면 잔차 기반 보증(카토-템플, 템플-레만)을 따로 계산해야 하고, 이게 훨씬 귀찮다. ↩