유도 노름

1. 개요[편집]

유도 노름 Induced Norm
정의	$\lVert A \rVert = \sup_{x \ne 0} \lVert Ax \rVert / \lVert x \rVert$
별칭	연산자 노름(operator norm)
핵심 성질	준곱셈성 $\lVert AB \rVert \le \lVert A \rVert \lVert B \rVert$, $\lVert I \rVert = 1$
행렬 2-노름	최대 특이값 $\sigma_{\max}(A)$
시스템 $\mathcal{L}_2$ 유도	$H_\infty$ 노름 $\sup_\omega \bar\sigma(G(j\omega))$
시스템 $\mathcal{L}_\infty$ 유도	임펄스 응답의 $\ell_1$ 노름

“이 시스템의 이득이 얼마죠?”라는 질문에는 반드시 되물어야 한다. “무슨 노름으로요?”

유도 노름(induced norm)은 선형 사상이 입력을 최대 몇 배까지 키울 수 있는지를 재는 양이며, 정의역과 공역에 각각 노름이 주어졌을 때

$$\lVert A \rVert \;=\; \sup_{x \ne 0} \frac{\lVert Ax \rVert_{\text{출력}}}{\lVert x \rVert_{\text{입력}}} \;=\; \sup_{\lVert x \rVert = 1} \lVert Ax \rVert$$

로 정의된다. 연산자 노름이라고도 부른다. 두 벡터 노름이 사상을 유도한다는 것이 이름의 뜻이고, 따라서 같은 행렬이라도 어떤 노름 쌍을 골랐느냐에 따라 값이 몇 배씩 달라진다. 이 당연한 사실이 실무에서는 놀랄 만큼 자주 잊힌다.

유도 노름이 다른 노름과 구별되는 결정적 성질은 두 가지다. 준곱셈성 $\lVert AB \rVert \le \lVert A \rVert \lVert B \rVert$가 정의에서 곧바로 따라 나오고, 항등사상의 노름이 정확히 $\lVert I \rVert = 1$이다. 앞의 것은 “합성된 사상의 증폭률은 각 증폭률의 곱을 넘지 못한다”는 물리적으로 당연한 진술이며, 오차 전파 해석과 되먹임 안정성 판정이 전부 이 부등식 위에 서 있다. 작은 이득 정리의 증명이 삼각부등식 몇 줄로 끝나는 것도, 조건수가 $\kappa(A) = \lVert A \rVert \lVert A^{-1} \rVert \ge \lVert I \rVert = 1$을 만족하는 것도 여기서 나온다.

2. 행렬의 경우 — 세 가지 공식[편집]

$\mathbb{R}^n$에 $p$-노름을 주면 행렬 유도 노름이 나오는데, $p = 1, 2, \infty$일 때만 닫힌 공식이 알려져 있다.

노름	유도한 벡터 노름	공식	계산량
$\lVert A \rVert_1$	$\ell_1 \to \ell_1$	최대 열 절댓값합 $\max_j \sum_i \lvert a_{ij} \rvert$	$O(n^2)$
$\lVert A \rVert_2$	$\ell_2 \to \ell_2$	최대 특이값 $\sigma_{\max}(A) = \sqrt{\lambda_{\max}(A^\top A)}$	SVD $O(n^3)$
$\lVert A \rVert_\infty$	$\ell_\infty \to \ell_\infty$	최대 행 절댓값합 $\max_i \sum_j \lvert a_{ij} \rvert$	$O(n^2)$
$\lVert A \rVert_F$	유도 노름 아님	$\sqrt{\sum_{i,j} a_{ij}^2}$	$O(n^2)$

1-노름과 $\infty$-노름은 최댓값이 좌표축 방향의 벡터에서 달성되기 때문에 공식이 이렇게 싸게 나온다. $\lVert x \rVert_1 = 1$인 벡터 중 $\lVert Ax \rVert_1$을 최대화하는 것은 언제나 표준기저 벡터 하나이고($\ell_1$ 공의 꼭짓점), $\ell_\infty$ 쪽은 부호만 맞춘 $\pm 1$ 벡터다. 반면 2-노름의 최적 방향은 $A^\top A$의 최대 고유벡터라 특이값 분해 없이는 알 수 없고, 그래서 셋 중 유일하게 비싸다. 일반 $p$에 대해서는 정확한 계산이 NP-난해로 알려져 있다.

프로베니우스 노름을 표에 굳이 끼워 넣은 이유는 이것이 유도 노름이 아니라는 사실이 자주 잊히기 때문이다. $\lVert I \rVert_F = \sqrt{n}$이라 항등원 조건을 위반한다. 준곱셈성은 만족하므로 오차 상계 계산에는 쓸 수 있지만, “이 사상의 최대 증폭률”이라는 해석은 성립하지 않는다.¹

유용한 부등식 몇 개를 외워 두면 계산을 아낄 수 있다.

$$\sigma_{\max}(A) \;\le\; \sqrt{\lVert A \rVert_1 \lVert A \rVert_\infty}, \qquad \lVert A \rVert_2 \le \lVert A \rVert_F \le \sqrt{r}\,\lVert A \rVert_2$$

($r$은 계수) 첫 부등식 덕분에 희소행렬의 2-노름 상계를 SVD 없이 두 번의 훑기로 얻을 수 있다. 대규모 문제에서 조건수를 어림잡을 때 실제로 쓰는 손이다.

3. 스펙트럼 반지름과의 관계[편집]

임의의 유도 노름에 대해 항상

$$\rho(A) \;\le\; \lVert A \rVert$$

가 성립한다($\rho$는 스펙트럼 반지름, 고유값 절댓값의 최댓값). 증명은 고유벡터를 넣어 보면 한 줄이다. 반대로 임의의 $\varepsilon > 0$에 대해 $\lVert A \rVert \le \rho(A) + \varepsilon$인 유도 노름이 존재한다는 것도 알려져 있어서, 스펙트럼 반지름은 모든 유도 노름의 하한이자 그 하확계다. 겔판트 공식

$$\lim_{k \to \infty} \lVert A^k \rVert^{1/k} = \rho(A)$$

이 이 사실의 극한판이다.

이 간격이 실무에서 하는 일은 명확하다. 정지 반복법 $x_{k+1} = Fx_k + b$의 수렴 조건은 정확히 $\rho(F) < 1$인데, 실제로 확인하기 쉬운 것은 $\lVert F \rVert_\infty < 1$ 같은 노름 조건이다. 노름 조건은 충분조건일 뿐이고, 그 보수성이 곧 $\rho$와 $\lVert \cdot \rVert$의 간격이다. 되먹임 제어에서 작은 이득 정리가 보수적인 것과 같은 구조가 수치선형대수에서 반복된다. 비정규 행렬($A^\top A \ne AA^\top$)일수록 이 간격이 벌어지고, $\rho < 1$인데도 $\lVert A^k \rVert$가 한동안 크게 부풀었다 내려오는 과도 성장(transient growth)이 나타난다. 층류 유동의 비모달 불안정성 해석이 정확히 이 현상을 다룬다.

4. 조건수 — 오차가 얼마나 증폭되는가[편집]

$A x = b$를 풀 때 데이터의 상대오차가 해의 상대오차로 얼마나 번지는지는 유도 노름 두 개의 곱으로 결정된다.

$$\frac{\lVert \delta x \rVert}{\lVert x \rVert} \;\lesssim\; \kappa(A)\left( \frac{\lVert \delta b \rVert}{\lVert b \rVert} + \frac{\lVert \delta A \rVert}{\lVert A \rVert} \right), \qquad \kappa(A) = \lVert A \rVert \, \lVert A^{-1} \rVert$$

여기서 $\lVert A \rVert$는 “최대로 늘리는 배율”, $\lVert A^{-1} \rVert$는 “최대로 줄이는 배율의 역수”이므로 곱은 왜곡의 이방성을 잰다. 2-노름을 쓰면 $\kappa_2 = \sigma_{\max}/\sigma_{\min}$이라는 익숙한 얼굴이 되고, 이 값이 $10^{16}$ 근처면 배정밀도 유효숫자가 통째로 날아간다. 자세한 이야기는 조건수 문서에 있다.

실무에서 $\lVert A^{-1} \rVert$을 구하려고 역행렬을 만드는 것은 낭비다. LU 분해를 이미 갖고 있으면 $\lVert A^{-1} \rVert_1$을 추정하는 헤이거-하이엄 알고리즘이 표준인데, $\lVert A^{-1} \rVert_1 = \max_{\lVert x \rVert_1 = 1} \lVert A^{-1}x \rVert_1$이 볼록함수의 최대화라 정점에서 달성된다는 성질을 이용해 몇 번의 삼각 풀이만으로 하한을 올려 간다. LAPACK의 gecon이 하는 일이 이것이며, 반환값이 정확한 조건수가 아니라 추정치라는 점은 문서에 명시되어 있다.

5. 시스템의 유도 노름[편집]

신호를 벡터로, 시스템을 연산자로 보면 같은 정의가 그대로 옮겨 간다. 이때 신호 공간의 노름을 무엇으로 잡느냐가 완전히 다른 이론을 만든다.

$\mathcal{L}_2$ 유도 노름 = $H_\infty$ 노름. 신호 크기를 에너지 $\lVert u \rVert_2^2 = \int_0^\infty u^\top u \, dt$로 재면, 안정한 LTI계에 대해

$$\sup_{u \ne 0} \frac{\lVert y \rVert_2}{\lVert u \rVert_2} \;=\; \sup_\omega \bar\sigma\big(G(j\omega)\big) \;=\; \lVert G \rVert_\infty$$

이다. 증명의 뼈대는 파르스발 항등식 — 시간영역 에너지가 주파수영역 에너지와 같으므로, 최악의 증폭은 최악의 주파수에서 최대 특이값 방향으로 때렸을 때 일어난다. $H_\infty$ 제어와 강건 제어의 모든 사양이 이 한 줄에 기대고 있고, 구조적 특이값은 최악 방향의 허용 범위를 블록 구조로 제한한 정련판이다.

$\mathcal{L}_\infty$ 유도 노름 = $\ell_1$ 노름. 신호 크기를 피크값 $\lVert u \rVert_\infty = \sup_t \max_i \lvert u_i(t) \rvert$로 재면 답이 달라진다. SISO 안정계의 임펄스 응답을 $g(t)$라 하면 합성곱의 상계에서

$$\sup_{u \ne 0} \frac{\lVert y \rVert_\infty}{\lVert u \rVert_\infty} \;=\; \int_0^\infty \lvert g(t) \rvert \, dt$$

이고, 등호는 $u(t) = \mathrm{sgn}\, g(T - t)$라는 부호만 뒤집는 최악 입력에서 달성된다. 다변수라면 각 행의 성분별 적분을 더한 것 중 최댓값이다. 이 양을 시스템의 $\ell_1$ 노름이라 부른다.

두 이름이 얼마나 헷갈리기 좋은지 짚어 두자. $H_\infty$ 노름은 $\mathcal{L}_\infty$ 유도 노름이 아니다. 첨자의 $\infty$는 주파수축에 대한 상한을 뜻하지 신호의 피크를 뜻하지 않는다. 신호의 피크를 재는 쪽이 오히려 $\ell_1$이라는 이름을 달고 있다. 이 이름 충돌 때문에 논문에서도 정의를 한 번 더 써 주는 것이 관례다.²

세 번째 손님도 있다. 한켈 노름은 과거의 $\mathcal{L}_2$ 입력에서 미래의 $\mathcal{L}_2$ 출력으로의 유도 노름으로, 가제어·가관측 그라미안의 곱의 최대 고유값의 제곱근이다. 정의역과 공역이 다른 공간이라는 점만 빼면 같은 틀이며, 축소차수모델의 평형 절단 오차 상계가 여기서 나온다.

6. $\ell_1$ 최적제어[편집]

$\mathcal{L}_\infty$ 유도 노름을 최소화하는 설계가 $\ell_1$ 최적제어다. 동기는 실무적으로 아주 정직하다 — 사양이 대개 “에너지를 줄여라”가 아니라 “추종 오차의 피크가 0.1 mm를 절대 넘지 마라”, “액추에이터가 포화되면 안 된다” 같은 형태로 오기 때문이다. 유계 외란에 대한 유계 출력 보장(peak-to-peak)이 그대로 사양이 되는 구조다.

비댜사가르가 문제를 제기하고 달레-피어슨(1987)이 이산시간 SISO 문제를 풀었다. 핵심 발상은 유라 파라미터화로 폐루프 응답을 안정 전달함수 $Q$에 대해 아핀하게 쓴 뒤

$$\min_{Q \text{ stable}} \; \lVert H_1 - H_2 Q H_3 \rVert_{\ell_1}$$

를 푸는 것인데, 목적함수가 임펄스 응답 계수의 절댓값 합이므로 **무한차원 선형계획법**이 된다. 여기에 플랜트의 우반평면 영점·극점이 부과하는 유한 개의 보간 제약을 넣으면 유한 LP로 환원되고, SISO에서는 최적해가 FIR(유한 임펄스 응답)로 나온다는 깔끔한 결과까지 붙는다. 다변수·연속시간에서는 이 유한성이 깨져 근사 LP로 협공한다.

$H_\infty$ 쪽이 리카티 방정식 두 개로 우아하게 닫히는 것과 달리 $\ell_1$ 쪽은 LP라 제어기 차수가 크게 나오기 쉽고, 그래서 산업 채택은 $H_\infty$ 쪽이 압도적이다. 그럼에도 이 이론이 살아 있는 이유는 **“피크값 사양은 에너지 사양으로 번역되지 않는다”**는 사실 때문이다. $\lVert G \rVert_\infty$가 작아도 임펄스 응답이 길게 늘어지면 $\ell_1$ 노름은 클 수 있고, 그때 피크 사양은 조용히 위반된다.

7. 실무에서 자주 밟는 지뢰[편집]

• 노름을 밝히지 않은 이득은 정보가 아니다. DC 이득, 최대 특이값, $H_\infty$ 노름, $\ell_1$ 이득은 같은 계에서 몇 배씩 다른 숫자를 준다. 사양서에 “이득 여유”만 적혀 있으면 무엇을 잰 것인지 먼저 확인해야 한다.
• 주파수 격자로 $\sup_\omega$를 대신하지 마라. 저감쇠 공진의 첨두 폭이 격자 간격보다 좁으면 통째로 놓친다. 해밀토니안 행렬의 허수축 고유값 판정을 이분법으로 감싸는 것이 정확한 방법이며, 이 함정은 감도 함수 문서에서 구체적인 숫자로 다룬다.
• 가중치를 붙이면 노름이 바뀐다. $\lVert W_1 G W_2 \rVert$는 사실상 새 노름 쌍을 정의한 것이다. 루프 정형화에서 가중함수를 고르는 행위는 “무엇을 크다고 부를 것인가”를 다시 정하는 일이며, 설계의 절반이 여기서 결정된다.
• 비선형계에서는 유도 노름이 신호 크기에 의존한다. 상수 배율로 상계를 잡을 수 없어 클래스-$\mathcal{K}$ 함수로 확장해야 하고, 이때 리프시츠 연속 상수가 국소 유도 노름의 역할을 대신한다.
• 행렬 노름은 좌표에 의존한다. 단위를 mm에서 m으로 바꾸면 조건수가 바뀐다. “이 행렬은 조건수가 $10^{9}$라 못 쓴다”는 진단 전에 스케일링부터 해 봐야 하는 이유이며, 이것이 바나흐 공간에서 동치 노름을 논하는 추상적 논의가 실무와 만나는 지점이다.

8. 관련 문서[편집]

• 조건수 · 특이값 분해 · 스펙트럼 반지름
• 작은 이득 정리 · 구조적 특이값 · 강건 제어
• 감도 함수 · 루프 정형화 · 수동성
• LU 분해 · QR 분해 · 희소행렬
• 선형계획법 · 볼록 최적화 · 최적 제어
• 축소차수모델 · 거듭제곱법 · 기저 추구
• 바나흐 공간 · 리프시츠 연속

9. Footnotes[편집]

1. 그럼에도 프로베니우스 노름이 널리 쓰이는 이유는 계산이 싸고 미분이 예쁘기 때문이다. 저계수 근사, 정규화 항, 손실함수에 등장하는 $\lVert \cdot \rVert_F$는 “최대 증폭률”을 재려는 것이 아니라 그냥 원소를 다 더한 것이라고 읽으면 오해가 없다. ↩

2. 신호와 시스템의 첨자가 서로 다른 것을 가리키는 이 관행은 이미 굳어져서 되돌릴 수 없다. 외우는 요령 하나 — 시스템 노름의 첨자는 신호 노름의 첨자가 아니라 “어디에 상한을 씌웠는가”를 가리킨다. $H_\infty$는 주파수에, $H_2$는 주파수 적분에, $\ell_1$은 시간 적분에. ↩