횔더 부등식

1. 개요

횔더 부등식 Hölder's inequality
내용	$\lVert fg\rVert_1\le\lVert f\rVert_p\,\lVert g\rVert_q$
조건	$1\le p,q\le\infty$, $1/p+1/q=1$ (켤레 지수)
등호	$\lvert f\rvert^p$ 와 $\lvert g\rvert^q$ 가 비례할 때 (거의 어디서나)
특수한 경우	$p=q=2$ 이면 코시-슈바르츠
이름	로저스 (1888) · 횔더 (1889) · 리스 (1910, $L^p$ 공간)
쓰이는 곳	쌍대 노름, 민코프스키 부등식, $L^p$ 보간, 라쏘의 $\lambda_{\max}$, 적대적 섭동

코시-슈바르츠가 「2 와 2」라면, 횔더는 「$p$ 와 $q$ 를 맘대로 나눠 가져라」다.

횔더 부등식(Hölder’s inequality)은 두 함수(또는 벡터)의 곱의 크기를 각자의 $p$-노름과 $q$-노름의 곱으로 누르는 부등식이다. 지수 $p, q$ 가 켤레, 즉 $1/p + 1/q = 1$ 이기만 하면

$$\sum_i \lvert x_i y_i\rvert \;\le\; \Big(\sum_i \lvert x_i\rvert^p\Big)^{1/p}\Big(\sum_i \lvert y_i\rvert^q\Big)^{1/q}, \qquad \int \lvert fg\rvert \,d\mu \;\le\; \lVert f\rVert_p\,\lVert g\rVert_q$$

가 성립한다. $p = 1$ 이면 $q = \infty$ 이고 $\lVert g\rVert_\infty = \max\lvert g\rvert$ 다. $p = q = 2$ 로 두면 코시-슈바르츠 부등식이 그대로 나온다. 코시-슈바르츠가 내적 공간의 부등식이라면 횔더는 내적이 없는 $L^p$ 공간 — 바나흐 공간 — 의 기본 부등식이다.

이름은 오토 횔더(1889)를 따르지만, 같은 부등식을 한 해 먼저 레너드 제임스 로저스(1888)가 발표했다.¹ 오늘날의 $L^p$ 노름 표기로 정리한 사람은 $L^p$ 공간을 도입한 리스 프리제시(1910)다.

수치해석에서 횔더가 하는 일은 대부분 눈에 안 띈다. 「$\ell_1$ 노름의 쌍대는 $\ell_\infty$」, 「$\lVert A\rVert_2 \le \sqrt{\lVert A\rVert_1\lVert A\rVert_\infty}$」, 「라쏘는 $\lambda \ge \lVert X^\mathsf{T}y\rVert_\infty$ 에서 해가 0」, 「선형 모델의 최악 $\ell_\infty$ 섭동은 부호 벡터」 — 전부 횔더 한 줄의 결과다.

2. 증명 — 영 부등식 하나로 끝난다

핵심은 영 부등식(Young’s inequality for products)이다. $a, b \ge 0$, $1/p + 1/q = 1$ 이면

$$ab \;\le\; \frac{a^p}{p} + \frac{b^q}{q}$$

이고 등호는 $a^p = b^q$ 일 때만이다. 증명은 $\log$ 의 오목성, 즉 젠센 부등식이다:

$$\log\Big(\tfrac1p a^p + \tfrac1q b^q\Big) \;\ge\; \tfrac1p\log a^p + \tfrac1q\log b^q = \log(ab).$$

이제 $\lVert f\rVert_p = \lVert g\rVert_q = 1$ 로 정규화하고(0 이면 자명하고, 아니면 나눠 주면 된다) 점마다 영 부등식을 적용해 적분한다:

$$\int \lvert fg\rvert \;\le\; \frac1p\int\lvert f\rvert^p + \frac1q\int\lvert g\rvert^q = \frac1p + \frac1q = 1.$$

끝이다. 정규화를 풀면 원래 부등식이 된다. 등호 조건도 여기서 바로 읽힌다 — 거의 모든 점에서 $\lvert f\rvert^p$ 와 $\lvert g\rvert^q$ 가 같은 상수배여야 한다.

등호를 실제로 만들어 보면 감이 온다. $x = (3, -1, 4, -1, 5)$, $p = 3$ 에 대해 $y_i = \operatorname{sign}(x_i)\lvert x_i\rvert^{p-1}$ 로 두면 $y = (9, -1, 16, -1, 25)$ 이고, $\langle x, y\rangle = 218$ 과 $\lVert x\rVert_3\lVert y\rVert_{3/2}$ 가 배정밀도 반올림 수준(마지막 자리)까지 같다. 이 $y$ 를 고르는 공식이 아래 쌍대 노름 절의 주인공이다.

3. 어떤 $p$ 가 제일 좋은가 — 코시-슈바르츠가 늘 최선은 아니다

같은 두 벡터에 대해서도 $p$ 를 바꾸면 상한이 바뀐다. $x = (3, -1, 4, -1, 5)$, $y = (2, 7, -1, 8, 2)$ 로 재 보면($\langle x, y\rangle = -3$):

$p$	$q$	상한 $\lVert x\rVert_p\lVert y\rVert_q$
1	$\infty$	112.0
1.5	3	84.65
2	2	79.65 (코시-슈바르츠)
2.48	1.68	78.87 (최소)
3	1.5	79.27
$\infty$	1	100.0

이 경우엔 $p \approx 2.48$ 이 코시-슈바르츠보다 조금 더 조인다. 반대로 상한 자체는 실제 값 3 에서 한참 멀다 — 부호가 상쇄되는 것을 횔더는 전혀 모르기 때문이다(절대값을 씌운 $\sum\lvert x_iy_i\rvert$ 을 누르는 부등식이니까). 실무 교훈: 오차 추정에서 횔더를 쓰는 순간 상쇄는 포기한 것이다. 상한이 비관적인 이유의 절반은 여기서 온다.

4. 쌍대 노름 — 횔더의 진짜 정체

횔더의 등호가 언제나 달성 가능하다는 사실(위의 $y$ 공식)을 합치면

$$\lVert x\rVert_p \;=\; \max_{\lVert y\rVert_q \le 1}\ \langle x, y\rangle$$

가 된다. 즉 $\ell_p$ 의 쌍대 노름은 $\ell_q$ 다. $\ell_1 \leftrightarrow \ell_\infty$, $\ell_2 \leftrightarrow \ell_2$. 함수공간에서는 $1 \le p < \infty$ 이면 $L^p$ 의 쌍대공간이 $L^q$ 와 같다(리스 표현). 이 한 줄이 최적화와 머신러닝 곳곳에 박혀 있다.

• 라쏘의 $\lambda_{\max}$. $\tfrac12\lVert y - X\beta\rVert_2^2 + \lambda\lVert\beta\rVert_1$ 의 해가 $\beta = 0$ 이 될 조건은 $0$ 이 부분기울기 $-X^\mathsf{T}y + \lambda\,\partial\lVert 0\rVert_1$ 에 들어가는 것, 즉 $\lVert X^\mathsf{T}y\rVert_\infty \le \lambda$ 다. $\ell_1$ 의 단위공 쌍대가 $\ell_\infty$ 단위공이기 때문이다. 라쏘 경로 계산이 $\lambda_{\max} = \lVert X^\mathsf{T}y\rVert_\infty$ 에서 출발하는 이유다(목적함수를 $1/(2n)$ 로 정규화한 scikit-learn 관례에서는 $n$ 으로 한 번 더 나눈다).
• 최악의 섭동. 선형 점수 $w^\mathsf{T}x$ 에 $\lVert\delta\rVert_\infty \le \varepsilon$ 인 섭동을 넣을 때 점수 변화의 최댓값은 $\varepsilon\lVert w\rVert_1$ 이고, 그 최댓값을 내는 섭동이 $\delta = \varepsilon\operatorname{sign}(w)$ 다. 굿펠로 등(2015)의 FGSM 이 기울기의 부호만 쓰는 이유가 정확히 이 등호 조건이다. 성분의 평균 크기가 $m$ 이면 $\lVert w\rVert_1 \approx mn$ 이라 변화량 $\varepsilon mn$ 이 차원 $n$ 에 비례해 자라므로, 픽셀당 아주 작은 $\varepsilon$ 으로도 점수가 크게 움직인다 — 굿펠로 등이 적대적 예제의 「선형성 가설」로 든 논리다.
• 행렬 노름. 유도 노름 $\lVert A\rVert_1$(최대 열합)과 $\lVert A\rVert_\infty$(최대 행합)는 서로 쌍대이고 $\lVert A^\mathsf{T}\rVert_\infty = \lVert A\rVert_1$ 이다.
• 노름 동치 상수. $\mathbb{R}^n$ 에서 $\lVert x\rVert_1 = \langle \lvert x\rvert, \mathbf 1\rangle \le \lVert x\rVert_2\lVert\mathbf 1\rVert_2 = \sqrt n\,\lVert x\rVert_2$. 일반적으로 $p < r$ 이면 $\lVert x\rVert_p \le n^{1/p - 1/r}\lVert x\rVert_r$ 이고, 등호는 모든 성분의 크기가 같을 때다($x = \mathbf 1$ 이면 $\lVert x\rVert_1 = 1000 = \sqrt{1000}\cdot\sqrt{1000}$). 수렴 판정 노름을 바꾸면 허용오차가 이만큼 달라진다는 뜻이다.

5. 따라 나오는 것들 — 민코프스키, 보간, 랴푸노프

민코프스키 부등식(= $L^p$ 의 삼각부등식) $\lVert f + g\rVert_p \le \lVert f\rVert_p + \lVert g\rVert_p$ 은 횔더로 증명한다. $\lvert f+g\rvert^p \le \lvert f\rvert\lvert f+g\rvert^{p-1} + \lvert g\rvert\lvert f+g\rvert^{p-1}$ 의 각 항에 횔더를 쓰면 $(p-1)q = p$ 라 지수가 맞아떨어진다. 즉 $\lVert\cdot\rVert_p$ 가 노름이라는 사실 자체가 횔더 덕분이다. $p < 1$ 에서는 삼각부등식이 깨져 노름이 아니게 되는데, 바로 그 구간에서 켤레 지수가 음수가 되어 횔더가 뒤집힌다.

여러 개로의 확장. $1/p_1 + \dots + 1/p_k = 1/r$ 이면 $\lVert f_1\cdots f_k\rVert_r \le \prod\lVert f_i\rVert_{p_i}$. 귀납법으로 바로 나온다.

$L^p$ 노름의 로그 볼록성(보간 부등식). $1/r = \theta/p + (1-\theta)/q$, $0 \le \theta \le 1$ 이면

$$\lVert f\rVert_r \;\le\; \lVert f\rVert_p^{\theta}\,\lVert f\rVert_q^{1-\theta}.$$

$\lvert f\rvert^r = \lvert f\rvert^{\theta r}\lvert f\rvert^{(1-\theta)r}$ 에 지수 $p/(\theta r)$, $q/((1-\theta)r)$ 의 횔더를 쓰면 끝이다. 위의 $x$ 로 $r = 2$, $p = 1$, $q = \infty$ ($\theta = 1/2$) 를 재면 $7.21 \le \sqrt{14\cdot 5} = 8.37$. 이것을 연산자로 끌어올린 것이 리스-토린 보간 정리이고, 그 가장 싼 따름정리가 수치선형대수에서 매일 쓰는

$$\lVert A\rVert_2 \;\le\; \sqrt{\lVert A\rVert_1\,\lVert A\rVert_\infty}$$

다. $A = \begin{pmatrix}1&2\\3&4\end{pmatrix}$ 이면 $\lVert A\rVert_1 = 6$, $\lVert A\rVert_\infty = 7$, 상한 $\sqrt{42} = 6.48$, 실제 $\lVert A\rVert_2 = 5.465$. 특이값 분해 없이 2-노름의 상한을 $O(n^2)$ 에 얻는 방법이라 조건수 추정기들이 즐겨 쓴다.

확률공간에서는 방향이 뒤집힌다. 전체 측도가 1 이면 $g = 1$ 로 두고 횔더를 쓴 결과로 $p < r$ 일 때 $\lVert X\rVert_p \le \lVert X\rVert_r$(랴푸노프 부등식). 즉 $E\lvert X\rvert \le \sqrt{E X^2}$ — 평균 절대오차는 RMS 오차를 넘지 못한다. 셈 측도(유한 벡터)에서는 거꾸로 $\lVert x\rVert_r \le \lVert x\rVert_p$ 다. 「높은 $p$-노름이 더 크냐 작으냐」가 헷갈리면 측도가 확률이냐 셈이냐를 먼저 보면 된다.²

6. 수치해석에서 쓰이는 자리

• 유한요소 오차 추정. 유한요소법의 $L^p$ 추정, 비선형 항(예: $u^3$) 의 유계성 증명, 소볼레프 공간 매장 정리의 증명이 전부 횔더를 여러 번 겹쳐 쓴다. 내적이 없는 $p \ne 2$ 노름에서는 코시-슈바르츠를 못 쓰니 횔더가 그 자리를 대신한다.
• 구적 오차의 분리. $\big\lvert\int w(x)e(x)\,dx\big\rvert \le \lVert w\rVert_1\lVert e\rVert_\infty$ — 가중함수와 오차함수를 따로 누르는 표준 수법. 수치적분 오차 정리 상당수가 이 꼴이다.
• 확률적 상한. 몬테카를로에서 두 확률변수 곱의 기댓값을 각자의 고차 모멘트로 누를 때($E\lvert XY\rvert \le (E\lvert X\rvert^p)^{1/p}(E\lvert Y\rvert^q)^{1/q}$), 꼬리가 무거운 쪽에 작은 지수를 몰아주는 식으로 $p$ 를 고른다.

7. 부동소수점 — $p$-노름 계산은 넘친다

$\lVert x\rVert_p = (\sum\lvert x_i\rvert^p)^{1/p}$ 를 식 그대로 계산하면 $\lvert x_i\rvert$ 가 $10^{155}$ 만 넘어도 제곱이 넘친다(배정밀도 최대 약 $1.8\times10^{308}$). 실제로 $x = (10^{200}, 10^{200})$ 의 2-노름을 순진하게 계산하면 오버플로 예외가 나지만, hypot 은 $1.414\times10^{200}$ 을 돌려준다. 해법은 최댓값 $s = \max\lvert x_i\rvert$ 로 나눠 $s\,(\sum\lvert x_i/s\rvert^p)^{1/p}$ 로 계산하는 것이다. BLAS 의 nrm2 는 이 문제 때문에 크기 구간별로 다른 스케일을 쓰는 블루(1978)의 방식을 쓴다.³ $p$ 가 클수록 넘치는 문턱이 낮아지니($\lvert x_i\rvert^{p}$), $p = 10$ 같은 고차 노름은 스케일링 없이는 $10^{31}$ 만 넘어도 무너진다.

8. 관련 문서

• 코시-슈바르츠 부등식 · 젠센 부등식 · 민코프스키 부등식 · 리스-토린 보간 정리
• 바나흐 공간 · 힐베르트 공간 · 소볼레프 공간 · 유도 노름 · 조건수
• 쌍대성 · 라쏘 · 유한요소법 · 수치적분

9. Footnotes

1. 로저스는 정작 수학사보다 「로저스-라마누잔 항등식」으로 이름이 남았다. 그 항등식도 라마누잔보다 20년 먼저 발표했는데 아무도 안 읽어서 재발견됐다. 먼저 발표하고 이름을 못 얻는 데 재능이 있었던 분. ↩

2. 시험장에서 이걸 헷갈려 부등호를 뒤집어 쓰는 건 국룰이다. 한 줄 검산: 모든 성분이 1 인 길이 $n$ 벡터는 $\lVert x\rVert_1 = n$, $\lVert x\rVert_\infty = 1$ 이니 셈 측도에서는 $p$ 가 클수록 작다. 평균을 내는(확률) 순간 둘 다 1 이 되고, 성분이 들쭉날쭉하면 고차 쪽이 커진다. ↩

3. 「제곱해서 더하고 루트」 한 줄짜리 함수가 BLAS 에서 가장 긴 레벨 1 루틴이 된 사연. 2017년에도 앤더슨이 「Level 1 BLAS 의 안전한 스케일링」이라는 논문을 따로 냈다. 노름 하나 계산하는 데 논문이 계속 나오는 분야가 수치해석이다. ↩