리만 다양체

수치해석 최적설계 계산물리 마지막 수정: 2026-08-24 04:51:22

1. 개요[편집]

리만 다양체 Riemannian Manifold
구성	매끄러운 다양체 $M$ + 계량 텐서 $g$
계량	각 접공간의 내적 $\langle u,v\rangle_p = g_p(u,v)$
접속	레비-치비타 — 비틀림 없고 계량과 양립하는 유일한 접속
측지선	$\nabla_{\dot\gamma}\dot\gamma = 0$ — 국소 최단
수치 대체물	지수사상 → 레트랙션, 평행이동 → 벡터 이동
단골 무대	SPD 행렬, 스티펠·그라스만, 확률분포족(피셔 계량)

제약조건을 벌점으로 때려 넣는 대신, 제약을 만족하는 집합 자체를 무대로 삼는다. 그러면 “직선”이 무엇인지부터 다시 정해야 한다.

리만 다양체는 각 점의 접공간마다 매끄럽게 변하는 내적(계량 텐서 $g$ )이 주어진 매끄러운 다양체다. 내적 하나만 얹었을 뿐인데 길이·각도·부피·거리·곡률이 전부 따라 나온다. 곡선 $\gamma:[0,1]\to M$ 의 길이는

L(\gamma) = \int_0^1 \sqrt{g_{\gamma(t)}\bigl(\dot\gamma(t),\dot\gamma(t)\bigr)}\,dt

이고, 두 점 사이의 거리는 그 둘을 잇는 모든 곡선의 길이의 하한이다. 좌표로 쓰면 $g$ 는 대칭 양정부호 행렬장 $g_{ij}(x)$ 이며, 길이 원소는 $ds^2 = g_{ij}dx^i dx^j$ 다.

이 문서는 미분기하 강의가 아니라 수치·최적화에서 이 구조가 실제로 무슨 일을 하는가에 무게를 둔다. 요약하면 세 문장이다. 첫째, 계량을 바꾸면 “가장 가파른 방향”이 바뀐다 — 자연경사법이 그것이다. 둘째, 제약집합이 다양체면 제약을 사라지게 할 수 있다 — 직교·저계수·양정부호 제약 최적화가 그것이다. 셋째, 다양체 위에서는 평균조차 다시 정의해야 한다 — 프레셰 평균이 그것이다. 회전군처럼 군 구조까지 있는 경우는 리 군 문서가 따로 다루므로 여기서는 일반 계량 쪽을 본다.

2. 계량이 정하는 것들[편집]

계량은 “무엇이 짧은가”를 정하고, 그 순간 나머지가 줄줄이 결정된다.

접속과 측지선. 서로 다른 점의 접벡터를 비교하려면 미분 규칙이 필요하다. 리만 기하의 기본정리는 비틀림이 없고 계량과 양립하는 접속이 유일하게 존재한다고 말하며, 그것이 레비-치비타 접속이다. 좌표에서는 크리스토펠 기호로 나온다.

\Gamma^k_{ij} = \tfrac12 g^{kl}\bigl(\partial_i g_{jl} + \partial_j g_{il} - \partial_l g_{ij}\bigr)

측지선은 $\ddot\gamma^k + \Gamma^k_{ij}\dot\gamma^i\dot\gamma^j = 0$ 을 만족하는 곡선, 즉 “가속도가 없는” 곡선이며 국소적으로 최단이다. 지구 위의 대권항로가 그 예다.

지수·로그 사상. $\exp_p(v)$ 는 점 $p$ 에서 방향 $v$ 로 측지선을 따라 $\|v\|$ 만큼 간 점이고, $\log_p(q)$ 는 그 역이다. 이 둘이 다양체 위의 덧셈과 뺄셈 노릇을 한다. 단 로그는 국소적으로만 정의된다 — 구면에서 대척점까지의 최단경로는 무한히 많으므로 $\log$ 가 유일하지 않다. 이 “절단 궤적”(cut locus)이 수치적으로 실제로 물린다.

평행이동. 접벡터를 곡선을 따라 “방향을 바꾸지 않고” 옮기는 연산. 다양체가 휘어 있으면 어느 경로로 옮겼느냐에 따라 결과가 달라지고, 그 차이가 곧 곡률이다. 구면 위에서 폐곡선을 따라 벡터를 한 바퀴 돌리면 각도가 어긋나며, 어긋난 양이 둘러싼 넓이에 비례한다. 이것이 곡률에 대해 실무에서 알아야 할 거의 전부다.¹

곡률. 리만 곡률 텐서와 단면 곡률까지만 알면 된다. 최적화 쪽에서 곡률이 실제로 하는 일은 두 가지다 — 음의 곡률이면 측지 삼각형이 유클리드보다 “야위어” 유일한 프레셰 평균이 보장되고, 양의 곡률이면 반대로 유일성이 깨진다. 그리고 리만 경사하강의 수렴률 상수에 단면 곡률의 상하한이 그대로 들어간다.

3. 계량을 바꾸면 경사가 바뀐다[편집]

최적화 하는 사람에게 가장 실용적인 사실. 함수 $f$ 의 미분 $df$ 는 계량과 무관한 공변벡터지만, 경사는 계량으로 지표를 올려야 나오는 반변벡터다.

\langle \mathrm{grad}\,f(x),\, v\rangle_x = df_x(v) \quad\Longrightarrow\quad \mathrm{grad}\,f = g^{-1}\nabla f

즉 “가장 가파른 방향”은 계량이 정한다. 유클리드 계량( $g = I$ )을 암묵적으로 쓰고 있었을 뿐이다. 파라미터를 로그 스케일로 바꾸면 경사하강 궤적이 달라지는 그 익숙한 현상이, “좌표를 바꾼 게 아니라 계량을 바꿔 버린 것”이라는 사실로 정리된다.

자연 그래디언트는 여기서 확률분포족에 피셔 정보 계량 $g_{ij} = I_{ij}(\theta)$ 를 얹은 것이다.

\Delta\theta = -\eta\, I(\theta)^{-1}\nabla_\theta L

첸초프 정리에 의해 충분통계량 변환에 불변인 계량은 상수배 빼고 피셔 하나뿐이므로, 이건 취향이 아니라 정리에서 나온 선택이다. 자세한 것은 정보 기하와 자연경사법 문서.

그래서 K-FAC은 무엇의 근사인가. 자주 헷갈리는 지점인데, K-FAC이 근사하는 것은 손실의 헤세 행렬이 아니라 계량 텐서다. 층별 블록 대각으로 자르고 각 블록을 크로네커 곱 $A \otimes G$ 로 근사하는 두 단계는 전부 $I(\theta)$ 를 싸게 만들려는 것이고, 그 결과로 나오는 갱신 방향은 여전히 (근사된) 리만 경사다. 이 구분이 중요한 이유는 헤세 근사와 계량 근사가 요구하는 성질이 다르기 때문이다 — 계량은 반드시 양정부호여야 하지만 헤세는 안장점에서 그렇지 않다. K-FAC이 비볼록 지형에서 안정적으로 돌아가는 이유의 상당 부분이 여기 있다. 자세한 근사 구조는 K-FAC 문서.

4. 제약이 다양체면 제약이 사라진다[편집]

두 번째 실용 지점. 최적화 문제의 실행가능집합이 매끄러운 다양체라면, 라그랑주 승수나 벌점 없이 그 위에서 자유 최적화를 하면 된다.

\min_{X \in \mathcal M} f(X) \quad\text{을}\quad X_{k+1} = R_{X_k}\bigl(-\alpha_k\,\mathrm{grad}\,f(X_k)\bigr)

로 푼다. 대표 무대는 다음과 같다.

다양체	정의	차원	등장하는 문제
구면 $S^{n-1}$	$x^\top x = 1$	$n-1$	레일리 몫, 최대 고유벡터
스티펠 $\mathrm{St}(n,p)$	$X^\top X = I_p$	$np - p(p{+}1)/2$	직교 제약, 부분공간 추적
그라스만 $\mathrm{Gr}(n,p)$	$p$ 차원 부분공간 전체	$p(n-p)$	주성분 분석, 부분공간 추정
SPD $\mathcal S^n_{++}$	대칭 양정부호	$n(n{+}1)/2$	공분산, 확산 텐서, 계량 학습
고정계수 다양체	$\mathrm{rank}(X) = r$	$r(m{+}n{-}r)$	행렬 완성, 저계수 근사

스티펠과 그라스만의 관계가 특히 중요하다. 그라스만은 스티펠을 $O(p)$ 로 나눈 몫 다양체다 — 부분공간만 중요하고 그 안의 기저 선택은 중요하지 않은 문제라면 그라스만을 써야 한다. 이걸 스티펠에서 풀면 목적함수가 $O(p)$ 방향으로 완전히 평평해서 헤세가 특이해지고, 뉴턴법 계열이 조용히 망가진다. “내 문제의 진짜 미지수가 무엇인가”를 다양체 선택으로 표현하는 것이 이 분야의 첫 번째 설계 결정이다. 에델만·아리아스·스미스(1998)의 논문이 이 관점을 수치선형대수 쪽에 정착시켰다.

계량 선택도 자유도다. 스티펠에는 주변 $\mathbb R^{n\times p}$ 에서 물려받은 매장 계량과 몫 구조에서 자연스러운 표준 계량이 있고, 둘의 측지선은 서로 다르다. 어느 쪽을 쓰느냐로 알고리즘 성능이 실제로 갈린다.

5. 레트랙션과 벡터 이동 — 라이브러리가 실제로 하는 일[편집]

여기가 이론과 코드가 갈라지는 지점이다. 갱신식에 $\exp_X$ 를 쓰는 것이 정론이지만, 대부분의 다양체에서 측지선은 닫힌 형태가 없거나 있어도 비싸다. 그래서 실제 구현은 근사물을 쓴다.

레트랙션(retraction)은 $R_X : T_X\mathcal M \to \mathcal M$ 이면서 $R_X(0) = X$ 이고 $\mathrm{D}R_X(0) = \mathrm{id}$ 인 사상이다. 즉 원점에서 지수사상과 1차까지 일치하면 된다. 스티펠 다양체의 표준 레트랙션 셋을 보면 감이 온다.

QR 레트랙션. $R_X(\xi) = \mathrm{qf}(X + \xi)$ — 그냥 더한 뒤 QR 분해의 Q를 취한다. 비용 $O(np^2)$ .
폴라 레트랙션. $R_X(\xi) = (X+\xi)(I + \xi^\top\xi)^{-1/2}$ . 극분해에 해당하며, 열이 정규직교인 행렬 중 $X+\xi$ 에 가장 가까운 것을 준다.
케일리 변환. 접방향에서 만든 반대칭 행렬 $W$ 에 대해 $(I - \tfrac12 W)^{-1}(I + \tfrac12 W)X$ . 직교성을 정확히 보존한다.

세 개 다 진짜 측지선이 아니지만, 1차 레트랙션 + 아르미조 선탐색이면 임계점 수렴이 보장된다(Absil–Mahony–Sepulchre). 즉 정확한 지수사상은 이론적 사치이지 알고리즘의 요건이 아니다. 다만 리만 신뢰영역이나 일부 2차 수렴 증명에는 2차 레트랙션(2차까지 측지선과 일치)이 필요하다.

벡터 이동(vector transport)은 평행이동의 같은 종류의 근사다. 켤레기울기·준뉴턴·모멘텀은 전부 “이전 스텝의 방향을 현재 점으로 옮겨 와서 더한다”는 구조라 필요한데, 진짜 평행이동은 ODE를 풀어야 한다. 실무에서는 접공간으로의 사영(SPD나 스티펠에서 $O(np^2)$ )이나 레트랙션을 미분한 것을 쓴다. 리만 L-BFGS가 실제로 돌아가는 이유가 이 근사이며, 동시에 그 수렴 증명이 유클리드 판보다 훨씬 지저분한 이유이기도 하다.

그래서 Manopt·Pymanopt·geoopt·Geomstats 같은 라이브러리가 요구하는 것은 딱 다섯 개다. 접공간으로의 사영 proj, 유클리드 경사를 리만 경사로 바꾸는 egrad2rgrad, 레트랙션 retr, 벡터 이동 transp, 그리고 (2차법을 쓰면) 유클리드 헤세를 리만 헤세로 바꾸는 ehess2rhess. 새 다양체를 추가한다는 것은 이 다섯 개를 구현한다는 뜻이고, 곡률 텐서를 계산할 일은 평생 없다.²

6. SPD 행렬 — 가장 자주 만나는 곡면[편집]

대칭 양정부호 행렬 집합은 공학에서 가장 흔한 비유클리드 무대다. 공분산 행렬, 확산 텐서, 강성·질량 행렬, 커널 행렬이 전부 여기 산다. 문제는 성분별 유클리드 연산이 이 집합을 벗어난다는 것 — 두 SPD 행렬의 산술평균은 SPD지만, 보간·외삽·회귀를 조금만 하면 고윳값이 음수가 되어 “행렬식이 음수인 확산 텐서” 같은 물건이 나온다. 실제로 확산텐서 영상에서 성분별 보간이 텐서를 부풀리는 팽창 효과(swelling)가 오래된 골칫거리였다.

아핀 불변 계량이 정론 해법이다.

\langle U, V\rangle_P = \mathrm{tr}\bigl(P^{-1}U P^{-1}V\bigr), \qquad d(P,Q) = \bigl\|\log\bigl(P^{-1/2}QP^{-1/2}\bigr)\bigr\|_F

이름대로 임의의 가역행렬 $G$ 에 대한 합동변환 $P \mapsto GPG^\top$ 과 역행렬 $P\mapsto P^{-1}$ 에 대해 거리가 불변이다. 좌표 변환이나 단위 선택에 결과가 흔들리지 않는다는 뜻이라 물리적으로 옳은 요구다. 그리고 이 계량에서 SPD는 단면 곡률이 0 이하인 아다마르 다양체라 측지선이 유일하고 프레셰 평균도 유일하다 — 이론적으로 가장 쾌적한 상황이다. 두 점을 잇는 측지선은

\gamma(t) = P^{1/2}\bigl(P^{-1/2}QP^{-1/2}\bigr)^{t}P^{1/2}

이고, $t = 1/2$ 가 두 행렬의 기하평균이다.

대가는 비용이다. $\exp$ , $\log$ , $P^{\pm1/2}$ 가 전부 고유분해라 $O(n^3)$ 씩 든다. 그래서 로그-유클리드 계량(Arsigny 등 2006)이 나왔다. 행렬 로그로 한 번 보내 놓고 거기서 유클리드로 논다.

d_{\mathrm{LE}}(P,Q) = \|\log P - \log Q\|_F, \qquad \bar P = \exp\Bigl(\tfrac1n\sum_i \log P_i\Bigr)

평균이 닫힌 형태로 나온다. 이 공간은 평평하기 때문이다. 대신 아핀 불변성을 잃고 상사변환 불변성만 남는다. 스케일이 크게 다른 텐서들을 섞을 때 두 계량의 결과가 눈에 띄게 갈리므로, “불변성이 필요한가, 아니면 속도가 필요한가”로 고르면 된다. 최근에는 최적수송에서 온 뷰레-바서슈타인 계량도 후보에 올라 있다.³

응용 쪽에서 확실히 자리 잡은 사례가 뇌-컴퓨터 인터페이스다. EEG 채널 공분산 행렬을 SPD 다양체 위의 점으로 보고, 프레셰 평균 근처의 접공간으로 사상한 다음 그 위에서 평범한 선형 분류기를 돌리는 접공간 분류법이 여러 공개 벤치마크에서 상위권을 차지했다. 특징공학을 거의 안 하고 기하만 바꿨는데 성능이 오른 드문 사례다.

7. 다양체 위의 평균 — 프레셰 평균[편집]

“평균”이 왜 문제가 되는지부터 짚어야 한다. 회전행렬 여러 개를 성분별로 평균 내면 회전행렬이 아니고, 구면 위의 점들을 평균 내면 구면 밖으로 들어간다. 다양체에서는 평균을 최소화 문제로 다시 정의한다.

\bar p \;=\; \arg\min_{p \in M}\ \sum_{i=1}^{n} d\bigl(p, p_i\bigr)^2

이것이 프레셰 평균(카르셰 평균이라고도 한다)이다. 유클리드 공간에서는 산술평균과 정확히 일치하므로 진짜 일반화다.

존재와 유일성이 공짜가 아니라는 것이 요점이다. 아다마르 다양체(곡률 $\le 0$ )에서는 항상 유일하지만, 양의 곡률이 있으면 깨진다 — 구면에서 두 대척점의 프레셰 평균은 적도 전체다. 실무 처방은 데이터가 측지 볼록한 충분히 작은 공 안에 있는지 확인하는 것이고, 그 반지름 조건이 단면 곡률 상한과 절단 궤적으로 표현된다. 자세 추정에서 “평균 회전”을 구할 때 회전들이 넓게 퍼져 있으면 결과가 초기값에 의존하는 현상이 이 이야기다.

계산은 대개 고정점 반복이다.

p^{(k+1)} = \exp_{p^{(k)}}\Bigl(\tfrac{1}{n}\sum_i \log_{p^{(k)}}(p_i)\Bigr)

목적함수의 리만 경사가 $-\tfrac2n\sum_i\log_p(p_i)$ 이므로 이건 스텝 1짜리 리만 경사하강이다. 로그-유클리드처럼 평평한 계량을 쓰면 한 번에 끝나고, 아핀 불변 계량에서는 이 반복을 몇 번 돌려야 한다.

8. 언제 리만으로 가야 하나[편집]

이 관점이 항상 이득은 아니다. 판단 기준을 정리하면 이렇다.

제약이 실제로 병목일 때. 사영이나 벌점으로 매 스텝 실행가능성을 억지로 회복하고 있고 그게 수렴을 망치고 있다면 다양체로 옮길 값어치가 있다. 반대로 사영이 싸고 문제가 잘 조건화돼 있으면 굳이 복잡도를 살 이유가 없다.
불변성이 결론에 영향을 줄 때. 단위계나 좌표계를 바꾸면 답이 달라지는 파이프라인은 계량이 잘못 잡힌 것이다. 이때 리만 관점은 예쁜 이론이 아니라 버그 수정이다.
비볼록이 사실은 측지 볼록일 때. 유클리드 좌표에서 비볼록인 문제가 적절한 계량에서는 측지 볼록이 되는 사례가 있다. SPD 위의 카르셰 평균 목적함수, 행렬 기하평균, 일부 가우시안 혼합 최대우도 문제가 그렇다. 이 경우 국소해 걱정이 사라지므로 이득이 명확하다.
곡률이 크면 상한도 나빠진다. 리만 경사하강의 수렴률 정리에는 단면 곡률 상하한에서 오는 상수가 붙는다. “다양체로 옮겼으니 공짜로 좋아진다”는 없다.
“데이터가 다양체 위에 있다”는 가설은 별개 얘기다. 심층학습의 다양체 가설은 계량은커녕 다양체 자체가 미지인 상황이라, 여기서 다룬 도구들이 그대로 적용되지 않는다. 그쪽은 다양체 학습의 영역이다.

수치적으로 자주 물리는 것들도 적어 둔다. 첫째, $\log$ 의 절단 궤적 근처에서 수치가 망가진다 — 회전이 $\pi$ 에 가까우면 축 방향이 결정되지 않고, SPD에서 조건수가 크면 $\log$ 의 야코비안이 폭발한다. 둘째, 레트랙션은 직교성을 반올림 수준까지만 지킨다. 수십만 스텝을 밟으면 $X^\top X - I$ 가 축적되므로, 주기적으로 재직교화하거나 케일리처럼 구조를 정확히 보존하는 레트랙션을 쓰는 편이 안전하다. 셋째, 접공간의 차원이 주변 공간보다 훨씬 작다. 스티펠에서 유클리드 경사를 그대로 노름 재면 접공간 성분이 아닌 부분까지 세게 되므로, 수렴 판정은 반드시 리만 경사의 노름으로 해야 한다.

9. 관련 문서[편집]

표준 데모가 이렇다. 북극에서 적도까지 자오선을 따라 화살표를 들고 내려가고, 적도를 따라 90도 옆으로 가고, 다시 자오선을 따라 북극으로 올라온다. 출발할 때와 도착했을 때 화살표가 90도 돌아 있다. 아무도 화살표를 돌리지 않았는데 돌아 있다는 것 — 그게 곡률이다. 푸코 진자가 위도에 따라 다른 속도로 도는 것도 같은 현상이다. ↩
그래서 리만 최적화 논문을 읽을 때 “본론”이 어디인지가 뻔하다. 정리와 수렴률은 대체로 기존 결과의 재포장이고, 저자가 진짜로 한 일은 그 문제에 맞는 레트랙션과 벡터 이동을 싸게 만든 것이다. 리뷰어도 거기만 본다. ↩
계량 논쟁은 이 바닥의 국룰 떡밥이다. 아핀 불변파는 “물리적으로 옳다”고 하고, 로그-유클리드파는 “ $n^3$ 을 매 반복 낼 거냐”고 하며, 뷰레-바서슈타인파는 “너희 둘 다 특이행렬 근처에서 터진다”고 한다. 셋 다 맞는 말이라 결론이 안 난다. 실무에서는 세 계량으로 다 돌려 보고 결과가 크게 다르면 그 자체가 데이터에 대한 정보라고 생각하는 편이 건강하다. ↩