심층 학습

1. 개요[편집]

심층 학습 Deep Learning
본질	합성함수 근사기 + 경사 기반 최적화
학습 알고리즘	역전파 = 역방향 자동 미분
최적화	미니배치 SGD · 모멘텀 · Adam
CAE 접점	대리 모델 · ROM · PINN · 연산자 학습
고질병	외삽 취약 · 보존법칙 미보장 · V&V 난이도

심층 학습(deep learning)은 미분 가능한 파라미터화 함수(주로 여러 층의 신경망)를 합성해 만든 모델을, 데이터에 대한 손실함수의 경사를 따라 최적화함으로써 입력-출력 관계를 학습하는 기계학습 분야다. “심층”이라는 수식어는 층을 여러 개 쌓았다는 뜻이지만, 실질적으로는 사람이 특징(feature)을 설계하지 않고 모델이 표현을 스스로 학습한다는 표현학습(representation learning) 패러다임 전체를 가리킨다.

이 문서는 시뮬레이션·수치해석 종사자 관점의 허브 문서다. 알고리즘 개별 항목은 확률적 경사하강법, 자동 미분, 물리 정보 신경망, 대리 모델, 초해상도, 강화 학습 문서로 넘기고, 여기서는 전체 지형도와 CAE 바닥에서의 위치를 잡는다.

2. 뼈대 — 다층 퍼셉트론과 역전파[편집]

가장 기본형인 다층 퍼셉트론(MLP)은 아핀 변환과 비선형 활성함수를 번갈아 쌓는다.

$$h^{(l)} = \sigma\!\left(W^{(l)} h^{(l-1)} + b^{(l)}\right), \qquad l = 1,\dots,L$$

$\sigma$ 가 없으면 아무리 쌓아도 하나의 아핀 변환으로 붕괴하므로, 비선형성이 깊이의 존재 이유다. 보편근사정리(Cybenko 1989, Hornik 1991)는 은닉층 하나짜리 신경망도 콤팩트 집합 위의 임의의 연속함수를 원하는 정밀도로 근사할 수 있음을 말한다. 다만 이 정리는 “필요한 폭이 얼마인지”도 “그 파라미터를 어떻게 찾는지”도 알려 주지 않는다. 실무에서 깊게 쌓는 이유는 근사 가능성이 아니라 같은 정확도를 훨씬 적은 파라미터로 얻기 때문이다.¹

학습의 엔진인 역전파(backpropagation, Rumelhart–Hinton–Williams 1986)는 사실 새로운 알고리즘이 아니라 역방향 자동 미분의 특수한 이름이다. 연쇄법칙을 출력 쪽에서 입력 쪽으로 적용하면 파라미터가 $P$ 개여도 전체 경사를 순전파 1회의 상수배 비용으로 얻는다. 유한차분으로 하면 $O(P)$ 번의 함수 평가가 필요하니, 파라미터가 억 단위인 모델에서는 이 차이가 곧 가능/불가능의 경계다. CFD 하는 사람이라면 민감도 해석의 수반법(adjoint)과 정확히 같은 구조임을 바로 알아볼 것이다 — 실제로 같은 것이다.

3. 아키텍처 지형도[편집]

• CNN(합성곱 신경망): 국소 수용장 + 가중치 공유로 평행이동 등변성을 구조에 박아 넣는다. 격자 위 데이터에 강해서 CAE에서는 유동장·응력장 같은 정규 격자 필드를 다룰 때 1순위. 합성곱 스텐실이 유한차분법의 차분 스텐실과 형태가 똑같다는 점이 이 궁합의 이유다.
• RNN·LSTM: 시퀀스를 상태를 들고 순차 처리. 시계열 예측에 오래 쓰였지만 장기 의존성과 병렬화 문제로 상당 부분 밀려났다.
• 트랜스포머: 어텐션으로 임의의 두 토큰 쌍을 직접 연결한다. 시퀀스 길이 $n$ 에 대해 $O(n^2)$ 비용을 감수하는 대신 완전 병렬 학습이 가능해졌고, 이게 대형화의 문을 열었다. 요즘은 메시 위의 노드를 토큰으로 보는 그래프·메시 트랜스포머가 CAE에도 들어오는 중.
• GNN: 비정렬 메시와 입자계처럼 연결 관계가 불규칙한 데이터의 자연스러운 표현. 유한요소 메시를 그래프로 그대로 먹일 수 있다는 점에서 구조·유동 대리 모델의 유력 후보.

4. 최적화 — 실제로 어떻게 굴러가는가[편집]

손실은 전체 데이터의 평균이지만, 매 스텝 전부 훑는 건 비싸다. 그래서 미니배치로 경사를 추정한다.

$$\theta_{k+1} = \theta_k - \eta_k \,\frac{1}{|B_k|}\sum_{i \in B_k} \nabla_\theta \ell_i(\theta_k)$$

여기에 붙는 표준 장비들:

• 모멘텀 / 네스테로프: 좁은 골짜기에서의 진동을 감쇠. 조건수 나쁜 문제에서 효과가 크다.
• Adam(Kingma & Ba 2015): 좌표별 1·2차 모멘트 추정으로 학습률을 자동 스케일링. 사실상 대각 전처리 경사하강법이라고 보면 된다.
• 학습률 스케줄: 워밍업 후 코사인 감쇠가 국룰. 확률근사 이론이 요구하는 $\sum\eta_k = \infty,\ \sum\eta_k^2 < \infty$ 조건의 실용적 근사다.
• 배치 정규화 / 층 정규화: 층 입력 분포를 표준화해 손실 지형을 매끄럽게 만든다.
• 잔차 연결(He et al. 2015): $h^{(l)} = h^{(l-1)} + F(h^{(l-1)})$. 항등 경로를 열어 경사 소실을 막는 동시에, 수치해석 관점에서는 오일러 전진 적분 한 스텝과 같은 꼴이다. 이 관찰이 신경 ODE 계열로 이어졌다.

5. 일반화 — 왜 되는지는 아직 논쟁 중[편집]

고전 통계의 상식은 파라미터가 표본 수를 넘으면 과적합으로 망한다는 것이었다. 그런데 심층망은 표본 수의 수백 배 파라미터를 갖고도 잘 일반화한다. 이 불편한 현상을 정리한 것이 이중 하강(double descent) 곡선이다 — 모델 용량을 키우면 시험 오차가 내려가다가 보간 임계점(파라미터 수 ≈ 표본 수)에서 한 번 치솟고, 그 너머에서 다시 내려간다.² 즉 고전적 U자 곡선은 전체 그림의 왼쪽 절반이었던 셈.

현재의 합의는 대략 “명시적 정규화(가중치 감쇠, 드롭아웃)보다 암묵적 정규화가 더 크게 작용한다”는 것이다. SGD 자체가 평평한 최소점을 선호하고, 아키텍처가 데이터의 대칭성을 미리 박아 두며, 조기 종료가 사실상 정규화로 작동한다. 다만 이 설명은 아직 정리(theorem)라기보다 경험칙 모음에 가깝다.

6. CAE 바닥에서 왜 중요한가[편집]

시뮬레이션 종사자에게 심층 학습은 유행어가 아니라 비용 구조를 바꾸는 도구다. 접점은 대략 여섯 갈래.

용도	하는 일	관련 문서
대리 모델	형상·조건 → 성능값을 회귀, 최적화 루프 가속	대리 모델
축소차수모델	오토인코더로 비선형 저차원 다양체 학습	축소차수모델
물리 제약 학습	PDE 잔차를 손실에 넣어 데이터 없이 학습	물리 정보 신경망
연산자 학습	함수공간 사이 사상을 학습, 해상도 무관 추론	연산자 학습
필드 초해상도	저해상도 해를 고해상도로 복원	초해상도
폐포·힘장	난류 폐포항·원자간 퍼텐셜 보정	난류 모델링 · 힘장

특히 두 곳에서 성과가 뚜렷하다. 첫째, 기계학습 힘장(ANI·DeePMD·NequIP·MACE 계열)은 밀도범함수이론 수준의 정확도를 고전 힘장에 가까운 비용으로 재현해, 분자동역학의 시간·크기 스케일을 자릿수로 늘렸다. 둘째, 연산자 학습(FNO, DeepONet)은 초기·경계 조건 함수 전체를 입력으로 받아 해 함수를 내놓는 사상을 학습하므로, 파라미터가 바뀔 때마다 솔버를 다시 돌리는 대신 순전파 한 번으로 근사해를 얻는다. 역문제와 불확실성 정량화처럼 정해석을 수천 번 돌려야 하는 작업에서 판이 뒤집힌다.

7. 한계 — 그래서 아직 솔버를 못 버린다[편집]

• 외삽에 취약하다. 학습 분포 안에서는 놀랍게 정확하지만 밖으로 한 발만 나가면 자신만만하게 틀린다. 설계 최적화는 본질적으로 미탐색 영역으로 나가는 작업이라 이게 치명적이다.
• 보존법칙을 보장하지 않는다. 유한체적법은 이산 수준에서 질량·운동량 보존이 기계적으로 성립하지만, 학습된 모델은 손실이 작아졌을 뿐 보존을 만족한다는 보장이 없다. 등변성·심플렉틱 구조를 아키텍처에 박아 넣는 연구가 활발한 이유.
• 데이터가 비싸다. 고품질 학습 데이터 한 점이 CFD 해석 한 케이스다. “데이터 부족” 문제가 이 바닥에서는 곧 계산 예산 문제로 환산된다.
• V&V가 어렵다. 검증 및 확인의 골격인 격자 수렴·차수 검증이 신경망에는 대응물이 없다. 격자를 반으로 줄여 오차가 4배 줄어드는 것을 확인하는 식의 검증을, 학습 모델에서는 무엇으로 대체할 것인가가 열린 문제다.³
• 불확실성 정량화가 사후적이다. 가우시안 프로세스는 예측 분산을 공짜로 주지만 심층망은 앙상블·베이지안 근사 같은 별도 장치가 필요하고, 그마저 과신하는 경향이 있다.

정리하면 심층 학습은 솔버의 대체재가 아니라 가속기다. 물리를 아는 이산화가 아직 정답을 만들고, 학습 모델은 그 정답을 싸게 반복하거나 보간하는 역할을 맡는 구도가 당분간 이어질 전망이다.⁴

8. 관련 문서[편집]

• 확률적 경사하강법 · 경사하강법 · 자동 미분
• 물리 정보 신경망 · 대리 모델 · 축소차수모델
• 초해상도 · 역문제 · 불확실성 정량화
• 강화 학습 · 가우시안 프로세스 · 주성분 분석
• 난류 모델링 · 힘장 · 검증 및 확인

9. Footnotes[편집]

1. 깊이의 이득을 정량화한 결과들이 있다. 예를 들어 깊이 $k$ 로 다항 개의 뉴런으로 표현되는 함수를 깊이 $k-1$ 로 표현하려면 지수적으로 많은 뉴런이 필요한 함수족이 존재한다. 얕은 망으로도 “가능은 하다”와 “현실적으로 된다”는 완전히 다른 얘기. ↩

2. Belkin, M. et al. (2019), PNAS. 이 곡선이 처음 나왔을 때 통계학 전공자들의 반응은 대체로 “그럴 리가”였다. 지금은 커널 회귀와 랜덤 포레스트에서도 관찰되는 일반 현상으로 정리됐다. ↩

3. 그래서 실무에서는 “학습 모델은 스크리닝, 최종 후보만 정해석”이라는 2단 구조를 쓴다. 안전한 대신 심층 학습의 이득을 절반만 먹는 타협이고, 인증이 걸린 항공·원자력 쪽에서는 이 타협조차 통과가 쉽지 않다. ↩

4. 물론 이 문장은 5년 뒤에 웃음거리가 될 수도 있다. 2012년에 “이미지 인식은 손으로 짠 특징이 이긴다”고 썼던 사람들도 진심이었다. ↩