강화 학습

최적설계 게임 개발 소프트웨어 마지막 수정: 2026-07-25 04:52:48

1. 개요[편집]

강화 학습 Reinforcement Learning (RL)
형식화	마르코프 결정 과정 (S, A, P, R, γ)
학습 신호	스칼라 보상 하나
양대 계열	가치 기반(Q러닝·DQN) / 정책경사(REINFORCE·PPO)
핵심 트레이드오프	탐험 vs 이용
주 무대	물리 시뮬레이터

정답을 알려주지 않고 점수만 알려준다. 그리고 그 점수마저 한참 뒤에 준다.

강화 학습(reinforcement learning, RL)은 환경과 상호작용하며 받은 보상의 누적 합을 최대화하는 정책(policy)을 시행착오로 학습하는 기계학습 패러다임이다. 지도학습처럼 “이 입력의 정답은 저것”이라는 라벨이 없고, 오직 “지금 이 행동의 결과가 몇 점”이라는 스칼라 하나만 주어진다. 게다가 그 점수가 방금 한 행동 때문인지 열 스텝 전 행동 때문인지도 알려주지 않는다(신용 할당 문제).

시뮬레이션 위키에서 RL이 중요한 이유는 따로 있다. RL의 학습 데이터는 거의 전부 시뮬레이터가 만든다. 실제 로봇을 수억 번 넘어뜨리며 학습시킬 수는 없으니, 물리 엔진 안에서 수천 개의 환경을 병렬로 굴려 경험을 뽑는다. 즉 RL은 시뮬레이션의 소비자이자, 시뮬레이터 충실도(fidelity)를 가장 가혹하게 시험하는 응용이다.

게임 AI 쪽의 행동 트리·유틸리티 AI·유한 상태 기계가 사람이 규칙을 손으로 짜는 방식이고, 몬테카를로 트리 탐색·미니맥스 알고리즘이 모델을 알고 실행 시점에 탐색하는 방식이라면, RL은 경험에서 정책 자체를 학습해 저장해두는 방식이다. 셋은 배타적이지 않고 실제로는 자주 결합된다(AlphaZero = RL로 학습한 신경망 + MCTS 탐색).

2. MDP와 벨만 방정식[편집]

RL 문제는 마르코프 결정 과정(마르코프 결정 과정, MDP)으로 형식화한다. 상태 집합 $\mathcal{S}$ , 행동 집합 $\mathcal{A}$ , 전이 확률 $P(s'|s,a)$ , 보상 $R(s,a)$ , 할인율 $\gamma \in [0,1)$ 의 다섯 쌍이다. 목표는 할인 누적 보상(return)의 기대값을 최대화하는 정책 $\pi(a|s)$ 를 찾는 것.

G_t = \sum_{k=0}^{\infty} \gamma^k\, r_{t+k+1}, \qquad J(\pi) = \mathbb{E}_\pi\!\left[G_0\right]

할인율 $\gamma$ 는 수학적으로는 무한 합을 수렴시키는 장치이고, 공학적으로는 “얼마나 먼 미래까지 신경 쓸 것인가”를 정하는 시상수다.¹ 여기서 상태 가치 $V^\pi$ 와 행동 가치 $Q^\pi$ 가 만족하는 자기참조 관계가 벨만 방정식이다.

Q^{*}(s,a) = \mathbb{E}\!\left[\, r + \gamma \max_{a'} Q^{*}(s',a') \,\right]

전이 확률 $P$ 를 알고 상태 공간이 작으면 이 방정식을 동적 계획법(가치 반복·정책 반복)으로 직접 풀 수 있다. 문제는 실제 공학 문제에서 $P$ 를 모르거나(유동장, 접촉), 안다 해도 상태가 연속·고차원이라는 것. RL은 이 방정식을 표본으로 근사해서 푸는 방법론의 총칭이라고 봐도 크게 틀리지 않는다.

3. 모델프리 — 가치 기반과 정책경사[편집]

가치 기반(value-based). 벨만 최적 방정식의 잔차를 표본으로 줄여 나간다. Q러닝의 갱신식은 이렇게 생겼다.

Q(s,a) \leftarrow Q(s,a) + \alpha\left[\, r + \gamma \max_{a'} Q(s',a') - Q(s,a) \,\right]

대괄호 안이 시간차 오차(TD error)다. 다음 행동을 실제 정책이 고른 $a'$ 로 바꾸면 온-폴리시인 SARSA가 된다. $Q$ 를 표 대신 심층 신경망(심층 학습)으로 근사한 것이 DQN이며, 표본 상관을 깨는 경험 재생(replay buffer)과 발산을 막는 타깃 네트워크가 안정화의 핵심 장치였다. 다만 이산 행동에 강하고 연속 제어에는 그대로 쓰기 어렵다.

정책경사(policy gradient). 정책 $\pi_\theta$ 를 직접 파라미터화하고 목적함수의 기울기를 따라 올라간다. REINFORCE의 추정량은 다음과 같다.

\nabla_\theta J(\theta) = \mathbb{E}_{\pi_\theta}\!\left[\nabla_\theta \log \pi_\theta(a|s)\, \hat{A}\right]

$\hat{A}$ 는 이득(advantage) 추정값으로, 보통 가치함수 근사(크리틱)로 기준선을 빼서 분산을 줄인다. 이것이 액터-크리틱 구조다. 날것의 정책경사는 스텝 하나에 정책이 붕괴하기 쉬워서, 갱신 폭을 신뢰 영역으로 제한하는 TRPO와 그 실용판인 PPO(비율을 $1\pm\epsilon$ 로 클리핑)가 사실상 산업 표준이 됐다. 연속 제어에서는 SAC·TD3 같은 오프-폴리시 계열도 널리 쓰인다.

4. 탐험과 이용[편집]

RL 고유의 딜레마는 탐험-이용 트레이드오프다. 지금까지 제일 좋아 보이는 행동만 반복하면(이용) 더 나은 선택지를 영영 못 보고, 계속 새로 찔러보면(탐험) 아는 것도 못 써먹는다. 가장 단순한 처방이 확률 $\epsilon$ 로 무작위 행동을 하는 ε-greedy, 좀 더 원리적인 처방이 방문 횟수가 적은 선택지에 신뢰구간 보너스를 얹는 UCB 계열이다.

UCB1 다중 슬롯머신. 각 팔의 참 승률은 감춰져 있고, 알고리즘은 표본 평균에 신뢰구간 보너스 c·sqrt(ln N / n_i)를 더한 값이 최대인 팔을 매 스텝 고른다. c=1.4는 UCB1의 이론값 √2에 가까운 설정이라 탐험과 이용이 교과서적으로 균형 잡힌다. 다만 이것은 상태가 하나뿐인 특수한 MDP(문맥 없는 밴딧)이라 상태 전이도 할인된 미래 보상도 없다 — 전체 강화 학습이 아니라 그 탐험-이용 축만 떼어낸 최소 사례다.

같은 UCB 규칙이 게임 트리의 각 노드에 붙으면 몬테카를로 트리 탐색의 UCT가 된다. 밴딧과 RL을 잇는 다리가 바로 이 지점이고, 예산을 어떻게 배분하느냐가 지평선 효과처럼 탐색 깊이의 함정으로도 이어진다.

모델 기반 RL은 아예 환경의 전이 모델 $\hat{P}$ 를 학습해서, 학습된 모델 안에서 상상으로 롤아웃을 돌린다(Dyna, PILCO, MuZero, world model 계열). 실제 환경 표본이 비쌀 때 표본 효율이 크게 올라가는 대신, 모델 오차가 누적되면 정책이 “모델의 버그를 착취”하는 방향으로 학습되는 고질병이 있다. 학습된 모델 위에서 유한 구간 최적화를 반복한다는 점에서 모델 예측 제어와 발상이 맞닿아 있으며, 실제로 둘을 섞은 하이브리드가 로봇 제어에서 흔하다.

5. 시뮬레이터가 곧 학습 환경이다[편집]

RL의 표본 요구량은 잔인하다. Atari급 과제 하나에 수천만~수억 프레임, 사족보행 정책 하나에 수년치 시뮬레이션 시간이 든다. 실제 하드웨어로는 불가능하니, 학습은 물리 엔진 안에서 이뤄진다. 최근 프레임워크들은 GPU 컴퓨팅으로 수천 개 환경의 강체 동역학을 동시에 적분해, 물리 시뮬레이션 자체를 학습 루프에 통째로 밀어 넣는다.

문제는 sim-to-real 격차다. 시뮬레이터의 마찰·접촉·구동기 응답·센서 지연은 전부 근사이고, 정책은 그 근사의 빈틈을 정확히 파고들어 최적화된다. 실기에 옮기면 그대로 무너지는 이유다. 대응 전략은 크게 셋이다.

도메인 무작위화(domain randomization) — 마찰계수·질량·지연·관측 잡음을 매 에피소드마다 무작위로 흔들어, 어느 하나에 최적화되지 못하게 만든다. 결과적으로 정책이 강건해진다. 이 발상은 불확실성 정량화에서 입력 분포를 전파하는 것과 사실상 같은 논리다.
모델 충실도 보강 — 구동기 응답처럼 해석 모델이 부실한 부분만 실측 데이터로 학습한 서브모델(actuator network)로 대체한다. 대리 모델을 물리 엔진 안에 심는 셈.
비대칭 학습·잠재 상태 추정 — 학습 때는 시뮬레이터의 특권 정보(지형 높이, 접촉 상태)를 크리틱에 주고, 실기에서는 고유수용 센서만으로 그 정보를 추정하도록 학생 정책을 증류한다.

이 조합으로 사족보행 로봇이 시뮬레이션에서만 학습한 정책으로 실제 험지를 걷는 결과들이 2019년 이후 잇달아 발표됐고, 로봇 손의 정교한 물체 조작도 자동 도메인 무작위화로 실기 이전에 성공했다.

6. 공학 응용과 한계[편집]

유동 제어 — 2차원 원기둥 후류에 합성 제트를 다는 고전 문제를 PPO로 학습시켜 항력을 유의미하게 줄인 연구(Rabault 등, 2019)가 CFD 쪽 RL 붐의 출발점이 됐다. 카르만 와열 억제, 항력 저감, 혼합 촉진 등으로 확장됐다.
플라즈마 제어 — TCV 토카막의 자기 코일 전압을 액터-크리틱 정책으로 직접 제어해 다양한 플라즈마 형상을 유지한 사례(2022, Nature)가 대표적이다. 학습은 전량 자유경계 플라즈마 시뮬레이터에서, 배치는 실제 토카막에 했다. 플라즈마 시뮬레이션이 학습 환경으로 쓰인 교과서적 예.
형상 최적화 — 설계 변수를 순차적으로 결정하는 문제로 재구성하면 RL이 붙는다. 다만 평가 한 번이 CFD 한 판인 경우 베이지안 최적화나 수반법 기반 기울기가 표본 효율에서 대체로 유리하다. RL이 이기는 지점은 하나의 설계가 아니라 상황에 반응하는 제어 정책이 필요할 때다.
게임·애니메이션 — 물리 기반 캐릭터 제어, 래그돌에서 자연스러운 회복 동작, 군중 시뮬레이션의 개별 에이전트 정책 등.

한계도 분명하다. 표본 효율이 나쁘고(시뮬레이터 없이는 시작조차 못 한다), 보상 설계가 곧 사양 설계라서 잘못 쓰면 정책이 의도와 무관한 방식으로 점수만 올리는 보상 해킹이 발생한다. 그리고 재현성이 악명 높다 — 난수 시드만 바꿔도 학습 곡선이 갈리는 사례가 체계적으로 보고돼 있어, 시드 여러 개의 분포로 보고하는 것이 최소한의 예의로 자리 잡았다.² 시뮬레이션 쪽 관점에서 보면 이는 검증 및 확인의 문제와 정확히 같은 종류의 문제다. 학습된 정책이 학습 분포 밖에서 무엇을 할지에 대한 보증은 여전히 아무도 주지 못한다.³

7. 관련 문서[편집]

$\gamma$ 를 0.99에서 0.999로 바꾸면 유효 지평이 대략 100스텝에서 1000스텝으로 늘어난다. 숫자 하나 고쳤을 뿐인데 학습이 통째로 안 되기 시작하는 대표적 하이퍼파라미터. 논문에 안 적혀 있으면 재현은 포기하는 게 정신건강에 이롭다. ↩
시드 3개로 평균 내서 SOTA를 주장하는 논문과, 시드 10개의 사분위 범위를 그리는 논문 사이에는 넘을 수 없는 신뢰의 벽이 있다. 후자를 보면 대체로 성능 차이가 논문 초록에서 주장하던 것보다 겸손해진다. ↩
“일단 돌려” 정신으로 학습시킨 정책이 시뮬레이터의 접촉 처리 버그를 찾아내 공중부양으로 보상을 쓸어 담는 장면은, RL 하는 사람이라면 한 번쯤 직접 목격하는 통과의례다. 정책은 틀리지 않았다. 사양이 틀렸다. ↩