최대 엔트로피 강화 학습

최적설계 통계 소프트웨어 마지막 수정: 2026-08-13 04:26:18

1. 개요[편집]

최대 엔트로피 강화 학습 Maximum Entropy Reinforcement Learning
목적함수	기대 보상 + α × 정책 엔트로피
백업 연산자	max 대신 로그-합-지수 (소프트 벨만)
최적 정책	행동 확률이 exp(Q(s,a)/α) 에 비례 — 볼츠만 꼴
온도 α	보상 스케일의 역수. 목표 엔트로피로 자동 조절
극한	α → 0 이면 표준 RL, α → ∞ 이면 균등 정책
대표 알고리즘	소프트 Q러닝, SAC
뿌리	제어를 확률적 추론으로 보는 계보 (선형 가해 MDP, 경로적분 제어, 최대 엔트로피 역강화학습)

최대 엔트로피 강화 학습은 기대 누적 보상만 최대화하는 대신 매 상태에서 정책의 엔트로피를 함께 최대화하는 강화 학습의 정식화다. 목적함수에 항 하나가 더 붙는다.

J(\pi) = \sum_{t} \mathbb{E}_{(s_t,a_t)\sim\rho_\pi}\Bigl[\, r(s_t,a_t) + \alpha\,\mathcal{H}\bigl(\pi(\cdot\mid s_t)\bigr) \Bigr], \qquad \mathcal{H}(\pi(\cdot\mid s)) = -\mathbb{E}_{a\sim\pi}\left[\log \pi(a\mid s)\right]

읽으면 이렇다 — “보상을 최대한 챙기되, 굳이 하나로 좁힐 이유가 없으면 여러 갈래를 열어 둬라.” 표준 RL의 최적 정책은 거의 항상 결정론적이다(유한 MDP에서 결정론적 최적 정책이 반드시 존재한다). 그래서 학습이 조금만 진행되면 정책이 한 행동에 몰빵하고 탐험이 죽는다. 엔트로피 항은 그 붕괴에 값을 매겨, 보상이 비슷한 행동들은 비슷한 확률로 남기도록 강제한다.

이름이 겹치지만 제인스의 최대 엔트로피 원리와는 무대가 다르다. 그쪽은 “관측된 모멘트 제약 아래 가장 덜 주장하는 분포를 골라라”는 추론 원칙이고, 여기서는 그 변분 문제가 상태마다 하나씩 등장한다. 다만 아래에서 보듯 수학적 알맹이는 정확히 같다. 상태 $s$ 에서의 제약이 “행동가치의 기댓값”이면, 답은 언제나 지수족이다.

2. 소프트 벨만 방정식[편집]

핵심은 한 상태에서의 작은 변분 문제다. 행동가치 $Q(s,\cdot)$ 가 주어졌을 때

\max_{\pi(\cdot\mid s)}\ \Bigl\{\ \mathbb{E}_{a\sim\pi}[Q(s,a)] + \alpha\,\mathcal{H}(\pi(\cdot\mid s))\ \Bigr\}

를 확률 단체 위에서 풀면 라그랑주 승수법 한 번으로 답이 나온다.

\pi^*(a\mid s) = \frac{\exp\bigl(Q(s,a)/\alpha\bigr)}{\int \exp\bigl(Q(s,a')/\alpha\bigr)\,da'}, \qquad \max\text{값} = \alpha \log \int \exp\bigl(Q(s,a)/\alpha\bigr)\,da'

최적 정책은 소프트맥스 함수를 $Q/\alpha$ 에 씌운 볼츠만 정책이고, 최적값은 로그-합-지수다. 통계물리로 번역하면 $-Q$ 가 에너지, $\alpha$ 가 온도, 분모가 분배함수, 최적값이 자유에너지다. 그래서 이 정식화의 가치함수를 소프트 가치함수라 부른다.

V_{\text{soft}}(s) = \alpha \log \int \exp\!\left(\frac{Q_{\text{soft}}(s,a)}{\alpha}\right) da, \qquad Q_{\text{soft}}(s,a) = r(s,a) + \gamma\, \mathbb{E}_{s'}\bigl[V_{\text{soft}}(s')\bigr]

표준 벨만 방정식과 비교하면 차이는 딱 하나 — $\max_a$ 자리에 $\alpha\log\sum_a\exp(\cdot/\alpha)$ 가 들어갔다. 그래서 “소프트”다. $\alpha \to 0$ 이면 로그-합-지수는 $\max$ 로 수렴해 원래 벨만 방정식이 돌아오고, $\alpha \to \infty$ 면 정책이 균등분포로 눌린다.

이 교체는 이론적으로도 공짜다. 로그-합-지수는 최댓값 대비 $\alpha\log|\mathcal{A}|$ 이내로 갇힌 단조·비확장 연산자라, 소프트 벨만 연산자도 여전히 $\gamma$ -축약이다. 따라서 유일한 고정점이 존재하고 소프트 가치 반복이 수렴한다. 동적 계획법의 수렴 논증이 거의 그대로 이식된다는 점이 이 틀의 가장 큰 실용적 미덕이다.¹

3. 온도 α — 사실은 보상 스케일[편집]

$\alpha$ 는 “보상 1점이 정보 1nat 만큼의 가치가 있는가”를 정하는 환율이다. 목적함수를 $\alpha$ 로 나눠 보면 명확해진다.

\frac{1}{\alpha}J(\pi) = \sum_t \mathbb{E}\left[\frac{r}{\alpha} + \mathcal{H}\right]

즉 $\alpha$ 를 정하는 것과 보상 스케일을 정하는 것은 같은 일이다. 그런데 보상 스케일은 환경마다, 심지어 학습 도중에도 달라진다. 초반에는 보상이 다 0에 가까워 엔트로피 항이 지배하고, 후반에는 보상이 커져 엔트로피가 무시된다. 고정 $\alpha$ 가 잘 안 먹히는 근본 이유다.

그래서 표준 해법은 $\alpha$ 를 하이퍼파라미터에서 제약조건의 승수로 강등시키는 것이다. 목표 엔트로피 $\bar{\mathcal{H}}$ 를 정해 놓고

\max_\pi\ \mathbb{E}\left[\sum_t r_t\right] \quad\text{s.t.}\quad \mathbb{E}\bigl[\mathcal{H}(\pi(\cdot\mid s_t))\bigr] \ge \bar{\mathcal{H}}

의 쌍대문제를 풀면 $\alpha$ 의 갱신식이

\alpha \leftarrow \alpha - \lambda_\alpha \nabla_\alpha \mathbb{E}_{a\sim\pi}\bigl[-\alpha \log\pi(a\mid s) - \alpha\bar{\mathcal{H}}\bigr]

로 떨어진다. 엔트로피가 목표보다 낮으면 $\alpha$ 를 올려 탐험을 되살리고, 높으면 내려 보상 쪽으로 밀어붙인다. 연속 제어에서는 행동 차원 수 $\dim(\mathcal{A})$ 의 음수, 즉 $\bar{\mathcal{H}} = -\dim(\mathcal{A})$ 를 기본값으로 쓰는 것이 관례다. 하이퍼파라미터를 없앤 게 아니라 직관이 통하는 것으로 바꿔치기한 것이지만, 이 교환은 실전에서 확실히 남는 장사였다.²

4. 무엇이 좋아지는가[편집]

탐험이 공짜로 따라온다. $\epsilon$ -탐욕처럼 균등 잡음을 뿌리는 대신, 가치가 비슷한 행동일수록 자주 뽑는 가치 인지형 탐험이 목적함수 자체에서 나온다. 탐험 스케줄을 손으로 짤 일이 줄어든다.
다봉 해가 살아남는다. 좌·우 두 경로의 보상이 비슷한 미로에서 표준 RL은 하나를 골라 나머지를 지운다. 최대 엔트로피 정책은 둘 다 확률질량을 유지하므로, 한쪽이 막히는 환경 변화에 즉시 대응한다.
강건성. 엔트로피 정규화 정책은 보상 함수가 어느 범위 안에서 적대적으로 흔들려도 성능이 급락하지 않는다는 결과가 있다. 최대 엔트로피 RL이 일종의 강건 제어 문제를 푸는 것으로 해석된다는 이야기이며, 시뮬레이터-실물 격차(sim-to-real)에서 이 계열이 선호되는 이유 중 하나다.
오프폴리시와 궁합. 정책이 $Q$ 의 함수로 명시되므로 별도의 정책 개선 단계가 자연스러워지고, 리플레이 버퍼 재사용이 쉬워진다.
역강화학습의 언어. “전문가는 최적이 아니라 거의 최적이며, 동률인 행동은 무작위로 고른다”는 모형이 곧 볼츠만 정책이다. 최대 엔트로피 역강화학습이 시연 데이터의 확률모형으로 이 꼴을 쓰는 배경이고, 더 거슬러 올라가면 제어를 확률적 추론으로 보는 계보(경로적분 제어, 선형 가해 MDP)와 만난다.

5. SAC — 이 틀의 표준 구현[편집]

소프트 액터-크리틱(SAC)은 위 정식화를 연속 행동공간의 오프폴리시 액터-크리틱으로 구현한 것이다. 구성 요소만 나열하면,

소프트 $Q$ 두 개. 표적값은 $r + \gamma\bigl(\min_{i=1,2}Q_{\bar{w}_i}(s',a') - \alpha\log\pi_\theta(a'\mid s')\bigr)$ , $a' \sim \pi_\theta(\cdot\mid s')$ . 쌍둥이 크리틱의 최솟값으로 과대추정을 누르는 것은 TD3에서 가져왔다. 표적망은 폴리악 평균으로 천천히 따라간다.
정책 갱신은 KL 사영. $\pi_\theta$ 를 $\exp(Q/\alpha)$ 정규화 분포에 가깝게 당긴다. 실제 손실은 $\mathbb{E}\bigl[\alpha\log\pi_\theta(a\mid s) - Q_w(s,a)\bigr]$ 이며, 분배함수는 $\theta$ 에 무관해 기울기에서 사라진다.
재파라미터화 기울기. $a = \tanh\bigl(\mu_\theta(s) + \sigma_\theta(s)\odot\epsilon\bigr)$ , $\epsilon\sim\mathcal{N}(0,I)$ 로 표본을 만들어 $Q$ 를 행동에 대해 직접 미분한다. 로그미분(REINFORCE) 추정량보다 분산이 훨씬 작다.
온도 자동 조절. 앞 절의 쌍대 갱신.

여기서 초심자가 반드시 걸리는 함정 하나. $\tanh$ 로 행동을 $[-1,1]$ 에 밀어 넣으면 밀도가 바뀌므로 야코비안 보정이 필요하다. $u$ 가 스쿼싱 전 값일 때

\log \pi(a\mid s) = \log \mu(u\mid s) - \sum_{i} \log\bigl(1 - \tanh^2(u_i)\bigr)

이 항을 빼먹으면 엔트로피 추정이 틀리고, 온도 자동 조절이 그 틀린 값을 쫓아가며 학습 전체가 조용히 어긋난다. 값이 폭발하지 않고 “그냥 좀 안 되는” 형태로 나타나서 잡기가 성가시다.³

또 하나. 미분 엔트로피는 음수가 될 수 있다. 연속 행동공간에서 $\mathcal{H}$ 가 $-3$ 같은 값을 찍는 건 정상이며, 목표 엔트로피를 $-\dim(\mathcal{A})$ 로 잡는 것도 그래서다. 이산 엔트로피의 감각으로 “엔트로피가 음수네, 버그다”라고 판단하면 안 된다.

6. 표준 RL과 나란히 놓고 보기[편집]

항목	표준 RL	최대 엔트로피 RL
백업	max	로그-합-지수
최적 정책	결정론적(탐욕)	볼츠만 꼴, 확률적
최적값 유일성	동률이면 임의 선택	동률이면 균등 배분
탐험	외부에서 주입	목적함수에 내장
축약성	γ-축약	γ-축약 (유지)
편향	없음	원래 목적 대비 O(α) 편향

마지막 줄이 대가다. 최대 엔트로피 정책은 원래 문제의 최적 정책이 아니다. 엔트로피 보너스만큼 일부러 손해를 보고 있고, 그 크기는 $\alpha$ 에 비례한다. 평가 시점에는 대개 $\pi$ 의 평균 행동(결정론적 모드)을 쓰는 것으로 이 편향을 걷어내지만, 학습된 $Q$ 자체가 소프트 값이라 완전히 사라지지는 않는다. 보상 스케일이 극단적으로 크거나, 최적 행동이 확실히 유일한 문제에서는 엔트로피 항이 순수한 손해로 작동한다. 만능이 아니라 탐험이 어렵고 해가 여러 갈래인 문제에 특화된 도구로 보는 게 맞다.

7. 관련 문서[편집]

로그-합-지수가 $\max$ 를 위에서 감싸므로 소프트 가치는 항상 진짜 최적가치 이상이다. 낙관적 편향을 알고서 감수하는 셈인데, 그 크기가 $\alpha\log|\mathcal{A}|$ 로 명시적으로 유계라 통제 가능한 종류의 거짓말이다. 강화학습에서 “통제 가능한 편향”은 귀한 물건이다. ↩
$\bar{\mathcal{H}} = -\dim(\mathcal{A})$ 라는 값에 유도는 없다. 논문이 “휴리스틱”이라고 밝히고 쓴 숫자이며, 여러 벤치마크에서 안 터지더라는 경험이 근거다. 그래도 “온도를 감으로 찍기” 대신 “행동 차원 세기”로 바뀐 것만으로 실무 부담이 크게 줄었다. ↩
이 계열 알고리즘의 재현 실패 사례를 모아 보면 절반은 이 로그-야코비안 항, 나머지 절반은 표적망 폴리악 계수와 학습률 비율이다. 수식은 논문 한 줄인데 구현은 세 줄이고, 그 세 줄을 두 줄만 쓰면 학습 곡선이 “될 듯 말 듯” 하다가 끝난다. 검증 및 확인 관점에서 보면 단위 시험을 붙여야 할 지점이 명백한데 아무도 안 붙인다. ↩