사후 경험 재생

최적설계 소프트웨어 시뮬레이션 마지막 수정: 2026-08-19 04:31:07

1. 개요[편집]

사후 경험 재생 Hindsight Experience Replay (HER)
제안	Andrychowicz 외 (2017, OpenAI)
한 줄 요약	실패한 궤적을 "다른 목표의 성공"으로 재라벨링
전제	목표 조건부 정책 π(a\|s,g) + 오프폴리시 알고리즘
핵심 근거	전이 동역학이 목표 g에 의존하지 않음
목표 샘플링	final / future / episode / random, 배수 k
대표 성과	이진 희소 보상만으로 로봇 팔 밀기·집기 학습

“A로 가려다 B에 갔다면, 그건 A 과제의 실패이자 B 과제의 완벽한 시연이다.”

사후 경험 재생(Hindsight Experience Replay, HER)은 목표를 달성하지 못한 궤적을 버리는 대신, 그 궤적이 실제로 도달한 상태를 원래 목표였던 것처럼 다시 라벨을 붙여 재생 버퍼에 넣는 기법이다. 보상 함수도, 환경도, 알고리즘의 손실식도 건드리지 않는다. 바꾸는 것은 저장된 전이에 적힌 목표 $g$ 하나뿐이다.

안드리코비치(Andrychowicz) 외가 2017년에 제안했고, 문제의식은 명확하다. 로봇 조작 과제의 정직한 보상은 “목표 자세에 들어왔으면 0, 아니면 −1”인 이진 신호인데, 무작위로 움직이는 팔이 목표 자세에 우연히 들어갈 확률은 사실상 0이다. 보상이 전부 −1이면 시간차 학습의 TD 오차도 전부 같은 값이라 배울 것이 아무것도 없다. 보상을 손으로 조밀하게 깎아 주는 보상 형성이 전통적 해법이지만, 조작 과제에서 좋은 퍼텐셜을 손으로 설계하는 것은 그 자체가 연구 과제다. HER은 보상은 그대로 두고 데이터를 재해석한다.

2. 목표 조건부라는 전제[편집]

HER을 붙이려면 먼저 정책과 가치함수가 목표를 입력으로 받아야 한다. $\pi(a \mid s, g)$ , $Q(s, a, g)$ 형태이며, 샤울(Schaul) 외가 2015년에 제안한 보편 가치함수 근사(UVFA)가 이 구조를 정식화했다. 하나의 신경망이 목표 공간 전체에 걸친 정책 가족을 표현하고, 목표 사이의 일반화가 일어난다.

과제 설정은 보통 이렇게 잡는다.

상태에서 “달성된 목표”를 뽑는 사상 $m: \mathcal{S} \to \mathcal{G}$ (예: 물체의 3차원 위치).
목표 $g$ 의 달성 판정 $\lVert m(s) - g \rVert \le \epsilon$ .
보상 $r(s, a, s', g) = 0$ 이면 달성, $-1$ 이면 미달성. 즉 음의 스텝 비용으로 “빨리 도달하라”만 말한다.

이 보상은 손댈 데가 없다. 과제의 정의 그 자체이고, 형성 항도 도메인 지식도 들어 있지 않다. HER의 매력은 여기에 있다 — 아무 지식도 안 넣고 희소성을 푼다.

3. 왜 재라벨링이 정당한가[편집]

핵심은 딱 한 문장이다. 환경의 전이 확률 $P(s' \mid s, a)$ 는 목표 $g$ 에 의존하지 않는다. 목표는 보상 함수 안에만 등장하고 물리에는 없다. 그러므로 $(s, a, s')$ 라는 전이 삼중항은 모든 목표에 대해 동시에 유효한 관측이고, 사후에 아무 $g'$ 이나 붙여 $r' = r(s,a,s',g')$ 를 다시 계산해도 그 전이는 여전히 진짜 환경에서 일어난 일이다.

즉 HER이 만드는 것은 가짜 데이터가 아니다. 같은 물리적 사실을 다른 질문에 대한 답으로 다시 읽는 것이다. 이 점에서 HER은 중요도 표본추출처럼 분포 차이를 가중치로 보정하는 계열과 성격이 다르다 — 보정할 분포 차이가 애초에 전이 쪽에는 없다.

3.1. 그래서 오프폴리시여야 한다[편집]

문제는 행동 쪽이다. 재라벨링된 전이의 행동 $a$ 는 목표 $g'$ 을 노리던 정책이 고른 것이 아니라 원래 목표 $g$ 를 노리던(그리고 실패한) 정책이 고른 것이다. 온폴리시 알고리즘(정책경사·PPO·TRPO 계열)은 정의상 현재 정책이 만든 표본을 요구하므로, 이 데이터를 그대로 먹일 수 없다.

오프폴리시 쪽은 사정이 다르다. $Q$ 학습의 벨만 백업

y = r(s,a,s',g') + \gamma \max_{a'} Q(s', a', g')

은 $a'$ 을 타깃 네트워크가 스스로 최대화하므로 저장된 $a$ 가 어느 정책에서 나왔는지 묻지 않는다. 필요한 것은 $(s,a,s')$ 이 진짜 전이라는 사실뿐이다. 그래서 HER의 짝은 항상 DQN·Q러닝 계열이나 DDPG·SAC 같은 오프폴리시 액터-크리틱이다. 원 논문은 DDPG와 결합했다.

온폴리시로 끌고 오려는 시도가 없지는 않다. 라우버 외(2019)의 사후 정책 경사는 재라벨링된 궤적에 중요도 가중치를 붙여 정책 경사 추정량을 살려 내는데, 가중치의 분산이 궤적 길이에 따라 폭발하는 고전적 문제를 그대로 물려받는다. “HER은 오프폴리시 전용”이라는 통념은 원리적 금지가 아니라 분산 예산의 문제라고 보는 편이 정확하다.

4. 목표 샘플링 전략[편집]

전이 하나마다 원래 목표에 더해 몇 개의 대체 목표를 붙일지, 어디서 뽑을지를 정해야 한다. 원 논문의 네 가지가 사실상 표준으로 굳었다.

전략	대체 목표를 뽑는 곳	성격
`final`	그 에피소드의 마지막 상태 하나	가장 단순, 에피소드당 목표 1개
`future`	같은 에피소드에서 그 전이 이후 방문한 상태 중 무작위 k개	표준값, 대개 가장 좋음
`episode`	같은 에피소드의 아무 상태 무작위 k개	인과적으로 앞선 상태도 포함
`random`	버퍼 전체의 아무 상태 무작위 k개	가장 넓지만 도달 가능성 낮음

future 가 잘 되는 이유는 인과성에 있다. 시각 $t$ 의 전이에 붙이는 대체 목표를 $t$ 이후에 실제로 지나간 상태로 제한하면, 그 전이는 “그 목표를 향해 실제로 진전한 한 걸음”이라는 사실이 보장된다. episode 처럼 과거 상태까지 허용하면 “목표에서 멀어지는 행동”에 성공 라벨이 붙을 수 있고, random 은 아예 그 궤적에서 도달 가능성이 없는 목표를 붙여 학습 신호를 희석한다.

$k$ 는 재라벨링된 전이와 원래 전이의 비율을 정한다. 논문은 $k=4$ 를 기본으로 썼고, 크게 올리면(수십) 원래 목표 분포의 데이터가 배치에서 밀려나 오히려 성능이 떨어진다.¹ $k$ 는 “얼마나 사후 해석에 의존할 것인가”의 손잡이이고, 극단값 양쪽 모두 나쁘다는 점에서 전형적인 편향-분산 손잡이다.

5. 왜 커리큘럼처럼 작동하나[편집]

HER이 사실상 자동 커리큘럼이라는 관찰이 이 기법의 핵심 매력이다. 학습 초기의 정책은 거의 아무 데도 못 가므로, 재라벨링으로 생기는 목표는 전부 출발점 근처의 쉬운 목표다. 그 쉬운 목표들을 배우면 정책의 도달 범위가 넓어지고, 그러면 다음 라운드에서 재라벨링되는 목표도 더 멀어진다. 난이도가 정책의 현재 능력을 따라 자동으로 올라가는 것이다.

이 구조를 손으로 짜려면 커리큘럼 학습의 난이도 스케줄을 설계해야 하는데, HER은 그것을 정책의 실제 실패 분포에서 공짜로 얻는다. 후속 연구들이 목표 생성 쪽을 직접 손보는 방향(사후 목표 생성, 우선순위 기반 재라벨링)으로 간 것도 이 관점의 연장선이다.

6. 성과와 한계[편집]

원 논문의 실험은 7자유도 로봇 팔의 밀기(push)·미끄러뜨리기(slide)·집어 옮기기(pick-and-place)였다. 이진 희소 보상 + DDPG 단독은 세 과제 모두 사실상 학습에 실패하고, HER을 붙이면 전부 풀린다. 흥미로운 대조군도 하나 있다 — 손으로 형성한 조밀 보상이 오히려 이진 희소 보상 + HER보다 못했다. 조밀 보상이 최적화하기 쉬운 대리 목표를 만들어 정책을 엉뚱한 국소해로 끌고 갔기 때문으로 해석되며, “보상을 잘 깎는 것이 늘 답은 아니다”라는 이 판의 유명한 사례가 됐다.²

한계도 분명하다.

목표 분포의 편향. 재라벨링이 만드는 목표는 “정책이 실제로 도달한 상태”의 분포에서 나오고, 이는 우리가 관심 있는 의도한 목표 분포와 다르다. 학습 신호의 대부분이 도달하기 쉬운 목표에 쏠리므로, 목표 공간의 일부가 정책의 도달 범위 밖에 오래 남아 있으면 그 영역은 끝까지 데이터가 안 생긴다. 자동 커리큘럼의 뒷면이다.
확률적 환경에서의 사후 편향. 결과를 보고 나서 목표를 정하면 운으로 성공한 행동에 성공 라벨이 붙는다. 결정론적 시뮬레이터에서는 문제가 없지만 전이에 잡음이 있으면, 기댓값이 나쁘고 분산만 큰 도박적 행동이 재라벨링을 통해 과대평가된다. 물리 로봇이나 접촉이 심한 조작에서 실제로 관측되는 실패 양상이며, 편향을 줄이려는 후속 변형들이 여럿 나왔다.³
달성된 목표 사상 $m$ 이 있어야 한다. 상태에서 “어떤 목표가 달성되었는지”를 뽑아낼 수 없으면 재라벨링 자체가 불가능하다. 물체 위치처럼 목표 공간이 상태의 부분집합인 과제에서는 자명하지만, 목표가 “물체를 안정적으로 잡은 상태” 같은 술어면 그 판정기부터 만들어야 한다.
모든 희소 보상 문제에 듣지는 않는다. HER이 전제하는 것은 목표 조건부 구조다. 목표가 하나로 고정된 과제(예: 특정 미로의 유일한 출구)에는 대체 목표라는 개념이 없고, 그런 문제는 내재적 동기 계열의 탐험 보너스나 시연 활용 쪽이 담당한다.

7. 시뮬레이션 판에서 읽으면[편집]

HER의 이득 구조는 환경 상호작용이 비싸고 저장은 싸다는 비대칭을 최대한 활용한 것이다. CFD·다물체 동역학·유한요소 접촉 해석을 환경으로 두면 롤아웃 한 번의 값이 재생 버퍼 몇 기가바이트보다 훨씬 비싸다. 이미 지불한 롤아웃 한 개를 $k+1$ 개의 학습 표본으로 재활용하는 것은 표본 효율이 아니라 계산 예산의 문제로 읽어야 한다.

같은 이유로 HER은 목표를 파라미터로 갖는 설계·제어 과제에 잘 붙는다. “밸브를 목표 압력까지 올려라”, “매니퓰레이터를 목표 자세로 보내라”처럼 목표가 연속 파라미터인 문제라면, 실패한 해석 결과도 다른 목표값에 대한 성공 사례로 재활용할 수 있다. 역운동학 학습이나 파라미터 스위프 형태의 시뮬레이션 최적화에서 같은 발상이 반복해서 재발명되는 이유다.

다만 위에서 짚은 확률적 편향 문제는 이 판에서 특히 조심해야 한다. 해석 결과에 수렴 잔차나 격자 의존성에서 오는 잡음이 섞여 있으면, 그것은 “확률적 전이”와 구별되지 않는다. 결과를 보고 목표를 정하는 순간 수치 잡음마저 성공으로 라벨링될 수 있다는 뜻이고, 이건 검증 및 확인이 늘 경계하던 종류의 자기충족적 결론이다.

8. 관련 문서[편집]

구현상 $k$ 는 “배치를 만들 때 재라벨링된 표본을 뽑을 확률”로 들어가는 경우가 많다. $k=4$ 면 $p = 1 - 1/(1+k) = 0.8$ , 즉 배치의 80%가 사후 목표다. 원래 목표 데이터가 20%밖에 안 남는 셈인데도 잘 되는 것이, 처음 이 코드를 읽는 사람이 가장 놀라는 지점이다. 어차피 원래 목표는 초반에 한 번도 달성되지 않아 정보가 없으니 손해 볼 것도 없다. ↩
Andrychowicz, M. 외 (2017). “Hindsight Experience Replay”, NeurIPS. 조밀 보상이 희소 보상보다 못한 결과는 논문에서도 따로 강조된다. 목표까지의 거리를 보상으로 준다는 것은 “직선으로 가라”는 지시와 같은데, 물체를 밀어 옮기려면 팔이 일단 물체 뒤쪽으로 돌아가야 한다. 거리 보상은 그 우회를 손해로 채점한다. 조밀 보상 설계가 어려운 이유가 이 한 문장에 다 들어 있다. ↩
직관적으로 이렇다. 100번에 1번 대박이 나는 행동을 하고 마침 대박이 났다면, 그 궤적을 사후에 “대박 상태를 목표로 했던 성공”으로 라벨링하게 된다. 나머지 99번의 실패는 각자 다른 목표의 성공으로 재라벨링되어 이 행동의 위험을 아무도 증언하지 않는다. 결과론적 평가가 위험을 지운다는 점에서, 사후 확신 편향이라는 인지 편향과 이름만이 아니라 구조까지 같다. ↩