신용 할당

통계 소프트웨어 최적설계 마지막 수정: 2026-08-16 04:12:41

1. 개요[편집]

신용 할당 Credit Assignment
정식화	Marvin Minsky (1961)
질문	최종 성과에 대해 어느 결정이 얼마나 책임이 있는가
구조적	어느 파라미터·유닛이 — 역전파, 기여도 분해
시간적	어느 시점의 행동이 — TD, 적격 흔적, n-스텝 반환
다중 에이전트	어느 에이전트가 — 반사실적 베이스라인, 가치 분해
난이도 척도	보상의 희소성 × 지연 시간 × 에이전트 수

신용 할당(credit assignment)은 여러 결정이 얽혀 만들어 낸 하나의 최종 성과를, 각 결정의 기여분으로 되돌려 나누는 문제다. 바둑에서 300수를 두고 반집을 졌을 때 어느 수가 패인이었는지, 100층짜리 신경망이 고양이를 개라고 했을 때 어느 가중치를 얼마나 고쳐야 하는지 — 학습이라는 행위는 결국 이 질문에 답할 수 있느냐로 결정된다.

민스키가 1961년 “Steps Toward Artificial Intelligence”에서 이 이름을 붙였다. 당시 문제의식은 지금과 똑같다 — 성공/실패라는 스칼라 신호 하나를 받고 내부의 수많은 결정을 어떻게 고칠 것인가.¹ 60년이 지나 신경망도 커지고 강화학습도 돌아가지만, 문제 자체는 여전히 그대로이고 해법만 늘었다. 학습이 안 될 때 “표현력이 부족한가”보다 “신용이 제대로 흘러가고 있나”를 먼저 의심하는 것이 대체로 옳다.

2. 두 개의 축 — 구조적과 시간적[편집]

관례적으로 신용 할당은 두 갈래로 나눈다. 서턴이 정리한 구분이며, 필요한 도구가 서로 완전히 다르기 때문에 실용적으로도 의미가 있다.

구조적 신용 할당(structural). 어느 부품이 기여했는가. 출력 오차 하나를 놓고 수억 개 파라미터 각각의 몫을 정하는 문제. 미분 가능한 계산 그래프에서는 연쇄법칙이 답을 준다.
시간적 신용 할당(temporal). 어느 시점의 행동이 기여했는가. 지금 받은 보상은 100스텝 전의 선택 때문일 수도 있고, 방금 전 우연 때문일 수도 있다. 미분이 답을 주지 않는다 — 환경은 미분 가능하지 않고, 애초에 “다른 행동을 했다면 어땠을지”를 관측할 수 없다.

딥 강화학습은 이 둘을 동시에 푼다. 그래서 어렵다. 정책망 안쪽은 구조적 문제이고 정책망 바깥의 환경 상호작용은 시간적 문제인데, 후자의 잡음이 그대로 전자의 학습 신호로 들어간다.

3. 구조적 해법 — 미분 가능하면 이긴다[편집]

미분 가능한 모형에서 구조적 신용 할당은 사실상 해결된 문제다. 역전파는 계산 그래프를 거꾸로 훑으며 $\partial L/\partial \theta_i$ 를 전방 계산과 같은 차수의 비용으로 전부 구해 준다. 이것이 자동 미분의 역방향 모드이며, 스칼라 손실 하나에 대해 수억 개의 기여도를 한 번의 역방향 패스로 얻는다는 사실이 현대 심층 학습의 물적 토대다.

그런데 “미분이 곧 신용”이라는 등식은 국소적이다. 기울기는 무한소 변화의 기여이고, 우리가 알고 싶은 것이 “이 유닛을 통째로 껐다면?” 같은 유한 개입이라면 답이 다르다. 여기서 갈라져 나온 것이 기여도 분해 계열 — 적분 기울기(integrated gradients), 층별 관련도 전파, 그리고 협조적 게임의 셰이플리 값을 특징 기여도로 재해석하는 SHAP 계통이다. 셰이플리 값은 “효율성·대칭성·더미·가법성”을 만족하는 유일한 배분이라는 공리적 정당화를 갖지만, 정확히 계산하면 부분집합 수가 $2^n$ 이라 실무에서는 표본추출 근사를 쓴다.²

기울기가 신용을 제대로 나르지 못하는 대표적 실패도 구조적 문제로 분류된다. 깊은 망에서 야코비안의 곱이 지수적으로 줄거나 커지는 기울기 소실·폭발이 그것이고, 잔차 연결·게이팅(순환 신경망의 LSTM 게이트)·정규화 계층은 전부 신용이 먼 층까지 도달하게 만드는 배관 공사로 읽을 수 있다.

4. 시간적 해법 — 무엇을 목표로 삼을 것인가[편집]

시간적 신용 할당의 핵심 장치는 가치함수다. “이 상태 이후로 받을 총 보상”을 추정해 두면, 먼 미래의 보상을 기다리는 대신 한 스텝 뒤의 추정값으로 지금을 고칠 수 있다. 시간차 학습의 TD 오차 $\delta_t = R_{t+1} + \gamma V(S_{t+1}) - V(S_t)$ 가 바로 “이번 한 스텝이 만든 신용의 증분”이다.

여기서 스펙트럼이 생긴다. $n$ -스텝 반환은 $n$ 스텝만큼 실제 보상을 보고 나머지를 부트스트랩하고, $\lambda$ -반환은 모든 $n$ 을 기하가중으로 섞는다. 온라인 구현체가 적격 흔적이며, 상태마다 “최근에 얼마나 관여했는가”를 지수 감쇠로 기록해 두었다가 TD 오차 한 개를 흔적 전체에 뿌린다. 신용을 시간축 뒤로 흘려보내는 감쇠 필터인 셈이다. 자세한 유도는 해당 문서들에 있으니 여기서는 관점만 짚는다 — $\lambda$ 는 편향-분산 손잡이인 동시에 “신용을 얼마나 멀리까지 되돌릴 것인가”의 손잡이다.

정책을 직접 학습하는 쪽에서는 정책경사의 REINFORCE 추정량

\nabla_\theta J = \mathbb{E}\Bigl[\sum_t \nabla_\theta \log \pi_\theta(a_t\mid s_t)\,\bigl(G_t - b(s_t)\bigr)\Bigr]

이 신용 할당 규칙 그 자체다. 로그확률의 기울기는 “이 행동의 확률을 올리는 방향”이고, 괄호 안이 얼마나 올릴지의 부호와 크기다. 베이스라인 $b(s)$ 는 상태에만 의존하므로 기댓값을 바꾸지 않으면서 분산만 줄이고, $b = V$ 로 두면 괄호가 이점함수 $A(s,a) = Q(s,a) - V(s)$ 가 된다. 이점함수는 문자 그대로 “평균적으로 행동했을 때보다 이 행동이 얼마나 나았는가” — 반사실적 비교를 가치함수로 대신 계산한 것이다. 액터-크리틱의 존재 이유가 여기에 있다.

5. 보상을 손보는 쪽 — 형성과 사후 재라벨링[편집]

신용이 안 흐르는 근본 원인이 보상의 희소성이라면, 보상 쪽을 건드리는 방법도 있다. 문제는 함부로 건드리면 최적 정책이 바뀐다는 것이다. “골대 쪽으로 공을 몰면 보너스”를 줬더니 골은 안 넣고 공만 앞뒤로 굴리는 사고가 이 계열의 고전적 실패다.

보상 형성에서 이 함정을 정면으로 막은 것이 응(Ng), 하라다, 러셀(1999)의 결과다. 추가 보상이 어떤 퍼텐셜 함수 $\Phi(s)$ 의 차분 꼴

F(s,a,s') = \gamma\,\Phi(s') - \Phi(s)

일 때, 그리고 사실상 그때만 최적 정책이 보존된다. 증명의 요지는 간단하다 — 이 형태를 궤적을 따라 더하면 망원 급수처럼 상쇄되어 반환에 $-\Phi(s_0)$ 라는 상수만 남고, 상수는 정책 순위를 바꾸지 않는다. 즉 퍼텐셜 기반 형성은 $Q$ 함수를 $\Phi$ 만큼 평행이동시킬 뿐이며, 실질적으로는 가치함수의 초기 추정을 미리 넣어 주는 것과 같다. 도메인 지식을 안전하게 주입하는 거의 유일한 표준 통로다.

다른 각도가 사후 경험 재생(HER)이다. 목표 조건부 과제에서 실패한 궤적을 버리는 대신 “실제로 도달한 곳”을 목표였던 것으로 재라벨링해 버린다. 로봇 팔이 A로 가려다 B에 갔다면 그 궤적은 A 과제의 실패지만 B 과제의 완벽한 성공 시연이다. 보상 함수를 바꾸지 않고 데이터의 라벨만 바꿔 희소 보상을 밀도 높은 신호로 전환하는 발상이며, 오프폴리시 알고리즘과만 결합 가능하다는 제약이 붙는다.

6. 여럿이 함께한 경우 — 다중 에이전트[편집]

에이전트가 $N$ 명이고 팀 보상이 하나뿐이면 축이 하나 더 생긴다. 축구팀이 이겼을 때 골키퍼의 몫은 얼마인가. 단순히 팀 보상을 모두에게 똑같이 주면 각자의 기울기에 나머지 $N-1$ 명의 행동 잡음이 통째로 섞여, 에이전트 수가 늘수록 학습 신호가 잡음에 묻힌다.

반사실적 베이스라인 (COMA). 다른 에이전트의 행동은 고정한 채 자기 행동만 기본값으로 주변화한 값을 베이스라인으로 쓴다. 이점이 $A^a = Q(s,\mathbf{u}) - \sum_{u'^a} \pi^a(u'^a)\,Q(s,(\mathbf{u}^{-a},u'^a))$ 꼴이 되어, “내가 뭘 하든 결과가 같았다면 내 몫은 0”이 자동으로 성립한다. 중앙집중 학습·분산 실행(CTDE) 구조의 대표 사례.
가치 분해. 팀 가치를 개별 가치의 합(VDN)이나 단조 혼합(QMIX)으로 분해해, 개별 탐욕 선택이 팀 탐욕 선택과 일치하도록 구조적으로 제약한다. 표현력을 깎는 대신 신용 분배를 공짜로 얻는 거래다.
셰이플리 값 기반 분해. 협조 게임의 배분 공리를 그대로 가져와 에이전트별 몫을 정의한다. 공리적으로 가장 깔끔하지만 연합 수가 $2^N$ 이라 근사가 필수이고, 그 근사가 다시 편향을 만든다.

7. 생물학적 타당성 논쟁[편집]

뇌도 신용 할당을 한다면 어떻게 할까. 역전파를 그대로 이식하는 데 가장 자주 지적되는 걸림돌이 가중치 수송 문제(weight transport)다. 역전파의 역방향 경로는 순방향 가중치 행렬의 전치를 정확히 알아야 하는데, 시냅스는 단방향이고 축삭 하나가 반대 방향 시냅스의 값을 읽어 올 물리적 통로가 없다.

피드백 정렬(feedback alignment). 역방향 경로에 전치 대신 고정된 무작위 행렬을 써도 학습이 된다는 관찰. 순방향 가중치가 무작위 피드백과 부호를 맞추는 쪽으로 스스로 정렬되기 때문이라는 설명이 붙었다. 대형 합성곱망에서는 성능이 크게 떨어져 “가능성 증명”에 가깝지만, 정확한 전치가 필수 조건은 아니라는 점을 보인 것만으로 논쟁의 지형을 바꿨다.
예측 부호화·표적 전파. 각 층이 상위 층의 예측 오차만 국소적으로 최소화하는 구조를 두면, 특정 극한에서 역전파와 같은(혹은 근사하는) 갱신이 나온다는 계열. 신용이 전역 신호로 내려오는 대신 국소 오차의 완화 과정으로 대체된다.
삼요소 학습 규칙. 시냅스 국소 흔적(적격 흔적!)과 전역 신경조절 신호(도파민 등)를 곱하는 형태. 강화학습의 $\delta_t \cdot z_t$ 와 형태가 같아, 시간적 신용 할당에 관한 한 생물학 쪽 설명이 오히려 자연스럽다.

정리하면 시간적 신용 할당은 뇌 쪽 대응물이 그럴듯하고, 구조적 신용 할당은 여전히 논쟁 중이다. “뇌는 역전파를 안 한다”에서 “뇌는 역전파를 근사하는 무언가를 할지도 모른다”로 논조가 옮겨 간 정도가 현재 합의에 가깝다.

8. 무엇이 이 문제를 어렵게 만드는가[편집]

요인	증상	흔한 대응
보상 희소성	기울기 추정의 신호 대 잡음비 붕괴	퍼텐셜 기반 형성, HER, 내재적 동기
지연	관련 행동과 보상 사이 상관 소실	가치함수, λ-반환, 어텐션 기반 재분배
부분 관측	같은 관측에 다른 신용	순환 정책, 믿음 상태
확률성	운으로 받은 보상에 신용 부여	베이스라인, 반사실적 비교
에이전트 수	잡음이 N에 비례	반사실적 베이스라인, 가치 분해

마지막 줄까지 읽고 나면 결론은 하나로 모인다. 신용 할당의 모든 해법은 결국 “실제로 일어난 일”과 “일어났을 법한 기준선”을 비교하는 장치다. 역전파는 무한소 섭동을, 이점함수는 평균적 행동을, COMA는 자기 행동만 바꾼 세계를, 퍼텐셜 형성은 미리 알고 있던 가치를 기준선으로 쓴다. 좋은 기준선을 고르는 일이 곧 학습 알고리즘을 설계하는 일이라고 해도 크게 틀리지 않는다.³

9. 관련 문서[편집]

Minsky, M. (1961). “Steps Toward Artificial Intelligence”, Proceedings of the IRE 49(1). 민스키는 게임 프로그램이 한 판을 이겼을 때 그 안의 어느 수가 좋았는지를 알 길이 없다는 점을 들어, 이를 복잡한 강화학습 시스템의 기본 신용 할당 문제라 불렀다. 참고로 8년 뒤 같은 사람이 퍼셉트론의 한계를 지적한 책을 써서 신경망 겨울을 앞당겼다는 평을 듣는데, 그 겨울을 녹인 것이 다름 아닌 역전파, 즉 이 논문이 던진 질문에 대한 답이었다. ↩
셰이플리 값의 계산량이 지수라는 사실은 특성 개수 20개만 넘어가도 바로 체감된다. 그래서 실무 라이브러리는 표본추출·선형 근사·트리 구조 전용 알고리즘 중 하나를 쓴다. “SHAP 값을 봤다”고 할 때 대부분은 근사값을 본 것이고, 그 근사 오차를 보고하는 사람은 드물다. ↩
이 관점은 CAE 하던 사람에게 익숙한 감각이기도 하다. 감도해석에서 설계변수의 기여도를 구할 때도 결국 “기준 형상 대비 얼마나”를 묻고, 기준을 잘못 잡으면 기여도 순위가 통째로 뒤집힌다. 신용 할당은 최적화가 아니라 회계에 가깝고, 회계는 언제나 기준 계정을 정하는 데서 시작한다. ↩