설명 가능한 인공지능

통계 수치해석 소프트웨어 마지막 수정: 2026-09-02 04:51:08

1. 개요[편집]

설명 가능한 인공지능 Explainable AI
약칭	XAI
두 갈래	사후 설명(post-hoc) · 본질적 해석가능성(intrinsic)
대표 도구	LIME · SHAP · 적분 기울기 · 반사실 설명
이론적 뿌리	협력 게임 이론의 섀플리 값 (1953)
가장 흔한 오독	기여도를 인과 효과로 읽는 것

“모형이 왜 그렇게 예측했는지 설명해 주세요”는 정당한 요구다. 문제는 그 요구에 대한 답이 하나가 아니고, 서로 다른 답들이 서로 다른 그림을 그린다는 것이다.

설명 가능한 인공지능(explainable AI, XAI)은 예측 모형의 출력이 어떤 입력 요인에 어떻게 의존하는지를 사람이 검토할 수 있는 형태로 제시하는 기법과 그 방법론 전반을 가리킨다. 크게 두 진영으로 갈린다 — 이미 학습된 블랙박스를 건드리지 않고 바깥에서 설명을 만들어 내는 사후 설명, 그리고 애초에 사람이 읽을 수 있는 구조의 모형을 쓰는 본질적 해석가능성.

이 분야가 2016년 무렵부터 폭발한 이유는 기술이 아니라 배치 환경 때문이다. 대출 심사·의료 판독·채용 선별·자율주행처럼 틀렸을 때 책임이 발생하는 자리에 성능만 좋고 속을 알 수 없는 모형이 들어가기 시작했고, 규제와 감사가 뒤따라왔다. 공학 시뮬레이션 쪽도 남 일이 아니다. 대리 모델이 설계 결정을 좌우하는 순간, “왜 이 형상이 낫다고 했는가”에 답하지 못하는 모형은 검토를 통과하지 못한다.

먼저 밝혀 둘 것. 이 문서에서 다루는 어떤 도구도 인과를 알려 주지 않는다. 전부 “이 모형이 무엇에 의존하는가”를 말할 뿐이고, “이 세계에서 무엇을 바꾸면 결과가 바뀌는가”는 다른 질문이다. 마지막 절에서 다시 다룬다.

2. 두 갈래 — 사후 설명과 본질적 해석가능성[편집]

	사후 설명	본질적 해석가능성
대상	학습이 끝난 임의의 모형	구조가 읽히는 모형만
성능	원 모형 성능 그대로	대체로 약간 손해
충실도	근사 — 원 모형과 어긋날 수 있음	정의상 완전
안정성	표본·시드·초모수에 흔들림	모형이 안정하면 안정
예	LIME, SHAP, saliency, 반사실	희소 선형모형, 점수표, 최적 희소 트리, GA²M

루딘(2019)의 주장은 이 표의 3행에 집중된다. 사후 설명은 원 모형이 실제로 한 계산이 아니라 그것을 흉내 낸 다른 모형의 계산이고, 둘이 어긋나면 사용자는 존재하지 않는 논리를 신뢰하게 된다. 그래서 고위험 의사결정에서는 블랙박스를 설명하려 들지 말고 처음부터 해석 가능한 모형을 제대로 최적화하라는 것이 그의 논지다. “해석 가능한 모형은 성능이 나쁘다”는 통념도 정면으로 반박한다 — 정형 표 데이터에서 잘 최적화된 희소 모형이 부스팅 앙상블과 대등한 사례가 여럿 보고돼 있다. 잎 개수를 고정하고 오차를 최소화하는 최적 희소 트리 솔버들이 실용 단계에 들어선 것도 이 흐름의 일부이며, 자세한 내용은 결정 트리 문서의 해당 절에 있다.

반대 입장도 정당하다. 이미지·음성·자연어에서는 해석 가능한 모형이 실제로 크게 뒤처지고, 학습된 모형이 이미 배치된 상태에서 재학습이 불가능한 경우도 많다. 실무의 답은 대개 “고위험 정형 데이터는 본질적 해석가능성, 그 외는 사후 설명 + 그 설명을 얼마나 믿을지에 대한 별도의 검증”이다.

3. LIME — 국소 대리모형[편집]

리베이로 외(2016)의 LIME(Local Interpretable Model-agnostic Explanations)은 발상이 한 문장이다. 복잡한 결정경계도 한 점 주변을 확대하면 거의 선형이다. 그러니 설명하고 싶은 점 $x$ 근처에서만 잘 맞는 단순 모형을 새로 적합해 그것을 설명으로 내놓자.

\xi(x) = \operatorname*{arg\,min}_{g \in G}\ \mathcal{L}\big(f,\ g,\ \pi_x\big) + \Omega(g)

$f$ 는 원 모형, $G$ 는 해석 가능한 모형족(보통 희소 선형), $\pi_x$ 는 $x$ 로부터의 거리에 따른 가중치, $\Omega$ 는 복잡도 벌점(비영 계수 개수)이다. 절차는 이렇다.

$x$ 를 해석 가능한 표현으로 바꾼다 — 이미지면 슈퍼픽셀 켬/끔 벡터, 텍스트면 단어 유무 벡터, 표 데이터면 구간화된 특징.
그 표현에서 성분을 무작위로 꺼서 섭동 표본 수천 개를 만든다.
각 표본을 원래 입력 공간으로 되돌려 $f$ 에 통과시켜 라벨을 얻는다.
$\pi_x$ 로 가중한 라쏘 회귀를 적합한다. 계수가 곧 기여도.

모형에 대해 아무것도 몰라도 되고(예측 API만 있으면 된다), 이미지·텍스트·표에 전부 붙는다는 점이 강력했다. 대신 약점도 구조적이다.

불안정하다. 섭동이 무작위라 같은 점을 두 번 설명하면 다른 답이 나온다. 표본 수를 늘리면 완화되지만 비용이 선형으로 는다.
근방의 크기가 임의다. 커널 폭 $\sigma$ 를 조금만 바꿔도 어떤 특징이 중요한지가 뒤집힌다. 그리고 $\sigma$ 를 고르는 원리적 기준이 없다.
섭동 표본이 데이터 분포 밖에 있다. 성분을 독립적으로 꺼서 만든 조합은 현실에 존재하지 않는 입력인 경우가 많고, 모형은 그런 곳에서 무슨 값이든 뱉을 수 있다. 설명이 실제 데이터가 아니라 상상 속 데이터에서 만들어진다.

세 번째 약점은 공격 벡터가 된다. 슬랙 외(2020)는 섭동 표본이 원 분포와 구별 가능하다는 점을 이용해, 실제 입력에는 인종 대리변수로 차별적 판정을 하면서 LIME/SHAP의 섭동 표본에는 무해한 특징만 쓰는 척하는 모형을 만들어 보였다. 감사 도구를 통과하도록 설계된 모형은 감사 도구를 통과한다. 설명 도구를 규제 준수의 증거로 쓰는 관행에 대한 가장 날카로운 반례다.

4. SHAP — 섀플리 값과 그 공리[편집]

런드버그와 리(2017)의 SHAP(SHapley Additive exPlanations)은 “기여도를 어떻게 나눌 것인가”를 협력 게임 이론의 오래된 답으로 대체한다. 특징 $M$ 개를 플레이어로, 부분집합 $S$ 만 알 때의 모형 출력을 그 연합의 가치 $v(S)$ 로 보면, 특징 $i$ 의 배당은 섀플리 값(Shapley, 1953)으로 결정된다.

\phi_i = \sum_{S \subseteq N\setminus\{i\}} \frac{|S|!\,\big(M-|S|-1\big)!}{M!}\Big[v\big(S\cup\{i\}\big) - v(S)\Big]

읽는 법은 이렇다 — 가능한 모든 특징 투입 순서에 대해 $i$ 를 추가했을 때의 한계 기여를 평균한 값. 앞의 계수는 그 순서들의 비율이다. 이 배당이 특별한 이유는 다음 네 공리를 동시에 만족하는 배당이 유일하기 때문이다.

효율성: $\sum_i \phi_i = v(N) - v(\varnothing)$ . 예측값과 기준값의 차이가 남김없이 배분된다. XAI 문헌에서는 국소 정확도라 부른다.
대칭성: 모든 연합에 대해 기여가 같은 두 특징은 같은 배당을 받는다.
더미: 어떤 연합에도 기여가 없는 특징의 배당은 0이다.
가법성: 두 게임의 합에 대한 배당은 각 게임 배당의 합이다. 앙상블 모형의 SHAP 값이 개별 모형 SHAP 값의 가중합이 되는 성질이 여기서 나온다.

“기여도 분해에는 유일한 정답이 있다”는 이 주장이 SHAP을 순식간에 표준으로 만들었다. 그런데 유일성은 $v$ 가 주어졌을 때의 이야기다. 그리고 $v$ 를 정하는 일이 진짜 문제다.

4.1. 값 함수를 어떻게 정하는가[편집]

$v(S)$ 는 “특징 $S$ 만 아는 모형의 출력”인데, 학습된 $f$ 는 항상 전체 특징을 요구한다. 없는 특징을 적분해 없애야 하고, 여기에 두 가지 서로 다른 선택지가 있다.

v_{\text{조건부}}(S) = \mathbb{E}\big[f(X)\mid X_S = x_S\big], \qquad v_{\text{개입}}(S) = \mathbb{E}\big[f(x_S, X_{\bar S})\big]

전자는 나머지 특징을 조건부 분포에서, 후자는 주변 분포에서 뽑는다. 특징들이 독립이면 둘이 같지만, 상관이 있으면 답이 달라진다. 개입 방식은 상관 구조를 깨서 현실에 없는 조합(키 190 cm, 몸무게 40 kg)에서 모형을 평가하게 되고, 조건부 방식은 모형이 실제로 쓰지도 않는 특징에 0이 아닌 기여도를 준다(그 특징이 쓰이는 특징과 상관돼 있다는 이유만으로). 어느 쪽도 틀리지 않았고, 그냥 다른 질문에 답하는 것이다. 실무에서 문제가 되는 이유는 대부분의 라이브러리가 어느 쪽인지 문서 깊숙이 숨겨 두기 때문이다.¹

4.2. 계산 비용[편집]

정의대로 계산하면 부분집합이 $2^M$ 개다. 특징 20개면 백만, 30개면 십억. 그래서 실제 구현은 전부 근사다.²

방법	아이디어	비용
KernelSHAP	섀플리 커널로 가중한 최소제곱으로 $\phi$ 를 회귀 추정	표본 수 × 모형 호출
TreeSHAP	트리 구조를 타고 내려가며 정확한 값을 동적계획으로	$O(TLD^2)$ — 트리 수·잎 수·깊이
DeepSHAP	층별 기여 규칙을 역전파처럼 전파	역전파 몇 번
순열 표집	무작위 순서를 뽑아 한계 기여를 몬테카를로 평균	표본 수에 비례

KernelSHAP은 흥미롭게도 LIME과 같은 뼈대다 — 가중 선형회귀인데, 가중치와 벌점을 특정한 형태로 고르면 그 회귀계수가 정확히 섀플리 값이 된다. 원논문의 통합 서사가 이것이고, “LIME의 임의적인 커널 폭을 공리로 대체했다”고 읽으면 된다. TreeSHAP은 트리 앙상블에 대해 정확한 값을 다항 시간에 준다는 점에서 유일하게 특권적이며, 랜덤 포레스트와 부스팅이 지배하는 정형 데이터에서 SHAP이 사실상 기본값이 된 실질적 이유다.

5. 기울기 기반 saliency 와 그 취약성[편집]

미분 가능한 모형이라면 훨씬 싼 길이 있다. 출력의 입력에 대한 기울기를 그대로 중요도로 쓰는 것이다(시모냔 외, 2013).

\text{saliency}(x) = \left|\frac{\partial f_c}{\partial \mathbf x}\right|

역전파 한 번이면 끝이라 합성곱 신경망 시대에 폭발적으로 쓰였다. 그리고 폭발적으로 비판받았다.

기울기 포화. 기울기는 “무한소로 움직였을 때”의 민감도인데, ReLU의 죽은 구간이나 softmax의 포화 구간에서는 기울기가 0에 가깝다. 특징이 이미 충분히 강해서 출력을 최대로 밀어붙인 상태라면 가장 중요한 특징의 기울기가 정확히 0이 되는 역설이 생긴다. 적분 기울기(순다라라잔 외, 2017)는 기준점 $x'$ 에서 $x$ 까지의 경로를 따라 기울기를 적분해 이를 고친다.

\mathrm{IG}_i(x) = (x_i - x'_i)\int_0^1 \frac{\partial f\big(x' + \alpha(x - x')\big)}{\partial x_i}\,d\alpha

이러면 기여도의 합이 $f(x) - f(x')$ 와 정확히 일치하는 완전성 공리가 성립한다. 대신 기준점 $x'$ 를 사람이 골라야 하고, 그 선택이 결과를 바꾼다. 이미지에서 검은 화면을 기준으로 쓰면 검은 픽셀은 정의상 기여도 0을 받는다 — 검은색이 진짜 판단 근거인 사진에서는 설명이 통째로 잘못된다.

건전성 검사 실패. 아데바요 외(2018)는 잔인할 정도로 간단한 시험을 제안했다. 모형의 가중치를 위층부터 차례로 무작위로 덮어쓰고 saliency 맵이 얼마나 변하는지 본다. 진짜 설명이라면 모형이 망가졌으니 맵도 망가져야 한다. 결과는 충격적이었다 — Guided Backprop 계열은 가중치를 전부 무작위화해도 거의 같은 그림을 내놨다. 그 방법들은 모형을 설명한 것이 아니라 입력 이미지의 엣지를 검출하고 있었다. 사람 눈에 그럴듯해 보인다는 것이 검증이 될 수 없다는 사실이 이때 확실해졌다.³

적대적 설명. 고르바니 외(2019)는 예측 라벨과 확신도를 거의 그대로 유지하면서 saliency 맵만 완전히 다른 곳을 가리키게 만드는 미세 섭동을 구성했다. 원인은 구조적이다 — 고차원 조각별 선형 함수에서 값은 안정적이어도 기울기는 훨씬 덜 안정적이다. 즉 적대적 예제가 예측에 대해 하는 일을, 같은 방식으로 설명에 대해 할 수 있다. SmoothGrad처럼 잡음을 섞어 평균 내는 처방이 완화는 해 주지만 근본 해결은 아니다.

6. 반사실 설명[편집]

“왜 거절됐습니까”에 대한 사람의 자연스러운 답은 기여도 목록이 아니라 대조다. 바흐터 외(2017)의 반사실 설명은 이 직관을 그대로 최적화 문제로 옮긴다.

x^\star = \operatorname*{arg\,min}_{x'}\ \lambda\big(f(x') - y^\star\big)^2 + d(x, x')

“연 소득이 300만 원 더 많았다면 승인됐을 것”이라는 형태의 답이 나온다. 장점이 여러 개다. 모형 내부가 필요 없고, 기여도라는 추상적 수치 대신 행동 가능한 목표를 주며, 모형의 로직을 통째로 공개하지 않고도 개별 결정을 설명할 수 있다.

실전에서는 거리 $d$ 만으로 부족해 조건이 여럿 붙는다.

희소성 — 바꿔야 할 특징이 적을 것. L1 거리나 명시적 개수 제약.
타당성 — $x^\star$ 가 데이터 다양체 위에 있을 것. 아니면 “나이를 3살 줄이고 근속연수를 5년 늘려라” 같은 답이 나온다.
실행가능성 — 나이·성별처럼 바꿀 수 없는 특징은 고정. 이 조건을 명시적으로 넣은 것이 회생(recourse) 연구 계열이다.
다양성 — 하나가 아니라 서로 다른 반사실 여러 개를 주면 사용자가 고를 수 있다.

한계도 분명하다. 반사실이 성립한다는 보장은 모형 안에서만이다. 실제로 소득을 올리면 다른 상관 변수들도 함께 움직이고, 모형은 그 세계를 모른다. 반사실 설명이 인과 추론의 언어를 빌려 쓰지만 인과 모형은 아니라는 점은 계속 지적돼 왔다.

7. 공학 대리모형에서의 XAI[편집]

시뮬레이션 바닥에서 XAI가 붙는 자리는 거의 항상 대리 모델이다. CFD나 구조해석을 수백 번 돌려 얻은 데이터로 크리깅이나 신경망을 학습시키고 그 위에서 최적화를 돌리는데, 검토 회의에서 반드시 나오는 질문이 “어떤 설계 변수가 지배적인가”다.

그런데 이 분야에는 이미 오래된 도구가 있다. 분산 기반 전역 민감도 분석, 즉 소볼 지수다. 그렇다면 SHAP과 소볼 지수는 무슨 관계인가? 답이 있다. 오언(2014)이 보인 바에 따르면, 입력이 서로 독립일 때 각 입력의 섀플리 효과는 1차 소볼 지수와 총 소볼 지수 사이에 놓인다.

S_i \;\le\; \phi_i^{\text{Shapley}} \;\le\; S_{T_i}

의미는 이렇다. 1차 지수는 상호작용 몫을 전혀 안 주고, 총 지수는 상호작용 몫을 관련된 모든 입력에 중복해서 준다(그래서 총합이 1을 넘는다). 섀플리 효과는 상호작용 몫을 참여자들에게 공평하게 쪼개 나눠 총합이 정확히 1이 되게 한다. 효율성 공리가 공학적으로 무엇을 뜻하는지 이보다 깔끔한 설명이 없다. 입력이 상관돼 있을 때도 섀플리 효과는 정의되지만 소볼 분해 쪽이 먼저 무너지므로, 상관 입력에서는 오히려 섀플리 쪽이 쓸 만하다는 것이 최근의 정리다.

공학 쪽에는 다른 분야가 부러워할 특권도 하나 있다. 설명을 물리로 검증할 수 있다. 대리모형의 SHAP이 “레이놀즈수가 항력계수에 거의 영향이 없다”고 말하면, 그건 설명이 아니라 모형이 틀렸다는 증거다. 차원해석이 알려 주는 무차원군 구조, 이미 아는 단조성, 물리적 상한 같은 사전 지식이 설명의 검증 및 확인 기준이 되어 준다. 라벨이 인간 판단인 사회적 응용에는 없는 사치이고, 실제로 XAI가 공학에서 가장 잘 작동하는 이유다.

주의할 점 하나. 시뮬레이터 자체에 대한 민감도 해석과 대리모형에 대한 SHAP은 인식론적 지위가 다르다. 전자는 실제로 입력을 바꿔 코드를 다시 돌리는 개입이라 그 모형 세계 안에서는 인과적이다. 후자는 관측 데이터에 적합한 함수의 국소 구조를 읽는 것이라 그렇지 않다. 대리모형이 시뮬레이터를 잘 근사하는 구간에서는 둘이 수렴하지만, 외삽 구간에서는 대리모형의 SHAP이 물리가 아니라 학습 데이터 분포의 아티팩트를 보고 있을 수 있다.

8. 설명은 인과가 아니다[편집]

이 문서에서 가장 중요한 한 절이다. 지금까지의 모든 도구는 다음 질문에 답한다.

이 모형의 출력은 이 입력에 어떻게 의존하는가?

그리고 다음 질문에는 답하지 않는다.

이 세계에서 이 입력을 바꾸면 결과가 어떻게 바뀌는가?

둘의 차이는 사소하지 않다. 모형은 상관을 학습한다. 대리변수(우편번호가 소득의 대리, 검사 횟수가 중증도의 대리)에 의존하는 모형은 그 대리변수에 큰 기여도를 부여하고, 그것은 정확한 설명이다 — 모형이 실제로 그렇게 하고 있으니까. 그러나 그 우편번호를 바꾸는 정책이 결과를 바꾸지는 않는다. 병원 데이터에서 천식 환자의 폐렴 사망률이 낮게 예측된 유명한 사례가 정확히 이 구조였다(천식 환자는 즉시 중환자실로 가므로 예후가 좋았다). 모형도 설명도 데이터에 충실했고, 그 충실함이 곧 위험이었다.⁴

여기서 나오는 실무 규칙 셋.

기여도 순위를 변수 조작의 근거로 쓰지 마라. 그건 인과 추론의 영역이고, 관측 데이터만으로는 추가 가정 없이 답이 안 나온다. 같은 함정을 랜덤 포레스트의 변수 중요도가 공유한다.
상관된 특징에서는 어떤 기여도 분해도 흔들린다. 거의 같은 정보를 가진 두 변수는 서로의 기여도를 희석하거나(순열 방식) 임의로 나눠 갖는다(트리 분할). 도메인 지식으로 묶어 그룹 단위로 보는 것이 최소한의 방어다.
설명 자체를 검증하라. 시드를 바꿔 다시 계산해 안정적인지, 가중치를 무작위화하면 무너지는지, 아는 물리와 모순되지 않는지. 검증되지 않은 설명은 가장 위험한 종류의 신뢰를 만든다 — 근거 없는 확신이 근거 있어 보이는 그림의 형태로 제공되기 때문이다.

9. 규제 맥락[편집]

짧게만 짚는다. EU GDPR 22조와 전문 71항이 자동화된 결정에 대한 “설명을 받을 권리”의 근거로 자주 인용되지만, 조문에 그런 권리가 명시돼 있는지는 법학계에서 논쟁 중이고 구속력 있는 설명권이 아니라 자동화 의사결정의 존재와 논리에 대한 통지 의무에 가깝다는 해석이 유력하다. 2024년 성립한 EU AI 법은 고위험 시스템에 문서화·투명성·인간 감독 의무를 부과하는데, 이 역시 “SHAP 그래프를 첨부하라”는 식의 기술 명세가 아니라 시스템 수준의 요구사항이다.

실무적 함의는 오히려 이쪽이다. 규제가 요구하는 것은 대체로 사후 설명 도구가 아니라 문서화·추적성·검증이다. 설명 도구를 붙였다는 사실 자체가 준수의 증거가 되지 않으며, 앞서 본 LIME/SHAP 우회 공격은 그 반례가 실제로 구성 가능함을 보였다.

10. 관련 문서[편집]

순다라라잔과 나즈미(2020)의 제목이 이 상황을 정확히 요약한다 — “모형 설명을 위한 여러 섀플리 값들”. 공리가 배당의 유일성을 보장하지만, 값 함수의 선택은 공리 바깥에 있어서 실제로는 서로 다른 SHAP이 여럿 존재한다. “유일한 정답”이라는 마케팅과 “구현마다 답이 다르다”는 현실이 공존하는 이유다. ↩
특징이 30개면 부분집합이 십억 개라는 계산이 나오는데, 여기에 미니배치 배경 데이터 100개를 곱하고 표본 하나가 아니라 전체 데이터셋을 설명하려 든다면 견적이 어떻게 되는지는 각자 계산해 보길 권한다. TreeSHAP이 없었다면 SHAP은 논문 안에서만 사는 방법이었을 것이다. ↩
이 결과가 특히 아팠던 이유는 Guided Backprop 계열의 그림이 가장 예뻤기 때문이다. 물체 윤곽이 선명하게 떠오르는 맵이 논문 그림으로 계속 쓰였는데, 그게 선명했던 이유가 그냥 엣지 검출이어서였다. 시각적 설득력과 충실도는 상관이 없는 정도가 아니라 때때로 반대 방향이다. ↩
카루아나 외(2015)가 보고한 사례다. 흥미로운 대목은 이 문제를 발견할 수 있었던 이유가 해석 가능한 모형(일반화 가법 모형)을 썼기 때문이라는 점이다. 부스팅 앙상블로 같은 정확도를 냈다면 규칙이 눈에 띄지 않은 채 배치됐을 것이다. 사후 설명 대 본질적 해석가능성 논쟁에서 가장 자주 인용되는 실증 사례. ↩