베이지안 네트워크

1. 개요

베이지안 네트워크 Bayesian Network, Belief Network
구조	방향 비순환 그래프(DAG) + 노드별 조건부 확률표
결합분포	$P(x_1,\dots,x_n)=\prod_i P(x_i\mid \mathrm{pa}(x_i))$
독립성 판정	d-분리
정확 추론	변수 제거, 접합 트리 — 트리폭에 지수적
근사 추론	루피 믿음 전파, 가능도 가중, 깁스 표본추출, 변분 추론
구조 학습	점수 기반(BIC·BDeu), 제약 기반(PC), 혼합
정립	펄(1980년대), 로리첸-슈피겔할터(1988)

결합분포 2ⁿ−1 개 칸을 다 채우라고? 누가 누구를 직접 건드리는지만 그려 오면 나머지는 그래프가 다 했다.

베이지안 네트워크(Bayesian network)는 확률변수들을 방향 비순환 그래프(DAG)의 노드로 두고, 각 노드에 “부모가 주어졌을 때의 조건부 분포”만 붙여 결합분포 전체를 곱으로 표현하는 확률 그래프 모형이다.

$$P(x_1,\dots,x_n) = \prod_{i=1}^{n} P\big(x_i \mid \mathrm{pa}(x_i)\big)$$

이진 변수 $n$ 개의 결합분포를 그대로 적으면 자유 매개변수가 $2^n-1$ 개다. 각 노드의 부모가 $k$ 개 이하라면 베이지안 네트워크는 많아야 $n\,2^k$ 개로 충분하다. $n=30$, $k=3$ 이면 10억 대 240. 조건부 독립을 그래프 구조로 박제해서 차원의 저주를 피하는 것이 이 모형의 존재 이유다.

1980년대 주디아 펄이 확률을 이용한 추론 엔진으로 체계화했고, 의료 진단 전문가 시스템과 함께 “확률적 AI”의 상징이 됐다. 같은 그래프 모형 가족 중 무향 그래프 판은 마르코프 확률장, 시간축으로 펼친 특수형이 은닉 마르코프 모형과 칼만 필터다. 화살표를 “원인 → 결과”로 읽고 개입까지 다루는 확장은 인과 추론 문서의 구조적 인과모형이 이어받는다.

2. 화살표 읽는 법 — 세 가지 기본 연결

세 노드 연결 패턴만 알면 그래프에서 독립성을 눈으로 읽을 수 있다.

패턴	모양	$A$, $C$ 의 관계	$B$ 를 관측하면
사슬	$A\to B\to C$	종속	독립이 된다
분기	$A\leftarrow B\to C$	종속(공통 원인)	독립이 된다
충돌	$A\to B\leftarrow C$	독립	종속이 된다

앞의 둘은 직관대로다. 중간을 알면 정보 흐름이 막힌다. 세 번째 충돌자(collider, v-구조)가 함정이다. 서로 무관한 두 원인이 공통 결과를 관측하는 순간 엮인다. 이것을 일반화한 판정 규칙이 d-분리(d-separation)다. 두 노드 집합 사이의 모든 경로가, 관측된 사슬·분기 노드에서 막히거나, 관측되지 않았고 후손도 관측되지 않은 충돌자에서 막히면 둘은 조건부 독립이다. 그래프가 말하는 독립은 분포에서 반드시 성립한다(역은 일반적으로 성립하지 않는다 — 수치가 우연히 상쇄되는 독립은 그래프에 안 보인다).

노드 하나를 나머지 전부로부터 차단하는 최소 집합 마르코프 담요는 “부모 + 자식 + 자식의 다른 부모”다. 깁스 표본추출에서 한 노드를 갱신할 때 담요만 보면 된다는 뜻이라, 계산을 국소화하는 데 결정적이다.

3. 스프링클러 예제 — 해명 효과를 숫자로

교과서 단골인 4노드 망. 흐림 $C$ → 스프링클러 $S$, 흐림 $C$ → 비 $R$, 그리고 $S\to W\leftarrow R$ (잔디 젖음).

• $P(C)=0.5$
• $P(S\mid C)=0.1$, $P(S\mid\lnot C)=0.5$
• $P(R\mid C)=0.8$, $P(R\mid\lnot C)=0.2$
• $P(W\mid S,R)=0.99$, $P(W\mid S,\lnot R)=0.9$, $P(W\mid \lnot S,R)=0.9$, $P(W\mid\lnot S,\lnot R)=0$

16칸 결합분포를 전부 더해 직접 계산하면

질의	값
$P(S)$ · $P(R)$ (사전)	0.3000 · 0.5000
$P(W)$	0.6471
$P(R\mid W)$	0.7079
$P(S\mid W)$	0.4298
$P(S\mid W, R)$	0.1945

잔디가 젖었다는 사실만으로 스프링클러 확률은 0.30 → 0.43으로 오른다. 그런데 비가 왔다는 걸 추가로 알면 0.19로 떨어진다. 젖은 잔디를 비가 이미 “해명”했으니 스프링클러를 의심할 이유가 줄어든 것 — 해명 효과(explaining away)이고, 위 표의 충돌 패턴 그대로다. 사전 0.30보다도 낮아지는 것은 $R$ 이 $C$ 를 통해 $S$ 와 음으로 상관돼 있기 때문이다(비 오는 날은 흐린 날이고, 흐린 날엔 스프링클러를 덜 튼다).

이 예제를 사람 직관으로 맞히기는 의외로 어렵다. 의료 진단에서 “증상 하나를 설명하는 질병을 찾으면 다른 후보의 확률이 떨어진다”는 추론을 사람이 일관되게 못 하는 것이, 1980년대 전문가 시스템이 확증 계수(certainty factor) 같은 임시방편을 버리고 베이지안 네트워크로 넘어간 이유 중 하나다.¹

4. 추론 — 정확하게는 트리폭이 전부다

“증거 $e$ 가 주어졌을 때 $P(x_q\mid e)$” 를 구하는 것이 추론이다.

변수 제거는 곱을 합 안으로 밀어 넣는다. $\sum_{x_1}\sum_{x_2}\cdots\prod_i P(x_i\mid\mathrm{pa}_i)$ 에서 변수를 하나씩 합산해 없애며 중간 인자를 만든다. 비용은 소거 순서에서 생기는 가장 큰 중간 인자의 크기, 즉 유도 트리폭(induced treewidth) $w$ 에 대해 $O(n\,d^{w+1})$ 이다. 순서 고르기는 희소 행렬 촐레스키에서 채움을 줄이는 최소차수 순서화·중첩절단과 같은 문제다 — 실제로 같은 휴리스틱을 쓴다.

접합 트리(로리첸-슈피겔할터 1988)는 그래프를 도덕화(부모끼리 결혼)하고 삼각화한 뒤 클리크 나무를 만들어, 모든 노드의 주변분포를 메시지 두 번 왕복으로 한꺼번에 얻는다. 단일 연결 그래프(폴리트리)라면 펄의 믿음 전파가 바로 정확하고, 순환이 있는 그래프에 그냥 돌리는 루피 BP는 근사가 된다.

나쁜 소식: 일반 베이지안 네트워크의 정확 추론은 NP-난해(쿠퍼 1990)이고, 상대오차를 보장하는 근사조차 NP-난해다(다굼-루비 1993). 트리폭이 크면 정확 추론은 포기하고 표본추출로 간다.

• 가능도 가중: 증거 노드는 고정하고 나머지를 순서대로 뽑되 증거의 가능도를 가중치로 곱한다. 중요도 표본추출의 특수형이며, 증거 확률이 아주 작으면 가중치가 퇴화한다.
• 깁스 표본추출: 마르코프 담요 조건부에서 노드를 순환 갱신하는 마르코프 연쇄 몬테카를로. 결정적 관계(확률 0·1)가 섞이면 연쇄가 쪼개져 에르고딕성이 깨진다. 위 예제의 $P(W\mid\lnot S,\lnot R)=0$ 같은 칸이 그 씨앗이다.
• 변분 추론: 다루기 쉬운 분포족으로 사후분포를 근사.

5. 학습 — 매개변수와 구조

매개변수 학습은 쉽다. 완전 관측 자료면 각 조건부 확률표의 최대우도 추정은 그냥 빈도 세기이고, 디리클레 분포 사전을 얹으면 가짜 횟수(pseudo-count)를 더한 것이 사후평균이다. 결측이 있으면 기댓값 최대화 알고리즘으로 기대 횟수를 채운다.

구조 학습은 어렵다. 노드 수에 대해 가능한 DAG 수가 초지수적으로 늘고(10개 노드에서 약 $4.2\times10^{18}$), 최적 구조 탐색은 NP-난해다. 두 계열이 있다.

• 점수 기반: 베이즈 정보 기준이나 BDeu 같은 분해 가능한 점수를 두고 간선 추가·삭제·반전으로 언덕 오르기, 또는 GES 같은 동치류 탐색.
• 제약 기반: 조건부 독립 검정으로 간선을 지우고(PC 알고리즘), 남은 골격에서 v-구조를 찾아 방향을 정한다. 검정 하나가 틀리면 오류가 연쇄 전파된다.

여기서 근본 한계가 있다. 골격과 v-구조가 같은 두 DAG는 관측 자료로 구별할 수 없다(버마-펄 1990, 마르코프 동치). $A\to B\to C$ 와 $A\leftarrow B\leftarrow C$, $A\leftarrow B\to C$ 는 같은 독립성을 말하므로, 자료만으로는 화살표 방향을 확정 못 하고 동치류(CPDAG)까지만 얻는다. 그래서 학습된 그래프의 화살표를 그대로 인과로 읽으면 안 된다 — 그 경계를 다루는 것이 인과 발견이다.²

6. 시뮬레이션·공학에서의 쓰임

• 신뢰성. 결함 트리를 베이지안 네트워크로 옮기면 AND/OR 게이트가 결정적 조건부 확률표가 되고, 공통원인 고장·다중 상태 부품·관측 갱신(“이 센서가 경보를 냈다면 어느 부품이 의심되나”)이 자연스럽게 붙는다. 신뢰성 해석의 확장판으로 원전·항공 PSA에서 쓴다.
• 동적 베이지안 네트워크. 시간 단계를 복제해 이어 붙인 판이다. HMM과 칼만 필터가 그 특수형이고, 구조물 손상 진단처럼 상태가 서서히 변하는 디지털 트윈 갱신에 쓰인다.
• 불확실성 전파의 대리 모형. 비싼 해석기를 몇 번 돌린 결과로 입력·중간량·출력 사이 조건부 분포를 학습해 두면, 관측 하나가 들어왔을 때 역방향(출력 → 입력) 갱신을 해석기 재실행 없이 한다. 대리 모델과 베이즈 보정의 중간쯤이다.
• 연속 변수. 선형 가우스 베이지안 네트워크는 결합분포가 다변량 가우스라 추론이 행렬 연산으로 닫힌다. 비선형·비가우스가 섞이면 이산화하거나 표본추출로 간다.³

7. 관련 문서

• 마르코프 확률장 · 믿음 전파 · 은닉 마르코프 모형 · 칼만 필터
• 인과 추론 · 인과 발견 · 그레인저 인과성
• 마르코프 연쇄 몬테카를로 · 중요도 표본추출 · 변분 추론 · 기댓값 최대화 알고리즘
• 베이즈 정보 기준 · 디리클레 분포 · 최소차수 순서화 · 신뢰성 해석
• d-분리 · 접합 트리 알고리즘

8. Footnotes

1. 확증 계수는 1970년대 MYCIN 이 쓴 방식인데, 증거를 합치는 규칙이 일관된 확률 해석을 갖지 못한다는 점이 헤커먼(1986) 등에게 지적됐다. “규칙 갈아넣으면 되겠지”의 한계를 보여 준 사례. ↩

2. 동치류 안에서 방향을 가르는 가장 확실한 방법은 자료를 더 모으는 게 아니라 개입하는 것이다. 한 노드를 강제로 고정했을 때 어느 쪽이 따라 움직이는지 보면 된다. 시뮬레이션이 이 분야에서 사랑받는 이유 — 가상 세계에서는 개입이 공짜다. 참고로 이름의 「베이지안」은 베이즈 규칙으로 추론한다는 뜻이지, 매개변수에 꼭 사전분포를 얹는다는 뜻이 아니다. ↩

3. 이산화 구간을 몇 개로 나누느냐에 따라 추론 결과가 은근히 바뀐다. 격자 독립성 검사를 해야 하는 건 CFD만이 아니다. ↩