벡터 자기회귀

1. 개요

벡터 자기회귀 Vector Autoregression (VAR)
모형	$y_t=c+\sum_{l=1}^{p}A_l\,y_{t-l}+\varepsilon_t$
차원	$y_t\in\mathbb R^K$, $A_l$ 은 $K\times K$
안정 조건	동반 행렬의 고유값이 모두 단위원 안
추정	식별로 최소제곱 (= GLS, 회귀변수가 같으므로)
매개변수 수	$K(Kp+1)$ + 잡음 공분산
대표 산출물	충격 반응 함수, 예측 오차 분산 분해, 그레인저 검정
보급	크리스토퍼 심스 (1980)

변수 셋이면 AR 이 셋인 게 아니라 행렬이 하나다. 그리고 그 행렬은 대칭이 아니다.

벡터 자기회귀(vector autoregression, VAR)는 $K$ 개 시계열을 한 벡터 $y_t$ 로 묶고, 그 현재값을 자기 자신과 다른 모든 변수의 과거 $p$ 개 값의 선형결합과 백색 잡음으로 설명하는 다변수 시계열 모형이다. 단변수 자기회귀 모형의 계수를 $K\times K$ 행렬로 바꾼 것인데, 이 확장 하나로 “변수 사이의 시차 상호작용”이라는 새 질문이 생긴다. 1980년 크리스토퍼 심스가 “경제 이론으로 미리 제약을 박지 말고 데이터가 말하게 하자”는 논문으로 거시경제학에 들여왔고, 지금은 계량경제·신경과학·기후·공정 감시에서 다변수 선형 동역학의 기본 모형이다.¹

단변수 AR의 정상성·ACF·율-워커 추정·AIC 차수 선택은 자기회귀 모형 문서에, VAR 위에서 하는 방향성 검정은 그레인저 인과성 문서에 있다. 이 문서는 벡터판에서 새로 생기는 것들에 집중한다. 동반 행렬과 안정성, 정상 공분산의 리아푸노프 방정식, 충격 반응과 그 직교화 문제, 그리고 고유값은 안정한데 반응이 크게 부풀어 오르는 비정규 효과다.

2. 동반 행렬과 안정성

VAR($p$)는 상태를 $Y_t=(y_t,y_{t-1},\dots,y_{t-p+1})$ 로 쌓으면 항상 VAR(1)이 된다.

$$Y_t=\mathbf A\,Y_{t-1}+E_t,\qquad \mathbf A=\begin{pmatrix}A_1&A_2&\cdots&A_{p-1}&A_p\\ I&0&\cdots&0&0\\ 0&I&\cdots&0&0\\ \vdots&&\ddots&&\vdots\\ 0&0&\cdots&I&0\end{pmatrix}$$

$Kp\times Kp$ 블록 동반 행렬 $\mathbf A$ 의 고유값이 모두 단위원 안에 있으면(곧 스펙트럼 반지름이 1 미만) 과정이 안정하고 정상적이다. 동치 조건은 $\det(I-A_1z-\cdots-A_pz^p)\neq0$ 이 $|z|\le1$ 에서 성립하는 것이다. 고유값 하나가 정확히 1이면 단위근이고, 여러 변수가 같은 확률적 추세를 공유하는 경우가 공적분이다. 이때는 차분한 데이터로 VAR를 맞추면 장기 관계를 잃으므로 오차 수정 모형(VECM)으로 다시 쓴다.

정상 공분산 $\Sigma_Y=\mathrm{Cov}(Y_t)$ 는 이산 리아푸노프 방정식

$$\Sigma_Y=\mathbf A\,\Sigma_Y\,\mathbf A^{\mathsf T}+\Sigma_E$$

의 해다. 예로 $K=2$, $p=1$, $A=\begin{pmatrix}0.5&0.3\\0&0.8\end{pmatrix}$, $\Sigma_\varepsilon=I$ 를 두면 고유값은 0.5와 0.8로 안정하고, 반복 대입으로 풀면

$$\Sigma_y=\begin{pmatrix}2.111&1.111\\1.111&2.778\end{pmatrix}$$

이 나온다. 잡음은 서로 독립인데 두 변수의 정상 상관이 $1.111/\sqrt{2.111\times2.778}\approx0.46$ 이다. 계수 $A_{12}=0.3$ 하나가 $y_2$ 의 느린 변동을 $y_1$ 에 흘려 넣은 결과다.

3. 추정 — 최소제곱이면 충분하다

각 식의 우변 회귀변수(상수 + 모든 변수의 과거 $p$ 개)가 모든 식에서 똑같으므로, 식마다 따로 최소자승법으로 맞춘 것이 잡음 공분산까지 고려한 일반화 최소제곱(GLS)과 정확히 같다. 젤너(1962)의 겉보기 무관 회귀(SUR) 이론에서 나오는 결과다. 그래서 VAR 추정은 행렬 하나를 QR 분해로 푸는 일이다. 잡음 공분산은 잔차로 $\hat\Sigma_\varepsilon=\frac{1}{T-Kp-1}\sum\hat\varepsilon_t\hat\varepsilon_t^{\mathsf T}$ 처럼 추정한다.

위 2변수 예에서 시계열을 길이 $T$ 로 만들어 다시 추정하면 이 문서를 쓰며 잰 계수 최대 오차가 이렇다.

$T$	100	1000	10000
$\max\lvert\hat A-A\rvert$	0.105	0.035	0.018

대략 $1/\sqrt T$ 로 줄어든다. 문제는 매개변수 수다. 식마다 $Kp+1$ 개씩 총 $K(Kp+1)$ 개라, 변수 10개에 시차 4면 410개다. 분기별 거시 자료 50년치($T=200$)로는 턱없이 부족하다. 그래서 차수는 아카이케 정보기준·베이즈 정보 기준으로 깎고, 변수가 많으면 계수를 0 또는 “자기 자신의 1차 시차만 1 근처”로 끌어당기는 사전분포(리터먼의 미네소타 사전분포)를 쓰는 베이지안 VAR나, 라쏘 같은 희소 정규화로 간다.

4. 충격 반응과 직교화 문제

안정한 VAR는 이동평균 꼴 $y_t=\mu+\sum_{j\ge0}\Psi_j\varepsilon_{t-j}$ 로 다시 쓸 수 있고(VAR(1)이면 $\Psi_j=A^j$), $\Psi_j$ 의 $(i,m)$ 원소가 “변수 $m$ 에 단위 충격이 들어간 지 $j$ 걸음 뒤 변수 $i$ 의 반응”, 곧 충격 반응 함수(IRF)다. 문제는 실제 잡음 $\varepsilon_t$ 가 서로 상관돼 있다는 것이다. 변수 $m$ 에만 충격을 준다는 실험이 데이터에서는 일어나지 않는다.

심스의 해법은 $\Sigma_\varepsilon=LL^{\mathsf T}$ 촐레스키 분해로 서로 직교하는 구조 충격 $u_t=L^{-1}\varepsilon_t$ 를 만들고 $\Psi_jL$ 을 보는 것이다. 하삼각 $L$ 은 “순서상 앞 변수의 충격이 같은 시점에 뒤 변수에 영향을 주지만 반대는 아니다”라는 가정이다. 변수 순서를 바꾸면 결과가 바뀐다. 이 의존성이 VAR 분석의 가장 큰 논쟁거리라, 경제 이론으로 동시 관계를 제약하는 구조 VAR(SVAR), 순서에 무관한 일반화 충격 반응(페사란·신 1998), 장기 제약·부호 제약 같은 식별 방법이 갈라져 나왔다. 같은 분해로 각 변수의 $h$ 걸음 예측 오차 분산을 충격별 몫으로 나누는 것이 예측 오차 분산 분해(FEVD)다.²

5. 안정한데 크게 튄다 — 비정규 반응

고유값이 단위원 안이면 반응은 결국 0으로 간다. 그러나 “결국”이 오기 전에 얼마나 커지는지는 고유값이 아니라 $A$ 가 얼마나 비정규인가가 정한다. $A=\begin{pmatrix}0.9&2\\0&0.9\end{pmatrix}$ 는 두 고유값이 모두 0.9로 안정하지만 $A^j$ 의 비대각 원소가 $2j\cdot0.9^{\,j-1}$ 이다.

시차 $j$	1	2	5	10	20	40
$y_2$ 충격에 대한 $y_1$ 반응	2.00	3.60	6.56	7.75	5.40	1.31

단위 충격이 9~10걸음 뒤 7.75배로 부풀었다가 40걸음쯤에야 가라앉는다. $\lVert A^j\rVert_2$ 의 최댓값도 $j=9$ 에서 7.77이다. 고유값만 보고 “0.9로 기하급수 감쇠”라고 요약하면 이 과도 증폭을 통째로 놓친다. 비정규 행렬의 과도 성장, 유체역학의 아임계 천이와 같은 수학이다. VAR로 추정한 계수 행렬의 고유값과 함께 $\max_j\lVert\hat A^j\rVert$ 나 의사스펙트럼을 확인하는 습관이 필요하다.

6. 시뮬레이션과 데이터 사이에서

• 선형 대리 모델. 시뮬레이션 출력 스냅샷에 VAR(1)을 잡음 없이 맞추는 것은 동적 모드 분해에서 한 걸음 사상 $A$ 를 최소제곱으로 찾는 것과 같은 계산이다. 시간 지연을 쌓으면 VAR($p$)가 되고, 이는 지연 좌표 DMD(Hankel DMD)와 대응한다. 차이는 관점이다. DMD는 $A$ 의 고유모드를, VAR는 잡음 구조와 통계적 검정을 본다.
• 기후의 선형 역모형. 해수면 온도장 같은 고차원 장을 주성분 몇 개로 줄인 뒤 확률적으로 구동된 VAR(1)(연속 시간판은 오른슈타인-울렌벡 과정)로 맞춘 선형 역모형(LIM)이 엘니뇨 예측의 통계적 기준선으로 쓰인다. 위의 비정규 과도 성장이 실제로 “최적 초기 섭동” 분석의 핵심이다.
• 상태공간 모형과의 관계. VAR는 관측 잡음이 없는 상태공간 모형이다. 관측 잡음이 크거나 결측이 있으면 VAR를 칼만 필터의 상태 방정식으로 넣고 EM으로 추정하는 편이 맞다. 관측 잡음을 무시하고 VAR를 맞추면 계수가 0 쪽으로 감쇠 편향된다.
• 입력 생성. 측정된 다변수 난류 신호나 풍속 시계열의 교차 상관을 보존하는 합성 입력을 만들 때, VAR를 맞추고 잡음을 다시 넣어 굴리는 방법이 간단한 기준선이다. 스펙트럼 꼬리나 비정규 분포까지는 못 따라가니 그 한계는 캡션에 적어 두자.³

7. 관련 문서

• 자기회귀 모형 · 그레인저 인과성 · 아카이케 정보기준 · 베이즈 정보 기준
• 동반 행렬 · 스펙트럼 반지름 · 리아푸노프 방정식 · 비정규 행렬 · 촐레스키 분해
• 동적 모드 분해 · 칼만 필터 · 수치기상예보
• 공적분 · 상태공간 모형 · ARMA

8. Footnotes

1. 심스는 2011년 노벨 경제학상을 토머스 사전트와 공동 수상했다. 수상 사유가 거시경제의 인과 관계에 대한 실증 연구였고, VAR가 그 도구였다. 이론가들이 “이론 없는 계량경제학”이라고 깠고, 심스는 “당신들 모형의 제약은 믿을 수 없다”고 받아쳤다. 둘 다 반쯤 맞았다. ↩

2. 그래서 VAR 논문의 부록에는 거의 항상 “변수 순서를 바꿔도 결과가 강건하다”는 표가 붙는다. 안 붙어 있으면 리뷰어가 요구한다. 국룰이다. ↩

3. 반대로 VAR로 만든 합성 신호는 가우스 선형이라 간헐성(intermittency)이 전혀 없다. 난류 쪽 사람에게 보여 주면 “이건 난류가 아니라 색잡음”이라는 말을 듣는다. 맞는 말이다. ↩