1. 개요[편집]
| 이산 선택 모형 Discrete choice model | |
|---|---|
| 출발점 | 랜덤 효용 최대화 (RUM) |
| 효용 | $U_{ni} = V_{ni} + \varepsilon_{ni}$ |
| 오차 가정 | i.i.d. 검벨(제1형 극값) → 다항 로짓 |
| 선택확률 | $P_{ni} = e^{V_{ni}} / \sum_j e^{V_{nj}}$ |
| 약점 | IIA — 빨간 버스/파란 버스 역설 |
| 확장 | 네스티드 로짓 · 프로빗 · 혼합(랜덤계수) 로짓 |
| 추정 | 최대우도(로짓은 전역 오목) · 혼합형은 시뮬레이션 최대우도 |
| 위치 | 4단계 수요모형의 수단선택 단계 |
이산 선택 모형(discrete choice model)은 의사결정자가 유한하고 서로 배타적인 대안 집합에서 하나를 고르는 행동을, 각 대안의 효용을 관측 가능한 부분과 랜덤한 부분으로 나눠 확률로 서술하는 통계 모형이다. 종속변수가 연속량이 아니라 “승용차냐 지하철이냐”, “이 브랜드냐 저 브랜드냐” 같은 라벨이라는 점이 회귀분석과 갈리는 지점이고, 그래서 예측값도 수치가 아니라 선택확률이다.
교통 분야에서는 4단계 수요모형의 세 번째 단계인 수단선택(mode choice)을 담당한다. 앞 단계인 통행분포는 중력 모형이, 뒷 단계인 노선배정은 교통 배정이 맡는다. 다만 이 모형의 사용처는 교통을 한참 넘어선다 — 마케팅의 브랜드 선택, 노동경제학의 직업 선택, 에너지 정책의 기기 선택, 요즘은 추천 시스템의 클릭 모형까지 전부 같은 뼈대를 쓴다. 대니얼 맥패든이 이 계열의 계량경제학적 기초를 세운 공로로 2000년 노벨 경제학상을 받았다.1
2. 랜덤 효용 최대화[편집]
출발점은 딱 한 줄이다. 의사결정자 이 대안 에서 얻는 효용을
로 두고, 가장 높은 효용을 주는 대안을 고른다고 가정한다. 는 분석가가 관측한 속성으로 설명되는 대표효용(representative utility)이고 보통 모수에 선형인 로 둔다. 는 분석가가 못 본 것 전부 — 취향, 누락 변수, 측정 오차 — 를 몰아넣은 항이다.
여기서 중요한 해석 하나. 랜덤한 것은 의사결정자가 아니라 분석가의 무지다. 개인은 결정론적으로 최선을 고르고 있는데, 분석가가 그 계산의 일부를 못 봐서 확률로밖에 못 쓴다. 그래서 선택확률은
이고, 모든 이산 선택 모형의 차이는 의 분포를 어떻게 가정했는가 하나로 환원된다.
2.1. 식별되지 않는 것들[편집]
RUM을 세우면 곧바로 마주치는 제약이 둘 있는데, 초심자가 가장 많이 삽질하는 지점이라 먼저 짚는다.
- 효용의 절대 수준은 의미가 없다. 모든 대안의 효용에 같은 상수를 더해도 선택이 안 바뀐다. 그래서 대안별 상수(ASC)는 개가 아니라 개만 추정 가능하고, 하나를 0으로 고정해야 한다. 모든 대안에 공통인 설명변수(성별, 소득 등)도 그 자체로는 못 들어가고 대안과 상호작용시켜야 한다.
- 효용의 척도(scale)도 의미가 없다. 효용 전체에 양수를 곱해도 순서가 안 바뀐다. 결국 데이터가 말해 주는 것은 가 아니라 뿐이다. 실무에서는 오차의 척도를 1로 고정해서(로짓이면 ) 넘어간다. 그래서 서로 다른 데이터셋에서 추정한 계수를 그냥 비교하면 안 된다 — 척도가 다르기 때문이다. 비교 가능한 것은 계수의 비율이고, 그래서 시간가치(VOT)를 로 계산하는 관행이 생겼다. 척도가 약분되기 때문이다.2
3. 다항 로짓[편집]
가 대안·개인에 걸쳐 독립이고 동일한 검벨 분포(제1형 극값분포, )를 따른다고 가정하면, 그 무시무시해 보이는 다중적분이 닫힌 형태로 떨어진다.
이것이 다항 로짓(multinomial logit, MNL)이다. 검벨을 고른 이유는 물리적 통찰이 아니라 최댓값에 대해 닫혀 있기 때문이다 — 검벨 변수들의 최댓값이 다시 검벨이고, 두 검벨의 차가 로지스틱 분포가 된다. 대안이 둘뿐이면 정확히 로지스틱 회귀로 환원되며, 그런 의미에서 MNL은 일반화 선형 모형의 사촌이다.
덤으로 따라오는 유용한 양이 로그섬(logsum)이다. 선택 상황 전체에서 얻는 기대 최대효용이
로 나온다( 는 오일러-마스케로니 상수 , 척도 1 기준). 상수항은 대안 집합이 바뀌어도 그대로라 편익의 차이를 계산할 때는 사라진다. 그래서 로그섬 차이가 교통 정책의 소비자잉여 변화 추정치로 그대로 쓰이고, 상위 단계(통행분포)로 넘겨주는 접근성 지표로도 쓰인다. 4단계 모형에서 수단선택 결과가 분포 단계로 되먹임되는 통로가 이것이다.
4. IIA와 빨간 버스/파란 버스[편집]
MNL의 결정적 성질은 두 대안의 선택확률 비가
로, 다른 대안들이 무엇이 있든 전혀 영향을 받지 않는다는 것이다. 이를 무관한 대안으로부터의 독립(Independence from Irrelevant Alternatives, IIA)이라 한다. 계산상으로는 축복이다. 대안 집합이 바뀌어도 계수를 다시 추정할 필요가 없고, 대안이 수천 개여도 표본으로 일부만 뽑아 추정할 수 있다. 그런데 행동 가정으로는 종종 명백히 틀렸다.
교과서의 반례가 빨간 버스/파란 버스 역설이다. 승용차와 버스가 각각 50 %씩 선택되는 상황을 생각하자. 이제 버스 회사가 기존 버스와 색깔만 다른 파란 버스를 도입한다. 상식적으로는 버스 이용자 50 %가 두 색으로 25 %씩 갈리고 승용차는 그대로 50 %여야 한다. 그런데 MNL은 세 대안의 대표효용이 같으므로 33.3 %씩 균등 분할을 예측한다. 즉 페인트칠만으로 승용차 수요를 17 %p 빼앗아 온다.
원인은 명확하다. IIA는 이 대안 간 독립이라는 가정에서 나오는데, 빨간 버스와 파란 버스는 관측되지 않은 요인(버스라는 것 자체의 불편함)을 통째로 공유한다. 그래서 오차가 독립일 수가 없다. 현실의 사례는 페인트만큼 노골적이지 않아서 더 위험하다 — “신규 경전철을 넣었더니 지하철이 아니라 승용차 수요가 줄었다”는 결과가 나오면 대개 이 문제다.
진단에는 하우스만-맥패든 검정 같은 도구가 있지만, 실무의 1차 방어선은 대안 집합의 구조를 보고 오차 상관을 의심하는 것이다. 그리고 처방은 셋 중 하나다.
5. 세 가지 처방[편집]
5.1. 네스티드 로짓[편집]
상관이 있을 만한 대안들을 둥지(nest)로 묶는다. 위 예에서는 {승용차}와 {빨간 버스, 파란 버스}다. 둥지 안의 대안 에 대한 선택확률이
로 여전히 닫힌 형태다. 은 둥지의 로그섬(포괄가치, inclusive value)이고, 은 둥지 내 상관을 조절하는 모수다. 이면 상관이 없어 MNL로 되돌아가고, 이면 둥지 안이 완전 상관이다. RUM과 정합하려면 이어야 하며, 추정 결과 가 1을 넘으면 그 모형은 효용 최대화로 해석할 수 없다. 초심자가 이 값을 그냥 보고하는 실수를 자주 한다. 이 계열 전체는 맥패든이 정리한 일반화 극값(GEV) 모형군에 속하며, 교차네스티드 로짓이나 교통 배정에서 쓰는 경로크기 로짓도 같은 가족이다.
5.2. 프로빗[편집]
을 다변량 정규분포로 두면 임의의 상관 구조를 공분산 행렬 하나로 자유롭게 표현할 수 있다. 대신 선택확률이 차원 정규 적분이 되어 닫힌 형태가 없다. 3~4개 대안까지는 수치적분이 견디지만 그 이상은 시뮬레이션으로 간다(GHK 확률 시뮬레이터가 표준). 공분산 행렬 역시 척도와 수준 정규화 때문에 전부는 식별되지 않는다는 점을 늘 주의해야 한다.
5.3. 혼합 로짓[편집]
가장 널리 쓰이는 현대적 처방이다. 계수 자체를 개인마다 다른 랜덤 변수로 두고, 로짓 확률을 그 분포로 적분한다.
추정 대상은 가 아니라 그 분포의 모수 (평균과 공분산)다. 적분 안쪽은 로짓이라 IIA를 만족하지만 적분 후에는 IIA가 깨진다 — 취향이 같은 사람 안에서는 독립이어도, 취향의 이질성이 대안 간 상관을 만들어 내기 때문이다. 이 형태가 적절한 혼합분포를 고르면 임의의 RUM을 원하는 정확도로 근사할 수 있다는 것이 이 모형이 표준이 된 이유다. 패널 자료에서 같은 사람의 반복 선택에 같은 를 쓰면 개인 내 상관까지 자연히 처리된다.
대가는 적분이다. 그리고 그 적분은 몬테카를로 방법으로 푼다.
6. 추정 — 최대우도와 시뮬레이션[편집]
관측이 “개인 이 대안 를 골랐다”는 지시변수 뿐이므로 로그우도는 다중 베르누이 꼴이다.
MNL에서는 이 함수가 모수에 대해 전역 오목이라는 좋은 성질이 있다. 즉 지역 최적이 곧 전역 최적이고(볼록 최적화), 뉴턴-랩슨법이나 BHHH 같은 준뉴턴 계열(준-뉴턴법)로 몇십 번이면 수렴한다. 표준오차는 피셔 정보 행렬의 역행렬에서 나온다. 자세한 일반론은 최대우도추정 문서 참고.
혼합 로짓과 프로빗은 자체가 적분이라 사정이 다르다. 개의 추출 로
를 만들어 이를 로그우도에 넣는 것이 시뮬레이션 최대우도(SML)다. 여기서 반드시 알아야 할 함정이 하나 있다. 는 의 불편추정량이지만 는 의 불편추정량이 아니다. 옌센 부등식 때문에 아래로 치우친다. 편의는 이 커지면 대략 로 줄고, 그래서 이 표본 수의 제곱근보다 빠르게 커져야 추정량이 일치성을 갖는다. “추출 200개면 되겠지”라고 두고 표본을 10만 개로 늘리는 것이 위험한 이유다.
추출을 어디서 뽑느냐도 성능을 좌우한다. 유사난수 대신 저불일치 수열을 쓰는 것이 표준이 됐다 — 할톤 수열이나 소볼 수열을 쓰면 훨씬 적은 추출로 같은 정밀도를 얻는다는 보고가 많다.3 다만 할톤은 차원이 높아지면 성분 간 상관이 생겨 오히려 나빠지므로, 랜덤계수가 대여섯 개를 넘으면 뒤섞은(scrambled) 버전이나 소볼로 갈아타야 한다. 이 계통의 배경은 준몬테카를로 문서에 있다.
7. 실무 감각[편집]
- 적합도 지표에 속지 마라. 로짓의 (맥패든 의사결정계수)는 회귀의 와 스케일이 다르다. 0.2~0.4 면 상당히 좋은 적합인데, 회귀 감각으로 보면 형편없어 보여서 무리한 변수 추가로 과적합을 부르기 쉽다.
- 계수의 부호부터 보라. 시간·비용 계수가 양수로 나오면 모형이 아니라 데이터나 코딩이 틀린 것이다. 대안별 이용가능성(availability) 처리를 빠뜨린 것이 단골 원인이다.
- SP와 RP를 섞을 때는 척도를 따로. 진술선호(SP) 자료와 현시선호(RP) 자료는 오차 척도가 다르다. 그냥 합치면 안 되고 상대 척도 모수를 하나 더 추정해야 한다. 위에서 본 척도 식별 문제가 실무에서 물리는 가장 흔한 형태다.
- 집계할 때 평균을 넣지 마라. 개인별 확률을 계산해 더하는 것과, 평균적인 개인의 확률을 인구로 곱하는 것은 다르다. 가 비선형이라 후자는 편향된다. 이것이 소위 집계 편의(aggregation bias)다.
- 대안이 많으면 표본추출로 줄여라. IIA 덕분에 MNL은 대안 집합의 부분표본으로도 일치추정이 가능하다(비균등 추출이면 보정항이 붙는다). 목적지 선택처럼 대안이 수천 개인 문제에서 이 성질이 살린다.
8. 한계[편집]
이산 선택 모형이 중력 모형을 밀어낸 것은 행동 이론이 있기 때문이지만, 그 이론이 무한히 튼튼한 것은 아니다. 효용 최대화라는 전제 자체가 행동경제학의 표적이고, 참조점 의존·후회 최소화·만족화 같은 대안 이론에 기반한 변형 모형들이 꾸준히 제안된다. 또한 대안 집합을 분석가가 지정한다는 것부터 이미 강한 가정이다 — 의사결정자가 실제로 고려한 대안이 무엇인지 아무도 모른다. 고려집합(consideration set)을 잠재변수로 두는 모형이 이 틈을 메우려는 시도다.
정보 이론 쪽에서 보면 로짓 형태는 최대 엔트로피 원리의 산물로도 유도된다 — 평균 효용 제약 하에서 엔트로피를 최대화하면 지수족이 나온다. 같은 형태에 도달하는 경로가 여럿이라는 사실은, 뒤집어 보면 로짓 형태를 관측했다고 해서 사람들이 효용을 최대화하고 있다는 증거가 되지는 않는다는 뜻이기도 하다. 통행분포에서 중력 모형이 엔트로피 최대화로 유도되면서 동시에 목적지 선택 로짓으로도 읽히는 것이 바로 이 겹침이다.
9. 관련 문서[편집]
- 검벨 분포 · 최대우도추정 · 피셔 정보 · 일반화 선형 모형
- 중력 모형 · 교통 배정 · 워드롭 균형 · 프랭크-울프 알고리즘
- 몬테카를로 방법 · 준몬테카를로 · 소볼 수열 · 중요도 샘플링
- 최대 엔트로피 원리 · 쿨백-라이블러 발산 · 볼록 최적화
- 뉴턴-랩슨법 · 준-뉴턴법 · 과적합
10. Footnotes[편집]
-
이 계열이 실무에서 신뢰를 얻은 결정적 사건으로 회자되는 것이 1970년대 샌프란시스코 BART 개통 전 수요 예측이다. 맥패든 팀의 이산 선택 모형이 내놓은 신규 철도 수단분담률은 당시 공식 예측치보다 한참 낮았고, 개통 후 실측치는 모형 쪽에 훨씬 가까웠다. “학계 모형이 관청 예측을 이겼다”는 서사는 교통계획 수업에서 지금도 우려먹는다. 물론 그 뒤로 이 모형으로 낸 예측이 전부 맞았다는 뜻은 전혀 아니다. ↩
-
척도가 약분되는 성질 덕분에 시간가치는 데이터셋 간 비교가 되지만, 그렇다고 그 값이 안정적이라는 뜻은 아니다. 같은 도시 같은 해 자료로도 모형 설정에 따라 시간가치가 두 배씩 왔다 갔다 하는 일이 흔하다. 그런데 그 숫자에 도로 사업 편익 수천억 원이 곱해진다. 교통 경제성 분석 보고서에서 가장 조용하면서 가장 무거운 숫자. ↩
-
여기서 함정 하나. 저불일치 수열은 결정론적이라 “추출을 늘려도 오차가 안 줄어들면 어쩌지” 같은 걱정을 하게 되는데, 실제 문제는 반대다 — 결정론적이라서 시뮬레이션 오차의 표준오차를 추정할 방법이 사라진다. 그래서 무작위화한(randomized QMC) 버전을 몇 벌 돌려 분산을 재는 것이 정석이다. 논문에 “할톤 500개 사용”만 적혀 있고 시뮬레이션 오차 언급이 없으면, 그 숫자의 마지막 자릿수는 믿지 않는 편이 좋다. ↩