센서 융합

통계 소프트웨어 마지막 수정: 2026-07-24 04:53:07

1. 개요[편집]

센서 융합(sensor fusion)은 서로 다른 특성·잡음·갱신 주기를 가진 여러 센서의 측정값을 하나의 추정으로 결합해, 어떤 개별 센서보다도 정확하고 강건한 상태 추정을 얻어내는 기법의 총칭이다. 핵심 문장은 짧다 — 완벽한 센서는 없지만, 불완전한 센서들의 결함이 서로 다르다면 그 차이를 이용할 수 있다.

이게 왜 되는지는 통계적으로 간단하다. 독립된 잡음을 가진 $N$ 개의 관측을 제대로 평균하면 추정 분산이 대략 $1/N$ 로 줄어든다. 여기에 더해 센서들이 상보적(complementary)이면 이득은 산술 평균 이상이 된다. 자이로스코프는 짧은 시간 동안은 정확하지만 적분 드리프트로 장기적으로 망가지고, 가속도계·지자기계는 매 순간 시끄럽지만 중력·자북이라는 절대 기준을 놓치지 않는다. 하나는 고주파에서, 하나는 저주파에서 믿을 만하니 주파수 대역을 나눠 붙이면 양쪽의 장점만 남는다.¹

2D 평면을 움직이는 표적을 성질이 다른 두 센서로 관측하고, 등속도 모델 칼만 필터(상태 [x, y, vx, vy])로 예측-갱신을 돌린 것. 센서 A는 한 축으로 정밀하고 그 직교 축으로 부정확하며, 센서 B는 정밀한 축이 A와 직교한다. 파란 타원과 주황 타원이 각 센서의 1σ 관측 공분산, 흰 타원이 두 관측을 순차 갱신한 뒤의 사후 공분산이다. 길쭉한 두 타원이 교차하면서 훨씬 작은 흰 타원이 남는 것이 융합의 기하학적 알맹이고, 상단의 누적 RMS 오차가 그 이득을 수치로 보여준다. 슬라이더로 센서 B의 잡음 배율과 가동률을 낮추면 B가 결측인 구간에서도 운동 모델과 A만으로 추적이 이어진다.

2. 베이즈 융합 — 융합의 표준 언어[편집]

센서 융합의 이론적 뼈대는 베이즈 정리다. 상태 $x$ 에 대한 사전 분포 $p(x)$ 와, 조건부 독립인 두 관측 $z_1, z_2$ 가 있으면 사후 분포는 우도의 곱으로 쌓인다.

p(x \mid z_1, z_2) \propto p(z_1 \mid x)\, p(z_2 \mid x)\, p(x)

모든 분포가 가우시안이면 이 곱이 손으로 풀린다. 분산 $\sigma_1^2, \sigma_2^2$ 인 두 관측 $x_1, x_2$ 의 융합 결과는 역분산 가중 평균이다.

\hat{x} = \frac{\sigma_2^2 x_1 + \sigma_1^2 x_2}{\sigma_1^2 + \sigma_2^2}, \qquad \frac{1}{\hat{\sigma}^2} = \frac{1}{\sigma_1^2} + \frac{1}{\sigma_2^2}

읽어야 할 것은 두 번째 식이다. 정보(information, 분산의 역수)는 그냥 더해진다. 그리고 융합 후 분산은 두 입력 분산 중 작은 쪽보다도 반드시 작다. 아무리 시끄러운 센서라도 잡음이 독립이기만 하면 붙일수록 손해는 없다는, 이 분야에서 가장 마음이 편해지는 정리다. 물론 “잡음이 독립”이라는 전제가 깨지는 순간 이 낙관은 그대로 함정으로 바뀐다.

3. 무엇을, 어느 층위에서 섞는가[편집]

융합은 데이터의 가공 단계에 따라 세 층위로 나눈다.

저수준(raw) 융합: 원시 측정을 그대로 상태 추정기에 밀어 넣는다. 정보 손실이 가장 적어 이론적 성능이 가장 좋다. 위성항법에서 개별 위성의 의사거리(pseudorange)를 그대로 쓰는 tightly-coupled 방식이 대표적.
특징(feature) 융합: 각 센서가 뽑은 특징(코너점, 라인, 물체 박스)을 결합. 카메라와 라이다를 붙이는 자율주행 인지 스택의 주 전장.
결정(decision) 융합: 각 센서가 독립적으로 낸 결론을 투표·가중합으로 합친다. 정보는 많이 버리지만 모듈이 깔끔하게 분리되고 고장 격리가 쉬워, 항공기 3중화 같은 안전 계통에서 선호된다.

아키텍처로는 하나의 중앙 필터가 전부 받아먹는 중앙집중식과, 지역 추정기들이 각자 돌고 결과만 합치는 분산식이 갈린다. 중앙집중식이 이론적으로 최적이지만, 통신 대역·연산 부하·단일 실패점 문제 때문에 실제 시스템은 대개 계층적 절충을 쓴다.

4. 대표 알고리즘[편집]

방법	가정	쓰이는 곳
상보 필터	센서별 신뢰 주파수 대역이 분리	저가 AHRS, 드론 자세
칼만 필터	선형 모델 + 가우시안 잡음	GNSS/INS, 추적
확장·무향 칼만(EKF/UKF)	약한 비선형	로봇 위치추정, 자세
입자 필터	임의 분포·강한 비선형	다봉 분포, 실내 측위
앙상블 칼만 필터	초고차원 상태	기상·해양 자료동화
팩터 그래프 / 그래프 최적화	전체 궤적을 한 번에	VIO, SLAM, 번들 조정

실무 기본값은 여전히 칼만 필터 계열이다. 예측-갱신 사이클 자체가 “운동 모델이라는 센서”와 “실제 센서”를 융합하는 구조이고, 관측 행렬 $H$ 의 행을 늘리는 것만으로 센서를 추가할 수 있어 확장이 자연스럽다. 다만 갱신 주기가 제각각인 센서를 다룰 때는 도착한 센서의 행만 갱신하는 순차 갱신(sequential update)을 쓰는 편이 낫다.

한편 근래에는 필터 대신 팩터 그래프로 과거 구간 전체를 한 번에 최적화하는 방식이 표준으로 올라섰다. 필터가 과거를 한 번 요약하고 버리는 데 반해, 그래프 최적화는 나중에 들어온 정보로 과거 추정을 되돌려 고칠 수 있다. 대가는 계산량인데, 희소행렬 구조와 최소자승법 기반 증분 솔버가 그 대가를 감당 가능한 수준까지 끌어내렸다.

5. 실전에서 터지는 지점[편집]

교과서에서는 우아하지만 현장에서 센서 융합을 무너뜨리는 것은 대개 알고리즘이 아니라 배관 문제다.

시간 동기화. 100 km/h로 달리는 차에서 10 ms의 타임스탬프 오차는 28 cm의 위치 오차다. 하드웨어 트리거·PTP 동기화 없이 소프트웨어 타임스탬프에 의존하면, 아무리 좋은 필터를 써도 이 오차는 지워지지 않는다.
외부 파라미터 캘리브레이션. 센서 간 상대 위치·자세(extrinsic)가 틀어져 있으면 융합은 없는 오차를 만들어낸다. 요즘은 이 외부 파라미터까지 상태 벡터에 넣어 온라인으로 추정하는 것이 흔하다.
상관된 정보의 이중 계산. 분산 융합에서 두 노드가 같은 정보를 주고받아 서로의 추정에 반영하면, 시스템이 자기 확신을 무한히 부풀리는 “소문 전파(rumor propagation)“가 생긴다. 공분산 교차(covariance intersection)처럼 일부러 보수적으로 합치는 기법이 이 때문에 존재한다.²
관측 가능성(observability). 센서를 아무리 많이 붙여도 관측 불가능한 상태는 끝내 관측 불가능하다. 정지한 관성 항법 장치에서 요(yaw) 방향 자이로 바이어스가 그렇다. 융합 설계의 첫 단계는 센서 고르기가 아니라 관측 가능성 분석이어야 한다.
이상치와 고장. 잡음 모델이 가우시안이면 한 개의 극단적 이상치가 추정을 통째로 끌고 간다. 마할라노비스 거리 게이팅, 후버 손실 같은 강건 손실, 다중 가설 필터가 방어선이다.

6. 어디에 쓰이나[편집]

가장 익숙한 사례는 스마트폰 안이다. GPS·가속도계·자이로·지자기·기압계·와이파이·보행자 추측항법이 상시 융합되어 지도 위 파란 점 하나를 만든다. 외부 신호 없이 관성 센서만으로 버티는 극단적 특수 사례가 관성항법이며, 실제 항법 장비는 그 INS 출력을 GNSS와 융합해 드리프트를 주기적으로 눌러준다.³ 자율주행은 카메라·라이다·레이더·휠 오도메트리를, 로봇은 관성 센서와 카메라를 묶은 시각-관성 오도메트리(VIO)를 쓴다.

스케일을 키우면 이 개념은 그대로 자료동화가 된다. 수백만 개의 위성·라디오존데·부이 관측을 수억 차원의 대기 모델 상태와 융합하는 수치예보가 인류가 가장 큰 규모로 돌리는 센서 융합이다. 방법론이 앙상블 칼만 필터와 4D-Var로 갈릴 뿐, “모델 예측과 관측을 불확실도로 가중해 섞는다”는 문법은 드론 자세 추정과 완전히 동일하다.⁴

7. 관련 문서[편집]

상보 필터는 이 아이디어를 가장 노골적으로 구현한다. 자이로 적분값에 고역통과, 가속도계 각도에 저역통과를 걸고 더하면 끝. 코드 세 줄짜리인데 웬만한 취미용 드론은 이걸로 난다. 칼만 필터가 통계적으로 최적이라는 건 맞지만, MCU 예산이 없을 때 최적보다 나은 건 “돌아가는 것”이다. ↩
요약하면 “내가 아는 것”과 “네가 아는 것”의 출처가 사실 같은 사람이었던 상황이다. 사람 사이에서든 필터 사이에서든, 같은 소문을 두 번 듣고 확신을 두 배로 올리면 안 된다. ↩
그래서 항법 업계에서는 INS와 GNSS를 loosely / tightly / deeply coupled로 나눠 부른다. 아래로 갈수록 원시 신호에 가까운 층위에서 섞고, 성능이 좋아지는 대신 구현 난이도와 소송 가능한 특허 개수가 함께 올라간다. ↩
실제로 로봇 필터 논문과 수치예보 논문이 같은 수식을 다른 기호로 쓰고 있는 광경을 자주 볼 수 있다. 한쪽은 $P$ , 다른 쪽은 $\mathbf{B}$ 라고 부르는데 둘 다 배경 오차 공분산이다. 분야가 다르면 용어부터 갈라지는 학계의 국룰. ↩