피드백 정렬

1. 개요[편집]

피드백 정렬 Feedback Alignment (FA)
발표	Lillicrap, Cownden, Tweed, Akerman — Nature Communications 7:13276 (2016)
겨냥한 문제	가중치 수송 문제(weight transport, Grossberg 1987)
핵심 치환	역방향 경로의 $W^\top$ 를 고정 무작위 행렬 $B$ 로
작동 원리	순방향 $W$ 가 $B^\top$ 와 정렬 — 갱신 방향이 참 기울기와 90° 이내로
변형	직접 피드백 정렬(DFA, Nøkland 2016) · 부호 대칭 · 가중치 미러
약점	합성곱·초심층·어려운 과제(ImageNet)에서 역전파와 격차

피드백 정렬(feedback alignment)은 역전파의 역방향 경로에서 순방향 가중치의 전치 $W^\top$ 대신 학습되지 않는 고정 무작위 행렬 $B$ 를 써도 신경망이 학습된다는 발견이자, 그 학습 규칙이다. 릴리크랩·코든·트위드·에이커먼이 2016년 Nature Communications 에 발표했다(연구는 그보다 앞서 2014년에 프리프린트로 공개됐다).¹

처음 들으면 말이 안 되는 소리다. 역전파의 정당성은 연쇄법칙에서 나오고, 연쇄법칙은 각 층의 야코비안을 정확히 곱해야 성립한다. 무작위 행렬을 끼워 넣으면 그건 더 이상 기울기가 아니다. 그런데 실제로 돌려 보면 학습이 된다. 그것도 틀린 기울기에 순방향 가중치가 맞춰 주기 때문에 된다는 것이 이 결과의 진짜 내용이다. 신경망이 주어진 학습 규칙에 맞춰 스스로를 변형한다는 점에서, 최적화 알고리즘과 모형 파라미터의 경계가 흐려지는 드문 사례다.

2. 가중치 수송 문제[편집]

역전파의 역방향 재귀는 이렇게 생겼다.

$$\delta^{(l)} = \bigl(W^{(l+1)}\bigr)^{\!\top} \delta^{(l+1)} \odot \sigma'\!\bigl(a^{(l)}\bigr)$$

문제의 지점은 $\bigl(W^{(l+1)}\bigr)^{\!\top}$ 이다. 오차를 되돌리려면 순방향에서 쓴 바로 그 행렬의 전치가 필요하다. 계산 그래프에서는 공짜다 — 같은 메모리를 읽으면 그만이다. 그런데 이걸 뉴런으로 구현하려면, 층 $l+1$ 에서 층 $l$ 로 되돌아가는 시냅스가 반대 방향 시냅스의 강도를 실시간으로 정확히 복사하고 있어야 한다. 시냅스는 단방향이고 그런 복사 통로는 알려진 바 없다. 그로스버그(1987)가 이 난점을 가중치 수송 문제라 이름 붙였고, 이후 30년간 “뇌는 역전파를 하지 않는다”는 주장의 1번 근거로 인용됐다.

부수적인 걸림돌도 여럿 있다 — 역방향 경로가 순방향과 별도의 신호 채널을 써야 하고(신호 분리), 전방 활성값을 역방향 패스가 끝날 때까지 저장해 둬야 하며(활성값 저장), 층이 순차적으로 기다려야 한다(갱신 잠금). 피드백 정렬은 이 중 첫 번째와 세 번째를 정면으로 공격한다.

3. 알고리즘 — 전치 대신 무작위 행렬[편집]

피드백 정렬의 갱신은 한 글자만 다르다.

$$\delta^{(l)}_{\mathrm{FA}} = B^{(l+1)} \delta^{(l+1)}_{\mathrm{FA}} \odot \sigma'\!\bigl(a^{(l)}\bigr), \qquad \Delta W^{(l)} \propto -\,\delta^{(l)}_{\mathrm{FA}} \bigl(h^{(l-1)}\bigr)^{\!\top}$$

$B^{(l+1)}$ 은 초기화 때 한 번 뽑고 학습 내내 고정되는 무작위 행렬이다($W^{(l+1)}$ 과 같은 모양의 전치). 순방향 계산은 그대로, 가중치 갱신식도 그대로, 오직 오차를 되돌리는 행렬만 바꿨다. 구현은 딥러닝 프레임워크에서 커스텀 역방향 함수 하나면 끝난다.

이게 왜 완전히 망가지지 않는지에 대한 첫 번째 관찰은 이렇다. 경사하강이 수렴하려면 갱신 방향이 진짜 기울기와 예각을 이루기만 하면 된다. 정확히 기울기일 필요는 없다. 즉

$$\bigl\langle \delta_{\mathrm{FA}},\ \delta_{\mathrm{BP}} \bigr\rangle > 0$$

이면 손실은 (충분히 작은 학습률에서) 내려간다. 문제는 무작위 $B$ 가 처음에는 $W^\top$ 와 아무 상관이 없어서 이 내적이 0 근처라는 것.

4. 왜 되는가 — 정렬[편집]

핵심은 $W$ 가 $B^\top$ 쪽으로 움직인다는 것이다. 이유는 갱신식 자체에 들어 있다. 출력 오차 $e$ 를 되돌린 신호 $B e$ 가 은닉층의 학습 신호가 되고, 그 신호로 갱신된 $W$ 는 다음번에 $B e$ 방향의 성분을 출력 오차에 더 잘 반영하게 된다. 반복하면 $W$ 는 ”$B$ 를 통해 들어온 피드백이 실제로 유용해지는” 배치로 수렴한다. 릴리크랩 등은 선형망에서 이 동역학을 분석해 $W$ 와 $B^\top$ 가 정렬되는 방향으로 흐르며 $e^\top W B e > 0$ 이 성립하게 됨을 보였다. 즉 $B$ 가 $W^\top$ 를 흉내 내는 것이 아니라, $W$ 가 $B^\top$ 를 흉내 내도록 학습된다. 원논문의 표현대로 하면 “망이 피드백을 유용하게 만드는 법을 배운다”.

실험적 지표가 정렬 각도다. 층별로 $\delta_{\mathrm{FA}}$ 와 $\delta_{\mathrm{BP}}$ 사이의 각도를 학습 도중 측정하면, 처음에는 90°(무작위 방향이라 직교) 근처에서 시작해 학습이 진행되며 90° 아래로 내려가 대체로 45~70° 구간에 자리를 잡는다. 90°를 넘지 않는 한 갱신은 하강 방향이고, 각도가 작아질수록 역전파에 가까워진다. 이 곡선이 피드백 정렬 논문의 상징적인 그림이며, 이름의 “정렬”도 여기서 왔다.

다만 정렬이 공짜는 아니다. 이후 분석(레피네티 등 2021)은 학습이 “먼저 정렬하고 그다음 암기한다” 는 두 국면으로 나뉘며, 과매개변수 영역에서는 정렬 국면이 약해지고 망이 피드백에 특화된 퇴화한 해로 빠질 수 있음을 보였다. 정렬은 자동으로 일어나는 마법이 아니라 문제 구조와 망 크기에 의존하는 현상이다.

5. 직접 피드백 정렬 (DFA)[편집]

뇌클란(2016)의 직접 피드백 정렬은 한 걸음 더 나간다. 오차를 층층이 되돌리는 대신, 출력 오차 $e$ 를 각 은닉층에 직접 뿌린다.

$$\delta^{(l)}_{\mathrm{DFA}} = B_l\, e \odot \sigma'\!\bigl(a^{(l)}\bigr)$$

$B_l$ 은 출력 차원에서 층 $l$ 의 폭으로 가는 고정 무작위 행렬이다. 층 사이의 순차 의존이 통째로 사라진다는 점이 결정적이다.

• 생물학적으로는 오차 신호가 계층을 타고 내려오는 정교한 배관 대신 한 번의 브로드캐스트로 모든 층에 도달한다. 신경조절 물질이 넓은 영역에 뿌려지는 방식과 그림이 맞는다.
• 공학적으로는 각 층의 갱신이 서로 독립이 된다. 역방향 패스가 층 순서대로 기다릴 필요가 없어(갱신 잠금 해제) 층 병렬 학습이 가능하고, 마지막 층까지 활성값을 붙들고 있을 필요도 줄어든다.

더 극단적인 변형으로, 출력 오차 대신 정답 라벨 자체를 무작위 사영해 뿌리는 직접 무작위 타깃 사영(DRTP)도 있다. 여기까지 오면 전방 패스가 끝나기 전에 학습 신호를 만들 수 있어 순방향과 역방향의 구분이 거의 사라진다.

6. 어디서 깨지는가[편집]

여기서부터가 정직하게 써야 할 부분이다. 피드백 정렬은 가능성 증명이지 역전파의 대체재가 아니다.

• 어려운 과제에서 격차. MNIST 수준에서는 역전파와 거의 붙지만, CIFAR-10을 지나 ImageNet에 가면 벌어진다. 바르투노프 등(2018)은 FA·타깃 전파 계열을 국소 연결망과 대형 데이터셋에서 체계적으로 평가해, 어느 것도 ImageNet 규모에서 역전파에 근접하지 못한다는 결론을 냈다. 이 논문이 “생물학적으로 그럴듯한 학습 규칙” 문헌의 낙관론을 크게 식혔다.
• 합성곱과 상극. 합성곱 신경망에서 FA/DFA는 특히 나쁘다. 가중치 공유 때문에 순방향 가중치의 자유도가 심하게 제약되어 있어, ”$W$ 가 $B^\top$ 에 맞춰 움직인다”는 정렬 메커니즘이 쓸 자유도가 없기 때문이라는 설명이 유력하다. 실제로 로네(Launay) 등(2020)은 DFA가 트랜스포머·그래프 신경망·신경 방사장 같은 현대 구조에서는 쓸 만하게 동작하는 반면 합성곱망에서는 여전히 실패한다고 보고했다.
• 깊이. 층이 깊어질수록 무작위 피드백이 층마다 방향을 섞어 정렬이 어려워진다. 잔차 연결이 있으면 사정이 나아진다는 보고가 있는데, 이는 잔차 연결이 사실상 얕은 경로를 만들어 주기 때문이다.
• 부호만 맞아도 된다. 랴오 등(2016)은 피드백 행렬로 $W^\top$ 의 부호만 가져다 써도(크기는 무작위) 성능이 크게 회복됨을 보였다. 뒤집어 읽으면 정확한 크기는 없어도 되지만 거친 부호 일치는 여전히 필요하다는 뜻이고, 부호 일치도 일종의 수송이므로 생물학적 타당성 논쟁이 되살아난다.
• 아예 $B$ 를 학습시키면. 아크루트 등(2019)의 “가중치 미러”는 피드백 행렬을 $W^\top$ 에 수렴하도록 국소 규칙으로 학습시켜 ImageNet에서 역전파급 성능을 회복했다. 대신 “고정 무작위 행렬로 충분하다”는 원래 주장은 포기한 셈이다.

7. 국소 학습 규칙의 지형도[편집]

피드백 정렬은 신용 할당을 역전파 없이 해결하려는 여러 시도 중 하나다. 지형도를 간단히 정리하면 이렇다.

계열	아이디어	가중치 수송	상태
역전파	정확한 연쇄법칙	필요	성능 기준선
피드백 정렬 / DFA	무작위 피드백 + 자발적 정렬	불필요	중소 규모에서 동작, 합성곱·대규모에서 격차
타깃 전파	층마다 “도달해야 할 활성값”을 역방향 근사 사상으로 만들고 국소 손실을 최소화	불필요(역사상을 따로 학습)	이론적으로 매력적, 대규모 확장 실패
예측 부호화	각 층이 상위 층의 예측 오차를 국소적으로 완화	불필요	특정 극한에서 역전파를 근사한다는 결과 존재
평형 전파	에너지 기반 망을 자유 상태와 약하게 넛지된 상태에서 각각 평형화하고, 두 평형의 차이로 갱신	불필요(대칭 결합 가정)	이론이 깔끔, 수렴이 느리고 대칭 가중치를 요구
삼요소 규칙	시냅스 국소 흔적 × 전역 신경조절 신호	불필요	시간적 신용 할당 쪽에서 생물학적 근거가 좋음

관통하는 질문은 하나다 — 정확한 기울기가 정말 필요한가, 아니면 기울기와 예각을 이루는 아무 방향이면 되는가. 피드백 정렬의 대답은 “작은 문제에서는 후자로 충분하고, 큰 문제에서는 정확도가 돈이 된다”에 가깝다. 이 대답이 최적화 이론과도 잘 맞는다는 점은 짚어 둘 만하다. 확률적 경사하강법의 수렴 증명도 갱신이 참 기울기와 예각을 이루고 분산이 유계이기만 하면 되는데, FA는 그 조건을 비편향성 없이 아슬아슬하게 만족시키는 사례다.

8. 하드웨어 쪽의 매력[편집]

피드백 정렬이 생물학 논쟁을 넘어 계속 인용되는 실용적 이유는 뉴로모픽 컴퓨팅과 아날로그 가속기다.

역전파를 물리 소자로 구현할 때 최대 난점이 역시 가중치 수송이다. 아날로그 크로스바 어레이에서 순방향 곱셈은 옴의 법칙으로 공짜지만, 같은 소자의 전도도를 정확히 전치해 반대 방향으로 읽는 회로를 만들려면 비용이 폭증한다. 피드백 경로가 어차피 무작위여도 된다면, 그냥 아무렇게나 배선한 고정 경로를 물리적으로 깔아 두면 된다. 정렬은 순방향 가중치가 알아서 해 준다.

DFA는 이 이점이 더 크다. 오차를 한 번에 모든 층으로 브로드캐스트하므로 (가) 층 사이 순차 대기가 없고, (나) 무작위 사영은 광학계로도 구현할 수 있어 실제로 산란 매질을 이용한 광학 DFA 가속기 시제품이 보고됐다. 무작위 행렬을 곱하는 연산은 저장할 필요조차 없다 — 물리적 무작위성이 곧 행렬이다. 이건 디지털 GPU에서는 얻을 수 없는 종류의 이득이다.

스파이킹 신경망 쪽에서도 사정이 비슷하다. 스파이크로 정확한 실수 기울기를 되돌리는 것은 어렵지만, 무작위 피드백으로 대략의 방향만 뿌리는 것은 훨씬 만만하다. 그래서 온칩 학습을 목표로 하는 뉴로모픽 칩의 학습 규칙 후보 목록에 FA·DFA 계열이 거의 항상 들어 있다.^{2 3}

9. 관련 문서[편집]

• 역전파 · 신용 할당 · 자동 미분
• 심층 학습 · 합성곱 신경망 · 잔차 연결
• 확률적 경사하강법 · 배치 정규화 · 드롭아웃
• 스파이킹 신경망 · 뉴로모픽 컴퓨팅
• 예측 부호화 · 평형 전파 · 타깃 전파

10. Footnotes[편집]

1. 논문 제목은 “Random synaptic feedback weights support error backpropagation for deep learning”. 심사에 오래 걸린 것으로 유명한데, 리뷰어들이 “이게 될 리가 없다”는 반응을 보였기 때문이라는 뒷이야기가 돈다. 실제로 결과 자체는 재현이 아주 쉬워서, 프레임워크에서 역방향 함수 한 줄만 바꾸면 누구나 30분 안에 MNIST에서 정렬 각도가 90°에서 내려가는 것을 볼 수 있다. 안 믿기면 직접 돌려 보는 게 빠르다. ↩

2. 무작위 행렬이 공짜인 하드웨어라는 발상은 저수지 컴퓨팅(reservoir computing)과 정확히 같은 계보다. 거기서도 “무작위로 연결된 동역학계는 학습시키지 말고 출력층만 학습하라”고 한다. 학습을 안 시키는 부분을 물리에 떠넘기는 것이 아날로그 가속의 국룰이고, FA는 그 국룰을 역방향 경로에 적용한 셈. ↩

3. 이 분야를 읽을 때 조심할 것 하나. “생물학적으로 그럴듯하다”는 말은 “현재 알려진 생리학과 모순되지 않는다” 는 뜻이지 “뇌가 실제로 이렇게 한다”는 뜻이 아니다. 피드백 정렬이 뇌의 학습 규칙이라는 직접 증거는 없다. 다만 “가중치 수송이 불가능하니 뇌는 역전파류를 못 한다”는 30년짜리 반론 하나를 무력화한 것만으로 충분히 큰 기여였다는 평가가 일반적이다. ↩