커널 트릭

1. 개요[편집]

커널 트릭 Kernel Trick
기원	Aizerman · Braverman · Rozonoer (1964, 포텐셜 함수법)
한 줄	φ 를 계산하지 않고 ⟨φ(x),φ(y)⟩ 만 쓴다
적용 조건	데이터가 알고리즘에 내적으로만 등장할 것
정당성	양의 준정부호 → 머서 정리 · 무어-아론샤인 정리
유한 계산 근거	표현자 정리 (Kimeldorf & Wahba, 1971)
대가	비용이 차원 p 에서 표본 수 n 으로 이동 — 메모리 O(n²)

무한차원 공간에서 최적화를 한다고 하면 다들 놀라는데, 사실 그 공간에 발을 들인 적이 없다. 좌표를 안 쓰고 각도만 쓴 것뿐이다.

커널 트릭(kernel trick)은 입력을 고차원 특징공간으로 보내는 사상 $\varphi$ 를 한 번도 명시적으로 계산하지 않고, 두 점의 내적 $k(\mathbf x,\mathbf y)=\langle\varphi(\mathbf x),\varphi(\mathbf y)\rangle$ 을 직접 돌려주는 함수 하나만으로 선형 알고리즘을 그 특징공간에서 그대로 돌리는 기법이다. 이름은 “트릭”이지만 요령이 아니라 정리다 — 양의 준정부호 커널에는 반드시 그런 $\varphi$ 와 힐베르트 공간이 존재한다는 것이 보장되어 있다.

발상 자체는 한 문장이다. 어떤 알고리즘이 데이터를 내적으로만 만진다면, 그 내적을 다른 함수로 갈아 끼워도 알고리즘은 한 글자도 안 바뀐다. 서포트 벡터 머신이 이 트릭의 가장 유명한 수요자이지만 소유자는 아니다. 원조는 1964년 아이제르만·브라베르만·로조노에르의 포텐셜 함수법이고,¹ SVM에 이식된 것은 1992년이다. 그 사이 28년 동안 이 관찰은 논문 각주에서 잠들어 있었다.

이 문서는 트릭 자체 — 언제 쓸 수 있고, 무엇이 정당한 커널이며, 왜 유한 계산으로 끝나고, 어디서 무너지는지 — 를 다룬다. SVM의 쌍대문제와 서포트 벡터 희소성은 서포트 벡터 머신, 주성분에 적용한 판본은 커널 PCA, 회귀에 적용한 판본은 능형회귀와 가우시안 프로세스 문서에 있다.

2. 커널화 가능 조건 — 내적으로만 등장할 것[편집]

커널화의 문법은 놀랄 만큼 기계적이다. 알고리즘을 펼쳐 놓고 $\mathbf x_i$ 가 단독으로 등장하는 자리가 있는지 보면 된다. 없으면 커널화된다.

여기서 “내적으로만”은 생각보다 넓은 조건이다. 거리도 내적이다.

$$\lVert \varphi(\mathbf x)-\varphi(\mathbf y)\rVert^2 = k(\mathbf x,\mathbf x) - 2k(\mathbf x,\mathbf y) + k(\mathbf y,\mathbf y)$$

중심화도 내적이다. 특징공간의 평균 $\bar\varphi = \frac1n\sum_i\varphi(\mathbf x_i)$ 를 뺀 그람 행렬은 $H = I - \frac1n\mathbf 1\mathbf 1^{\mathsf T}$ 로

$$\tilde K = HKH$$

라고 쓰면 끝난다 — 평균 벡터를 구하지 않고 평균을 뺀 것이다. 군집 중심까지의 거리도 내적이다. 군집 $C$ 의 특징공간 중심 $\boldsymbol\mu_C$ 는 좌표로 쓸 수 없지만, 거리는 쓸 수 있다.

$$\lVert\varphi(\mathbf x)-\boldsymbol\mu_C\rVert^2 = k(\mathbf x,\mathbf x) - \frac{2}{|C|}\sum_{i\in C}k(\mathbf x,\mathbf x_i) + \frac{1}{|C|^2}\sum_{i,j\in C}k(\mathbf x_i,\mathbf x_j)$$

이 한 줄이 커널 k-평균 군집화의 전부다. 중심을 갱신하는 단계가 사라지고 “어느 군집에 속하는지”라는 라벨만 갱신하는 알고리즘이 된다.

반대로 커널화가 안 되는 자리도 분명하다. 계수 벡터를 사람이 읽어야 하는 알고리즘(변수 선택, 라쏘의 희소 계수), 특징공간의 점을 원래 공간으로 되돌려야 하는 알고리즘(잡음 제거, 생성), 좌표별로 다르게 처리하는 알고리즘(축 정렬 분할을 쓰는 결정 트리)은 트릭이 안 통한다. 커널 PCA의 사전이미지 문제가 정확히 두 번째 유형이다.

3. φ 를 펼쳐 보면[편집]

트릭이 정말 무슨 짓을 하는지 보려면 한 번은 손으로 펼쳐 봐야 한다. 2차원 입력에 2차 다항식 커널 $k(\mathbf x,\mathbf y)=(\mathbf x^{\mathsf T}\mathbf y)^2$ 를 쓰면

$$(x_1y_1+x_2y_2)^2 = x_1^2y_1^2 + 2x_1x_2\,y_1y_2 + x_2^2y_2^2 = \langle \varphi(\mathbf x), \varphi(\mathbf y)\rangle, \quad \varphi(\mathbf x) = \big(x_1^2,\ \sqrt2\,x_1x_2,\ x_2^2\big)$$

가 되어 3차원 사상이 나온다. $\sqrt2$ 라는 계수는 장식이 아니라 다항 전개의 다항계수를 내적이 흡수하도록 맞추는 값이다. 일반적으로 $(\mathbf x^{\mathsf T}\mathbf y + c)^d$ 는 차수 $d$ 이하 단항식 전부에 대응하고 특징 차원이 $\binom{p+d}{d}$ 로 폭발한다 — $p=100$, $d=4$ 면 약 460만 차원이다. 그걸 곱셈 100번과 거듭제곱 한 번으로 대체하는 것이 트릭의 실질적 이득이다.

RBF 커널은 아예 무한차원이다. 1차원에서 전개해 보면

$$e^{-\gamma(x-y)^2} = e^{-\gamma x^2}e^{-\gamma y^2}\sum_{m=0}^{\infty}\frac{(2\gamma)^m}{m!}x^m y^m \quad\Longrightarrow\quad \varphi(x)_m = e^{-\gamma x^2}\sqrt{\frac{(2\gamma)^m}{m!}}\,x^m$$

로 모든 차수의 단항식이 가우시안 가중으로 들어간 무한 수열이 나온다. 좌표를 다 적을 수 없는데 내적은 지수함수 한 번으로 끝난다 — 이 비대칭이 커널 방법의 존재 이유 전부다.

4. 무엇이 정당한 커널인가[편집]

아무 대칭 함수나 내적 자리에 끼워 넣을 수는 없다. 조건은 양의 준정부호(positive semi-definite, PSD)다. 대칭 함수 $k$ 가 임의의 유한 점집합 $\{\mathbf x_1,\dots,\mathbf x_n\}$ 에 대해 그람 행렬 $K_{ij}=k(\mathbf x_i,\mathbf x_j)$ 를 항상 양의 준정부호로 만들면, 즉 모든 $\mathbf c\in\mathbb R^n$ 에 대해

$$\mathbf c^{\mathsf T}K\,\mathbf c = \sum_{i,j}c_ic_j\,k(\mathbf x_i,\mathbf x_j) \ge 0$$

이면 $k$ 는 커널이다. 이유는 필요조건 쪽이 자명하다 — $k$ 가 내적이면 위 합은 $\lVert\sum_i c_i\varphi(\mathbf x_i)\rVert^2$ 이므로 음수가 될 수 없다. 놀라운 쪽은 역이고, 그것을 보증하는 두 정리가 있다.

• 머서 정리(Mercer, 1909). 콤팩트 정의역 위의 연속 대칭 PSD 커널은 $k(\mathbf x,\mathbf y)=\sum_m \lambda_m\psi_m(\mathbf x)\psi_m(\mathbf y)$ 로 전개된다($\lambda_m\ge0$, $\psi_m$ 은 적분 연산자의 고유함수). 즉 $\varphi(\mathbf x)=(\sqrt{\lambda_m}\psi_m(\mathbf x))_m$ 이 명시적으로 구성된다.
• 무어-아론샤인 정리(Aronszajn, 1950). 연속성도 콤팩트성도 필요 없다. 대칭 PSD 커널 하나에는 그것을 재생하는 힐베르트 공간이 유일하게 대응한다.

실무에서 필요한 것은 후자뿐이다. 데이터는 언제나 유한하고 정의역은 문자열이나 그래프일 수도 있으므로, 적분 연산자를 쓰는 머서 판본은 사실 과잉이다. 그런데 문헌 관행상 이 조건을 “머서 조건”이라 부르고 PSD 커널을 “머서 커널”이라 부르는 습관이 굳었다.²

PSD가 깨지면 무엇이 부서지는가는 알고리즘마다 다르다. SVM에서는 쌍대 목적함수의 오목성이 깨져 볼록 이차계획이 아니게 되고 SMO가 발산한다. 커널 PCA에서는 음의 고유값이 나와 “분산”이 음수가 된다. 커널 능형회귀에서는 $K+\lambda I$ 의 가역성이 보장되지 않는다. 그럼에도 편집거리 유사도처럼 부정부호인 함수를 억지로 쓰는 관행이 실제로 존재하고, 이때는 스펙트럼을 손으로 고친다.³

4.1. 커널 대수[편집]

새 커널을 처음부터 검증하는 것보다 이미 아는 커널을 조립하는 것이 압도적으로 쉽다. $k_1,k_2$ 가 커널이면 다음도 커널이다.

연산	결과	특징공간에서의 의미
$a k_1$, $a>0$	커널	스케일링
$k_1+k_2$	커널	두 특징공간의 직합(concatenation)
$k_1 k_2$	커널	텐서곱 — 특징의 모든 쌍곱
$f(\mathbf x)k_1(\mathbf x,\mathbf y)f(\mathbf y)$	커널	점별 재가중
$\exp(k_1)$	커널	거듭제곱 급수의 비음 결합
$k_1(g(\mathbf x),g(\mathbf y))$	커널	전처리 사상 뒤 커널

이 규칙만으로 RBF의 PSD성이 두 줄로 나온다.

$$e^{-\gamma\lVert\mathbf x-\mathbf y\rVert^2} = \underbrace{e^{-\gamma\lVert\mathbf x\rVert^2}}_{f(\mathbf x)}\; \underbrace{e^{2\gamma\,\mathbf x^{\mathsf T}\mathbf y}}_{\exp(\text{선형 커널})}\; \underbrace{e^{-\gamma\lVert\mathbf y\rVert^2}}_{f(\mathbf y)}$$

지수함수는 다항식 커널의 비음 결합이고, 앞뒤 곱은 점별 재가중이다. 끝.

5. RKHS 와 표현자 정리[편집]

커널 $k$ 에 대응하는 힐베르트 공간을 재생 커널 힐베르트 공간(RKHS) $\mathcal H_k$ 라 한다. 정의는 소박하다 — $k(\cdot,\mathbf x)$ 들의 선형결합을 모아 완비화한 함수공간이고, 재생성

$$f(\mathbf x) = \langle f,\ k(\cdot,\mathbf x)\rangle_{\mathcal H_k} \qquad \forall f\in\mathcal H_k$$

를 만족한다. 즉 “점에서 함수값을 읽는 행위”가 내적으로 표현된다. 이 성질 덕분에 함수공간 위의 최적화가 유한 차원 문제로 접힌다.

표현자 정리(representer theorem, 재현자 정리라고도 한다. Kimeldorf & Wahba, 1971 / 일반형은 Schölkopf 외, 2001)의 진술은 이렇다. 손실 $L$ 이 어떻든, 정규화항 $\Omega$ 가 $\lVert f\rVert_{\mathcal H}$ 의 엄격 증가 함수라면

$$\min_{f\in\mathcal H_k}\ \sum_{i=1}^{n} L\big(y_i, f(\mathbf x_i)\big) + \Omega\big(\lVert f\rVert_{\mathcal H_k}\big)$$

의 최소해는 반드시

$$f^\star(\cdot) = \sum_{i=1}^{n}\alpha_i\,k(\cdot,\mathbf x_i)$$

형태다. 증명은 한 줄짜리 직교분해다 — $f$ 를 학습점들이 만드는 span 성분과 그에 직교인 성분 $f_\perp$ 로 쪼개면, 재생성 때문에 $f_\perp$ 는 모든 $f(\mathbf x_i)$ 에 기여하지 않으므로 손실을 못 바꾸고, 노름만 키운다. 따라서 최적해에서 $f_\perp=0$.

여기서 두 가지가 동시에 결론난다. (1) 무한차원 공간의 최적화가 계수 $n$ 개의 문제로 줄어든다. SVM의 $\mathbf w=\sum_i\alpha_iy_i\varphi(\mathbf x_i)$ 도, 커널 능형회귀의 $\hat f(\mathbf x)=\mathbf k(\mathbf x)^{\mathsf T}(K+\lambda I)^{-1}\mathbf y$ 도 이 정리의 특수한 경우다. (2) 정규화가 선택이 아니다. $\Omega$ 가 없으면 정리가 성립하지 않고, 무한차원 공간에서 훈련오차 0은 언제나 달성 가능하므로 과적합이 확정이다. “커널로 무한차원에 보내면 강력하다”가 아니라 “무한차원인데 정규화로 붙잡아 두어서 쓸 수 있다”가 정확한 서술이다.

6. 커널화된 알고리즘 목록[편집]

트릭이 붙은 고전 알고리즘은 대체로 1990년대 후반 5년 안에 다 쏟아져 나왔다. 논문 제목에 “kernel”을 붙이는 것이 당시 유행이었다.

• 커널 능형회귀 / SVM / 서포트 벡터 회귀 — 손실만 다르고 구조는 같다. 전자는 제곱 손실, 둘째는 힌지, 셋째는 $\epsilon$-무감도.
• 커널 PCA — 중심화 그람 행렬의 고유분해. 트릭의 교과서적 예제.
• 커널 k-평균 — 위에서 본 중심 거리 공식. 그람 행렬을 유사도 행렬로 보면 스펙트럴 군집화와 거의 같은 물건이 된다.
• 커널 정규 상관 분석(kernel CCA) — 두 뷰 사이의 비선형 상관. 정규화 없이 풀면 상관이 항상 1로 나오는 유명한 함정이 있다(자유도가 표본 수만큼 있으므로 완벽 정렬이 가능하다).
• 커널 피셔 판별분석 — 클래스 내/간 산포를 그람 행렬로 표현.
• 커널 퍼셉트론 — 온라인으로 서포트 벡터를 쌓는다. 예측 비용이 반복마다 커지는 것이 문제라, 예산을 정해 두고 오래된 것을 버리는 예산형 변형이 따로 있다.
• 가우시안 프로세스 · 크리깅 — 계보가 다른 쪽에서 왔지만 계산식은 커널 능형회귀와 글자 그대로 같다. 공분산 함수가 곧 커널이다.

한편 커널의 진짜 활용 무대는 벡터가 아닌 데이터다. 문자열 커널(공통 부분열 수), 그래프 커널(Weisfeiler-Lehman, 랜덤워크), 화학 구조 커널, 집합 커널처럼 좌표는 정의할 수 없지만 유사도는 정의할 수 있는 대상에 선형대수 도구 전부를 들여놓는 것. 특징 벡터를 억지로 설계하지 않아도 된다는 이 점이 생물정보학·화학정보학에서 커널 방법이 아직 현역인 이유다.

7. O(n²) 라는 벽[편집]

트릭에는 정확히 하나의 청구서가 붙는다. 비용이 변수 수 $p$ 에서 표본 수 $n$ 으로 옮겨 간다.

항목	명시적 선형 모형	커널 모형
메모리	$O(np)$ 또는 $O(p^2)$	그람 행렬 $O(n^2)$
학습	$O(np^2)$	$O(n^3)$ (분해) ~ $O(n^2)$ (분해형 QP)
예측 1건	$O(p)$	$O(n_{\text{SV}})\cdot O(\text{커널 1회})$
모형 크기	계수 $p$ 개	학습점 좌표 + 계수

$n\ll p$ 일 때는 이 교환이 순이익이다. 표본 50개에 유전자 2만 개면 $50\times50$ 행렬 하나로 끝난다. 반대로 $n=10^6$ 이면 그람 행렬만 배정밀도로 8 TB라 존재 자체가 불가능하고, 학습이 아니라 예측조차 비싸다 — 모형이 학습 데이터를 들고 다녀야 하므로 임베디드 배포에서 즉사한다.

여기에 통계적 문제가 겹친다. 고차원에서 RBF 커널의 $\lVert\mathbf x-\mathbf y\rVert$ 는 차원의 저주로 모든 쌍에 대해 비슷한 값으로 집중되고, 그러면 그람 행렬이 거의 대각행렬이 되어 모형이 최근접 이웃 조회로 퇴화한다. 커널을 고정된 유사도로 사람이 골라 준다는 것이 근본적 한계이기도 하다 — 심층 학습이 표현을 학습해서 이기는 자리는 이 지점이다.

8. 근사 — 벽을 우회하는 두 갈래[편집]

$O(n^2)$ 를 피하는 표준 처방은 커널을 유한 차원 명시적 특징으로 되돌리는 것이다. 트릭을 반대로 돌리는 셈이다. 차원 $D\ll n$ 인 $\mathbf z(\mathbf x)\in\mathbb R^D$ 를 만들어 $\mathbf z(\mathbf x)^{\mathsf T}\mathbf z(\mathbf y)\approx k(\mathbf x,\mathbf y)$ 로 두고, 그 뒤로는 선형 모형을 쓴다. 그러면 비용이 $O(nD)$ 로 표본 수에 선형이 된다.

무작위 푸리에 특징(random Fourier features, Rahimi & Recht, 2007)의 근거는 보흐너 정리다 — 이동불변 연속 커널 $k(\mathbf x-\mathbf y)$ 가 PSD인 것은 그것이 어떤 비음 측도의 푸리에 변환인 것과 동치다. 정규화해서 확률밀도 $p(\boldsymbol\omega)$ 로 보면

$$k(\mathbf x-\mathbf y) = \mathbb E_{\boldsymbol\omega\sim p}\big[\cos\big(\boldsymbol\omega^{\mathsf T}(\mathbf x-\mathbf y)\big)\big]$$

이고, 이 기댓값을 몬테카를로로 치면 된다. $\boldsymbol\omega_j\sim p$, $b_j\sim U[0,2\pi]$ 를 뽑아

$$\mathbf z(\mathbf x) = \sqrt{\tfrac{2}{D}}\,\Big[\cos(\boldsymbol\omega_1^{\mathsf T}\mathbf x + b_1),\ \dots,\ \cos(\boldsymbol\omega_D^{\mathsf T}\mathbf x + b_D)\Big]^{\mathsf T}$$

로 두면 $\mathbb E[\mathbf z(\mathbf x)^{\mathsf T}\mathbf z(\mathbf y)]=k(\mathbf x,\mathbf y)$ 이고 오차는 $O(1/\sqrt D)$ 로 줄어든다. RBF 커널 $\exp(-\lVert\mathbf x-\mathbf y\rVert^2/2\sigma^2)$ 이면 $p$ 가 $\mathcal N(\mathbf 0,\sigma^{-2}I)$ 라 구현이 난수 생성 한 줄이다. 데이터를 안 보고 특징을 만든다는 것이 장점(사전 계산 가능, 스트리밍 가능)이자 단점이다.⁴

나이스트룀 근사(Williams & Seeger, 2001)는 반대로 데이터를 본다. 학습점 중 $m$ 개를 지표점(landmark)으로 골라 $C=K_{:,S}\in\mathbb R^{n\times m}$, $W=K_{S,S}$ 를 계산하고

$$K \approx C\,W^{-1}C^{\mathsf T}, \qquad \tilde{\boldsymbol\varphi}(\mathbf x) = W^{-1/2}\,\mathbf k_S(\mathbf x)$$

로 $m$ 차원 특징을 만든다. 이것은 그람 행렬의 저계수 근사라 정확도가 고유값 감쇠 속도에 직접 달려 있고, 스펙트럼이 빨리 죽는 실제 데이터에서는 같은 차원의 무작위 푸리에 특징보다 대체로 더 정확하다(양 외, 2012). 대신 $W^{-1/2}$ 를 위한 $O(m^3)$ 분해가 필요하고, 지표점 선택(균등 표본, 레버리지 점수, k-평균 중심)이 성능을 좌우한다.

정리하면 이렇다. 무작위 푸리에 특징은 커널에만 의존하고 나이스트룀은 데이터에도 의존한다. 이동불변 커널이 아니면(문자열·그래프 커널) 전자는 아예 쓸 수 없고, 그때는 나이스트룀이 유일한 선택이다. 그 외에 그람 행렬을 아예 안 만들고 촐레스키 분해를 부분적으로만 진행하는 불완전 촐레스키 계열, 유도점을 변분적으로 학습하는 가우시안 프로세스 쪽 근사도 같은 벽을 다른 각도에서 때린다.

9. 실무에서의 오해와 요령[편집]

• “커널을 바꾸면 성능이 오른다”는 대개 오진이다. 순서는 스케일링 → 하이퍼파라미터 → 라벨 품질 → 커널이다. RBF 커널의 거리 안에서 단위가 큰 변수 하나가 전부를 독점하는 것이 압도적으로 흔한 실패다.
• 커널 폭은 데이터 스케일에 묶인 양이다. $\gamma$ 의 기본값으로 쓰이는 중위수 휴리스틱(쌍거리 중위수의 역수)이나 $1/(p\cdot\mathrm{Var}(\mathbf x))$ 는 표준화를 전제한다.
• 트릭은 정규화를 대체하지 않는다. 표현자 정리가 $\Omega$ 를 요구한다는 것이 이론이고, RBF 그람 행렬이 서로 다른 점들에 대해 항상 full rank라는 것이 그 실전적 귀결이다. 정규화를 풀면 훈련오차 0에 도달하고 그 모형은 아무 쓸모가 없다.
• 표본이 만 단위를 넘으면 근사부터 검토한다. 정확한 커널 모형과 근사 커널 모형의 성능 차이는 보통 하이퍼파라미터 튜닝 폭보다 작다. “정확하게 못 푸니 안 쓴다”보다 “근사로 푸는 대신 폭넓게 튜닝한다”가 실전적으로 우세하다.
• 커널은 사전지식을 넣는 문법이기도 하다. 주기성이 있으면 주기 커널, 뷰가 여럿이면 커널 합, 상호작용을 원하면 커널 곱. 위의 커널 대수가 그 문법이고, 이건 특징 공학을 유사도 설계로 옮긴 것에 가깝다.

10. 관련 문서[편집]

• 서포트 벡터 머신 · 서포트 벡터 회귀 · 힌지 손실
• 커널 PCA · 주성분 분석 · 스펙트럴 군집화 · k-평균 군집화
• 능형회귀 · 티호노프 정규화 · 라쏘 · 과적합
• 가우시안 프로세스 · 크리깅 · 대리 모델
• 무작위 푸리에 특징 · 저랭크 근사 · 촐레스키 분해
• 힐베르트 공간 · 기저함수 · 푸리에 변환
• 커널 밀도 추정 · 차원의 저주 · 심층 학습

11. Footnotes[편집]

1. Aizerman, M., Braverman, E., Rozonoer, L. (1964). “Theoretical foundations of the potential function method in pattern recognition learning.” Automation and Remote Control. 소련 자동제어 학술지에 실린 이 논문이 커널 트릭의 최초 기록이고, 보저·기용·바프닉의 1992년 SVM 논문이 인용한 원전이기도 하다. 좋은 아이디어가 28년 동안 아무도 안 쓰고 방치되는 것은 이 분야에서 그리 드문 일이 아니다. ↩

2. 머서 정리는 콤팩트 정의역·연속 커널·적분 연산자를 요구하는 함수해석 정리다. 정작 실무에서 검증하는 것은 “유한 그람 행렬이 PSD인가”뿐이고 그건 아론샤인 쪽 진술이다. 즉 논문에서 “머서 조건을 만족한다”고 쓸 때 대부분은 머서가 아니라 아론샤인에게 감사해야 한다. 물론 이 지적을 학회에서 하면 아무도 좋아하지 않는다. ↩

3. 부정부호 유사도를 쓰는 세 가지 관행이 있다 — 음의 고유값을 0으로 자르기(clip), 절댓값 취하기(flip), 대각에 상수를 더해 전체를 밀어 올리기(shift). 셋 다 원래 유사도를 왜곡하고, 셋 다 논문에서는 “실험적으로 잘 되었다”는 한 문장으로 넘어간다. 애초에 PSD인 커널을 설계하는 쪽이 정직하다. ↩

4. 이 논문은 2017년 NeurIPS Test of Time Award를 받았고, 수상 연설에서 라히미가 현재의 기계학습 연구 관행을 “연금술”이라 부르며 재현성과 이해를 요구한 것이 며칠간 트위터를 뒤집어 놓았다. 논문 자체는 “무작위 특징이 정교한 최적화를 이길 수 있다”는 실증인데, 연설 내용이 논문보다 더 많이 인용되는 희귀한 사례가 되었다. ↩