Random Fourier Features와 커널 근사

커널을 유한 특징 내적으로 바꾸기

Gaussian RBF k(x,y)=exp(−(x−y)²/(2ℓ²))는 두 점이 가까울수록 1에 가깝습니다. 전체 커널 행렬을 저장하는 대신 유한한 주파수 특징을 만들 수 있습니다. 이 단원은 1차원 입력에서 cos/sin을 함께 쓰는 paired map을 사용합니다.

주파수는 m개지만 좌표는 2m개입니다. 무작위 위상 cos 하나를 쓰는 다른 정규화·분산 공식과 혼용하지 마세요.

삼각함수와 Gaussian 특성함수

cos a cos b+sin a sin b=cos(a−b)이므로 내적은 cos(ωⱼr)의 평균, r=x−y입니다. 이상적인 독립 ωⱼ~N(0,ℓ⁻²)에서 Gaussian 특성함수의 실수부를 사용하면 기대값은 정확히 RBF입니다.

점별 분산을 정확히 계산하기

cos²u=(1+cos2u)/2를 사용하면 한 거리 r의 이상적인 표집 분산을 닫힌식으로 구합니다. s=r/ℓ라 하면 다음과 같습니다. m이 커지면 분산은 1/m로 줄지만 한 seed의 실제 오차가 모든 r에서 단조 감소하는 것은 아닙니다.

r=0이면 모든 cos가 1이어서 근사는 정확히 1, 분산도 0입니다. 단일 실현의 표준오차는 현재 실제 오차와 같은 숫자가 아닙니다. 또한 한 점의 표집 분산은 전체 입력 구간에서의 동시 오차 보장이 아닙니다.

재현 가능한 실현을 그림으로 보기

파랑은 정확 RBF, 주황은 seed로 고정한 유사 Gaussian 주파수의 근사입니다. 구현은 재현성을 위해 유사난수와 Box–Muller를 사용하며 이상적인 iid Gaussian 표집 가정의 정리와 분리해 해석합니다. m을 늘리면 같은 seed의 주파수 접두 부분은 유지됩니다.

주황 값이 음수가 될 수 있지만 자르지 않습니다. 유한 특징의 내적이므로 근사 Gram 행렬은 양의 준정부호여도 개별 원소가 모두 양수일 필요는 없습니다. RBF의 양수 원소를 유한 표본마다 강제하는 방법은 다른 추정량입니다.

AI에서의 활용과 한계

커널 근사, explicit feature 학습, 표현 공간 비용을 이해하는 출발점입니다. 길이 척도 ℓ가 작으면 커널이 빠르게 변하고 같은 m에서 근사가 더 까다로울 수 있습니다. 데이터 차원·관측 범위·오차 확률까지 포함한 균일 보장에는 추가 논증이 필요하며 이 1차원 그림만으로 일반 성능을 선언하지 않습니다.

확인 문제와 해설

1. m=32일 때 좌표 수는? 64입니다.
2. r=0에서 오차는? 정확히 0입니다.
3. 근사 원소가 음수면 PSD가 불가능한가요? 아니요. 행렬의 PSD와 원소별 양수는 다른 조건입니다.

추가 읽기: Rahimi & Recht, Random Features for Large-Scale Kernel Machines.