Kernel Ridge Regression의 실제 해

Kernel 회귀의 목적함수를 먼저 고정하기

실습은 입력 −1,0,1, 관측값 1,c,1을 사용합니다. 합성 실험의 참조 함수는 x²이지만 학습기는 kernel과 세 관측값만 사용합니다. RBF kernel k(x,z)=exp(−(x−z)²/(2ℓ²))에서 ℓ은 length scale이고 amplitude는 1로 고정합니다.

합 손실 관례입니다. 앞에 1/n을 붙이는 평균 손실이면 같은 이름의 λ를 써도 선형계에 nλ가 나타날 수 있습니다. 논문과 코드의 배율을 먼저 맞추세요.

유한 Gram 시스템과 예측

Representer 정리로 f(x)=∑αᵢk(xᵢ,x)로 두고 다음을 풉니다.

코드는 역행렬을 직접 만들지 않고 Cholesky 분해와 삼각 해법을 사용합니다. 표시한 λ 외에 숨은 jitter를 더하지 않습니다. 현재 입력은 서로 다르고 ℓ이 유한 양수여서 λ=0에서도 RBF Gram은 양정입니다. 일반 kernel이나 중복 입력에서는 이 조건을 다시 검토해야 합니다.

수치 예제를 어떻게 확인할까

ℓ=1에서 K의 인접 상관은 exp(−1/2), 양끝 상관은 exp(−2)입니다. λ=0, c=0이면 세 관측을 수치 정밀도 안에서 정확히 통과하지만 x² 전체를 복원하는 것은 아닙니다. λ=.1이면 훈련점도 보통 완전히 통과하지 않고 노름과 잔차를 교환합니다. 표의 α와 예측값, 선형계 잔차를 함께 확인하세요.

S는 관측값에서 훈련 예측값으로 가는 smoother입니다. trace(S)를 효과 자유도로 표시합니다. λ=0이면 3, 양의 λ이면 0과 3 사이입니다. 파랑은 합성 참조, 주황은 회귀 함수, 점은 관측값입니다.

Length scale과 정규화는 다른 역할

작은 ℓ은 가까운 점에서만 비슷한 영향을 주고 큰 ℓ은 더 넓게 연결합니다. λ는 선택한 RKHS에서 큰 노름을 억제합니다. 두 값을 함께 바꿀 때의 모형 선택은 검증 자료나 명시한 확률 모형에 근거해야 합니다. 세 점에 맞았다는 이유만으로 새 분포의 성능이나 extrapolation을 보장할 수 없습니다.

큰 데이터에서는 Gram 저장 O(n²), 직접 분해 O(n³)가 부담이 됩니다. Random feature나 Nyström 근사는 계산을 줄이지만 그 근사 오차와 통계적 오차를 구분해야 합니다.

확인 문제와 해설

1. λ를 키우면 언제나 참 함수에 가까워지나요? 아니요. 분산을 줄이면서 편향을 늘릴 수 있고 실제 자료에 따라 달라집니다.
2. α가 음수이면 kernel이 PSD가 아닌가요? 아니요. 계수의 부호와 kernel의 이차형식 조건은 다른 문제입니다.
3. 선형계 잔차가 작으면 모집단 위험도 작은가요? 보장하지 않습니다. 수치 해법의 정확성과 통계 성능은 별도입니다.

추가 읽기: Rasmussen and Williams, Regression.