Representer 정리와 관측의 직교 여공간

무한 함수 탐색이 유한 계수 탐색이 되는 조건

Representer 정리는 경험 손실이 유한한 함수 평가값만 보고 정규화가 RKHS 노름의 적절한 증가 함수일 때 적용됩니다. 최소해가 존재한다면 관측점 kernel 절편들의 span에서 해를 선택할 수 있습니다. 벌점이 노름에 대해 엄격히 증가하면 최소해의 불필요한 직교 성분은 사라집니다. 존재·유일성·계수 유일성까지 가정 없이 자동 보장하는 정리는 아닙니다.

재생 성질에서 f⊥(xᵢ)=0이므로 관측 손실은 그대로입니다. 반면 제곱 노름은 두 직교 성분의 제곱 노름 합입니다. 손실에 도움이 없는 직교 방향을 제거하면 벌점이 줄어듭니다.

관측에 보이지 않는 방향을 만들기

실습은 특징 φ(x)=(1,x,x²), kernel 1+xz+x²z²를 사용합니다. 계수 공간은 유클리드 R³이며 관측은 (−1,1),(1,1)입니다. 단위 벡터 v=(1,0,−1)/√2는 두 관측 특징 모두와 직교합니다.

따라서 이 방향을 c만큼 더해도 훈련값은 바뀌지 않지만 중앙의 함수값은 c/√2만큼 바뀝니다. 관측값과 함수 전체가 같은 대상이 아님을 보여 줍니다.

정확한 최소해와 벌점 증가

목적함수는 평균 제곱 잔차 + λ‖w‖²이며 λ>0입니다. 대칭성과 정상 조건으로 최소해는 w=(t,0,t), t=1/(2+λ)입니다. 단위 직교 성분을 추가하면 노름 제곱은 2t²+c²입니다.

λ=1이면 t=1/3, 훈련 MSE는 1/9, 최소 목적함수는 1/3입니다. c=1을 추가하면 관측값은 같지만 목적함수는 4/3입니다. λ=.1이면 같은 직교 성분의 추가 비용은 .1입니다. 파랑은 최소해, 주황은 수정한 함수, 점은 실제 관측입니다.

일반화할 때 주의할 점

정리가 데이터 밖 예측의 정확도를 보장하지는 않습니다. 손실이 미분값·적분 관측을 사용하면 관측 범함수의 연속성과 대표를 다시 확인해야 합니다. Gram이 singular이면 동일한 함수를 다른 계수 α로 표현할 수도 있어 함수 유일성과 계수 유일성도 다릅니다.

이 실험은 유한 RKHS에서 정리의 직교 논증을 그대로 계산합니다. 실제 무한 차원 kernel 회귀에서도 같은 논증이 유한 관측 span으로 문제를 줄이지만, 수치 조건과 통계적 일반화는 별도 과제입니다.

확인 문제와 해설

1. c를 2배로 하면 추가 비용은? 4배입니다. 제곱 노름 벌점입니다.
2. 직교 성분이 훈련에서 0이면 테스트에서도 항상 0인가요? 아니요. 중앙에서의 변화가 반례입니다.
3. λ=0에서도 직교 성분을 반드시 없애나요? 아니요. 손실이 같고 벌점이 없으면 여러 최소해가 가능합니다. 현재 조작 범위는 λ>0입니다.

추가 읽기: Schölkopf, Herbrich and Smola, A Generalized Representer Theorem.