RKHS·Mercer와 명시적 특징

Kernel은 특징 내적과 함수 공간을 연결한다

양의 준정부호 kernel k는 임의의 유한 입력과 실수 계수에 대해 ∑cᵢcⱼk(xᵢ,xⱼ)≥0을 만족합니다. 모든 원소가 양수라는 조건과 다릅니다. RKHS는 점 평가가 연속인 Hilbert 함수 공간이며 kernel 절편 kₓ=k(·,x)가 평가의 대표가 됩니다.

따라서 |f(x)|≤‖f‖H√k(x,x)입니다. 앞서 일반 L2에서 실패한 점 평가가 여기서는 공간의 구조에 포함됩니다.

두 특징으로 모든 것을 계산하기

[-1,1]의 kρ(x,z)=1+ρxz, ρ>0을 보겠습니다. 명시적 특징은 φ(x)=(1,√ρx)입니다. 함수 f=a+bx를 계수 w=(a,b/√ρ)로 표현하므로 다음 노름을 얻습니다.

ρ=1, f=1+x, 질의 x=.5이면 제곱 노름은 2, 평가 대표 노름은 √1.25, 재생 내적은 1.5입니다. Kernel을 바꾸면 같은 함수의 노름도 달라집니다. ρ=0에서는 상수만 남아 b≠0인 대상은 공간 밖입니다. 실습의 ∞는 이 경우 실제 유한 RKHS 노름을 부여하지 않는 확장 표기이며 재생 내적은 —입니다.

Mercer의 측도와 고유값

Compact 영역의 연속 대칭 PSD kernel과 적절한 유한 Borel 측도를 가정하면 적분 연산자의 spectral expansion을 통해 kernel을 볼 수 있습니다. 이 예는 균등 확률측도 dx/2를 고정하며 정규직교 함수 e₀=1, e₁=√3x의 고유값은 1, ρ/3입니다.

입력점 −1,0,1에서의 유한 Gram 행렬 고유값은 3,2ρ,0입니다. 적분 연산자 고유값과 같은 숫자가 아닙니다. 표본 개수·측도·가중치가 다르기 때문입니다.

그림과 AI 해석

파랑은 질의점의 kernel 절편, 주황은 대상 함수입니다. 두 곡선이 같은 함수일 필요는 없습니다. 재생은 그 두 함수의 RKHS 내적에 관한 주장이지 두 곡선의 높이가 같다는 주장이 아닙니다.

Kernel 폭이나 특징 배율은 어떤 함수를 짧은 노름으로 표현할지에 대한 prior를 만듭니다. Gaussian kernel처럼 무한 차원인 RKHS와 이 두 특징의 유한 공간을 구분하고, 일반 Mercer 전개에는 연속성·영역·측도 가정을 확인해야 합니다.

확인 문제와 해설

1. ρ=.5에서 f=x의 제곱 노름은? 2입니다. 기울기 비용이 1/ρ입니다.
2. Gram 행렬에 0 고유값이 있으면 kernel이 잘못됐나요? 아니요. PSD는 singular도 허용합니다.
3. 측도를 dx로 바꾸면 적분 고유값은? 현재 값의 두 배입니다. Kernel 자체의 식은 그대로여도 적분 연산자는 달라집니다.

추가 읽기: MIT 9.520, RKHS and Mercer.