적분 연산자와 Kernel 근사

행렬 곱의 연속 버전

적분 연산자는 입력 함수 f(t)를 kernel K(x,t)로 가중해 적분하고 출력 함수 Tf(x)를 만듭니다. 유한 행렬의 열 번호가 연속 변수 t로 바뀐 것처럼 볼 수 있지만 적분 측도와 함수 공간을 반드시 지정해야 합니다.

L2의 두 변수에서 제곱 적분 가능한 kernel은 Hilbert–Schmidt 연산자를 정의하고 bounded·compact입니다. 이는 충분조건이며 모든 bounded 적분 사상이 이 조건을 만족한다는 뜻은 아닙니다.

정확히 풀리는 rank-one kernel

실습은 g(x)=1+a x와 K(x,t)=g(x)g(t)를 사용합니다. 그러면 Tf=g⟨g,f⟩라 모든 출력이 g의 배수입니다. g는 0 함수가 아니므로 rank는 정확히 1입니다. T는 자기수반이고 ⟨Tf,f⟩=|⟨g,f⟩|²≥0입니다.

g에 직교하는 함수는 모두 kernel에 있습니다. 유일한 비영 고유값 λ가 연산자 노름과 같고 Hilbert–Schmidt 노름도 λ입니다. 두 변수 적분 ∫∫K²가 (∫g²)²임을 직접 확인할 수 있습니다.

중점 근사와 정확한 사상을 분리하기

입력이 f=1+b t이면 계수 q=∫gf는 1+(a+b)/2+ab/3입니다. tᵢ=(i+.5)/N의 중점 규칙 qₙ을 사용하면 오차는 정확히 −ab/(12N²)입니다.

a=b=1, N=2에서 q=7/3, qₙ=37/16이고 차이 절댓값은 1/48입니다. N=8이면 1/768입니다. 파랑과 주황은 각각 정확한 Tf와 근사 Tₙf입니다. a=0 또는 b=0이면 integrand가 일차 이하라 중점 적분이 정확합니다.

수치 행렬에도 가중치를 넣어야 한다

중점 Nyström 행렬의 원소는 K(tᵢ,tⱼ)/N입니다. 1/N을 빼면 고유값의 크기가 잘못됩니다. 이 대칭 행렬의 가능한 비영 고유값은 ∑g(tᵢ)²/N이며 정확한 λ와 차이는 −a²/(12N²)입니다. 모든 표본의 g가 0이면 행렬은 rank 0입니다. 예를 들어 a=−2, N=1의 중점은 g(.5)=0이라 원래 연산자가 rank 1이어도 수치 행렬은 영행렬입니다. 해상도를 바꾸는 것은 이산 근사를 바꾸는 것이지 원래 연산자 자체를 바꾸는 일이 아닙니다.

AI의 kernel 방법·Gaussian process·neural operator에 이 관점이 연결됩니다. 일반 attention 가중치는 현재 kernel처럼 대칭·양의 준정부호라는 보장이 없으므로 같은 스펙트럼 결론을 그대로 적용하지 않습니다.

확인 문제와 해설

1. a=0의 연산자 노름은? 1입니다. 상수 kernel의 적분 연산자입니다.
2. a=−1의 비영 고유값은? 1/3입니다. g=1−x의 제곱 적분입니다.
3. 수치 행렬 rank가 1이면 함수 공간도 유한 차원인가요? 아니요. 정의역 L2는 무한 차원이지만 이 연산자의 상만 1차원입니다.

추가 읽기: MIT 18.102, Functional Analysis.