NTK와 고정 Jacobian 학습

학습하는 함수의 국소 선형화

매개변수 θ를 바꾸면 네트워크 함수도 바뀝니다. 초기값 θ₀ 근처에서는 Jacobian J₀(x)=∂fθ(x)/∂θ를 사용해 함수 변화를 선형화할 수 있습니다. 현재 실습은 같은 초기화에서 실제 비선형 네트워크와 이 선형 모형을 각각 학습합니다.

a,w,b를 모두 학습하므로 Jacobian은 각 유닛당 세 좌표를 갖습니다. 1/√m 배율을 임의로 빼면 다른 kernel과 동역학이 됩니다.

경험적 NTK와 잔차 갱신

세 훈련점의 Jacobian 행렬을 J라고 하면 경험적 NTK는 JJᵀ입니다. 제곱 손실 L=∑rᵢ²/(2n)에 대한 parameter GD를 선형화 모형에 적용하면 다음 고정 kernel 동역학을 얻습니다.

이는 고정 Jacobian 모형에서 정확한 유한 단계 항등식입니다. 실제 비선형 모형은 θ가 변하며 J도 변합니다. 한 번의 작은 단계에서 두 함수 차이는 보통 2차 Taylor 항 규모지만 여러 단계 누적이나 큰 학습률에는 별도 분석이 필요합니다.

무엇을 실험하는가

입력은 −1,0,1, 표적은 1,0,1입니다. 폭 2와 seed 1의 같은 초기화에서 시작하면 단계 0의 예측 차이와 kernel drift는 정확히 0입니다. 네 단계 뒤에는 실제 Jacobian의 변화로 차이가 생깁니다. 파랑은 비선형 학습, 주황은 고정 초기 Jacobian 학습, 점은 표적입니다.

표에는 매 단계 두 손실, 훈련점 최대 예측 차이, ‖Kₜ−K₀‖F를 기록합니다. 이 값들은 유한한 세 입력에서의 측정입니다. 초기화는 재현 가능한 bounded 의사난수 예시이며 원 논문의 모든 무한 폭 가정을 재현했다고 주장하지 않습니다.

무한 폭 결론에는 가정이 필요하다

NTK 극한을 사용하려면 폭을 보내는 방식, 파라미터화, 초기화 분포, 활성화 정칙성, 학습률 또는 gradient flow, 유한 시간 범위와 데이터 조건을 확인해야 합니다. 폭 8의 그림 하나가 kernel의 상수화나 일반화를 증명하지 않습니다. 작은 drift가 모든 입력에서의 작은 함수 오차를 자동 보장하는 것도 아닙니다.

Kernel 관점은 일부 학습 메커니즘을 분석하기 좋지만 feature learning이 크게 일어나는 영역을 같은 고정 kernel로 설명하는 데에는 한계가 있습니다.

확인 문제와 해설

1. η=0이면? 두 모형 모두 변하지 않고 drift도 0입니다. 단계 수만 늘려 학습을 만들 수 없습니다.
2. m=2의 매개변수 수는? 6개입니다. a,w,b 두 묶음입니다.
3. 고정 kernel에서 손실이 줄려면 아무 η나 되나요? 아니요. K₀의 고유값과 n에 따른 안정 범위를 확인해야 합니다. 비선형 모형은 추가 조건도 필요합니다.

추가 읽기: Jacot, Gabriel and Hongler, Neural Tangent Kernel.