표현력·보간과 표본 효율

관측을 모두 맞췄는데 함수가 다른 이유

[-1,1]의 균등한 n개 표본에서 참조 f*(x)=x²를 관측했다고 합시다. 유한 관측으로 함수를 유일하게 정하려면 어떤 함수족과 prior를 허용하는지 알아야 합니다. 모든 표본에서 0인 다항식을 더하면 관측값은 바꾸지 않고 다른 함수를 만들 수 있습니다.

이 실험은 특정 학습 알고리즘이 이렇게 답한다는 주장이 아니라 식별 모호성을 보여주는 구성된 반례입니다. 참 함수는 합성 실험에서만 알려져 있습니다.

모집단 노름으로 모호성을 정규화하기

모집단 입력 측도는 균등 확률측도 dx/2입니다. qₙ=pₙ/‖pₙ‖₂로 정규화하면 이 방향의 L2 노름은 1입니다. 두 후보 f와 fA=f+Aqₙ은 훈련값이 같지만 모집단 MSE는 A²입니다.

n=5,A=1에서는 훈련 MSE 0, 모집단 MSE 1입니다. A=.5로 바꾸면 훈련은 여전히 0이고 모집단은 1/4입니다. 표의 모든 관측 행을 비교하고 표본 사이에서 달라지는 주황 곡선을 보세요.

표본을 늘리는 실험의 올바른 해석

n=9로 늘릴 때는 9차의 새로운 소멸 다항식을 사용합니다. 즉 함수족도 함께 확장합니다. 이것은 고정한 2차 모형이나 특정 일관된 학습기의 학습 곡선이 아닙니다. 제한 없는 함수족에서는 매번 새 반례를 구성할 수 있다는 뜻입니다.

표현력은 참 함수를 포함하는지에 관한 질문이고, 표본 효율은 제한한 함수족·분포·잡음·정확도·확률 조건에서 얼마나 많은 자료가 필요한지에 관한 질문입니다. 매개변수 수만으로 둘을 같다고 할 수 없습니다. Norm·smoothness·margin·대칭 같은 구조가 관측 사이를 제약해야 합니다.

Kernel과 일반화로 연결하기

Representer 단원의 관측 직교 방향과 비슷하지만 현재는 모집단 위험을 직접 측정합니다. 무한히 많은 함수가 보간하더라도 norm 정규화나 특정 알고리즘의 implicit bias가 하나를 고를 수 있습니다. 어떤 선택이 실제로 일반화하는지는 추가 가정과 평가로 확인해야 합니다.

유한 표본을 정확히 맞추는 능력 자체를 나쁜 것으로 일반화하지도 않습니다. 이 실험은 보간만으로 충분한 보장이 되지 않는다는 점을 보여 줍니다. 표본 분할과 독립 시험 자료, 함수족의 복잡도 분석이 별도로 필요합니다.

확인 문제와 해설

1. A=0이면? 두 함수가 같고 두 위험도 0입니다.
2. 표본 수가 늘었는데 왜 오차가 1로 남나요? 함수족도 늘려 새 반례를 구성했기 때문입니다. 고정 학습기의 실패율이 아닙니다.
3. 두 함수의 모집단 오차는 격자만으로 추정했나요? 아니요. 다항식 제곱의 정확한 적분으로 정규화하고 독립 수치 적분으로 검산합니다.

추가 읽기: MIT 9.520, Statistical Learning Theory.