이 단원 목차
세 종류의 오차가 서로 다른 비교 대상을 가진다
모집단은 X∈{−1,+1}에 같은 확률을 주고 Y=X입니다. 참 함수는 위험 0을 갖지만 가설을 상수 c로 제한하면 모집단 MSE가 R(c)=1+c²입니다. 최선 상수는 0이므로 근사 초과 위험은 1입니다.
16개 훈련 관측 중 K개가 +1이면 표본 평균은 μ=2K/16−1입니다. 경험 위험 Rₙ(c)=1+c²−2μc의 ERM은 μ이고 그 모집단 추정 초과 위험은 μ²입니다. 독립 공정 표본 아래 Eμ²=1/16이지만 한 실현의 값은 다릅니다.
경험 위험을 실제로 최적화하기
손실 Rₙ/2를 사용하면 gradient는 c−μ입니다. 초기 c₀에서 고정 학습률 η로 t번 갱신한 값은 다음과 같습니다.
경험 최적화 초과량은 Rₙ(cₜ)−Rₙ(μ)=(cₜ−μ)²로 항상 비음수입니다. 하지만 모집단의 ERM 대비 차이 R(cₜ)−R(μ)=cₜ²−μ²는 음수일 수 있습니다. 두 양을 같은 “최적화 오차”로 부르면 틀린 항등식을 만들게 됩니다.
정확한 수치 반례
K=12이면 μ=.5입니다. c₀=0,t=0에서는 근사 1, ERM 추정 .25, ERM 대비 부호 있는 모집단 차이 −.25여서 현재 위험은 1입니다. 반면 경험 최적화 초과량은 .25입니다.
η=.5,t=8이면 경험 최적화 초과량은 약 3.81×10⁻⁶으로 줄지만 모집단 위험은 약 1.248이 됩니다. 이 한 자료에서는 ERM으로 더 잘 최적화할수록 참 모집단 최선에서 멀어질 수 있습니다. 이는 조기 종료가 항상 좋다는 일반 정리도 아닙니다.
비음수 경계와 정확한 분해를 구분하기
일반 학습 이론에서는 경험 최적화 오차와 uniform deviation을 사용해 모집단 위험을 상계할 수 있습니다. 현재 가설 c∈[−1,1]에서 다음 전형적 형태를 생각할 수 있습니다.
이 경계를 근사 초과 위험에 더하면 총 위험의 비음수 상계가 되지만 세 양의 정확한 합 항등식은 아닙니다. 파랑은 모집단, 주황은 경험 위험, 점은 현재 cₜ의 모집단 위험입니다. 표는 정확한 부호 있는 합과 비음수 경험 최적화 초과량을 따로 보여 줍니다.
확인 문제와 해설
- K=8이면 ERM 추정 초과 위험은? 0입니다. 표본 평균이 모집단 최선과 같습니다.
- 경험 최적화 초과량이 0이면 총 위험도 0인가요? 아니요. 근사 제한 1과 표본 효과가 남습니다.
- Eμ²=1/16은 현재 K 하나의 값인가요? 아니요. 독립 공정 표본의 모든 가능한 훈련 실현에 대한 평균입니다.
설명할 수 있나요?
실험 설정과 무관한 기준 예제를 묻습니다. 답을 고르고 설명을 확인해보세요.
선택한 답과 학습 표시는 이 브라우저에 저장됩니다. 다시 풀거나 표시를 해제할 수 있습니다.