위험·경험 위험·ERM

무엇에 대한 평균인가

학습 오류는 이미 본 데이터의 평균이고, population risk는 앞으로 만날 결합분포에 대한 기대입니다. 둘은 같은 손실을 쓰더라도 다른 양입니다. 이 단원은 x=0,1,2,3,4가 같은 확률로 나오고, x≥2이면 보통 label 1, 아니면 보통 0인 세계를 정합니다. 확률 epsilon으로 반대 label이 나옵니다. 모형의 진짜 분포를 알기 때문에 미관측 위험을 Monte Carlo 추정 없이 정확히 계산할 수 있습니다.

가설은 여섯 threshold h_t(x)=1{x≥t}, t=0,...,5입니다. t=0과 5는 각각 항상 1, 항상 0입니다. 파랑은 실제 seed 표본의 empirical risk, 주황은 population risk입니다. 점은 별도로 선택한 query 가설이며 ERM과 반드시 같지는 않습니다.

Risk와 ERM 정의

ERM은 선언한 class에서 경험 위험을 최소화합니다. 이 실습은 동률이면 가장 작은 threshold를 선택합니다. Class를 바꾸거나 tie 규칙을 바꾸면 같은 데이터에서 다른 모델이 선택될 수 있습니다. 데이터와 관계없이 정한 하나의 가설에 대한 집중 부등식을 데이터가 고른 ERM에 그대로 적용하는 것도 정당하지 않습니다. 유한 class의 union bound나 별도 복잡도 분석이 필요합니다.

이 세계의 Population Oracle

노이즈가 절반보다 작으므로 각 x에서 더 흔한 label을 예측하는 threshold 2가 oracle입니다. 현재 모형에서는 다음을 직접 유도할 수 있습니다.

Oracle도 label의 고유 잡음 아래로 내려갈 수 없습니다. 그러나 sample ERM의 학습 오류는 epsilon보다 작거나 클 수 있습니다. E[min Rhat]≤min E[Rhat]는 기대값에 대한 관계입니다. 개별 표본에서 generalization gap의 부호를 강제로 양수로 만들면 실제 데이터를 왜곡합니다. 화면은 signed gap을 그대로 표시합니다.

손계산과 직접 풀기

무잡음에서 population risk는 t=0부터 [0.4,0.2,0,0.2,0.4,0.6]입니다. N=1, seed 7의 실제 표본은 (x=0,y=0)입니다. Threshold 1부터 5는 모두 학습 오류 0이고 tie 규칙은 1을 고릅니다. 그 모델의 population risk는 0.2입니다. 학습 오류 0이 일반화 오류 0을 뜻하지 않는 가장 작은 예입니다.

직접 풀기: noise=0.1에서 t=0과 t=2의 위험을 구하세요. 풀이: t=0은 두 음성 영역을 잘못 예측하므로 0.1+0.8·2/5=0.42, t=2는 0.1입니다. 한 표본의 label 비율을 이 정확한 기대값과 같은 것으로 해석하지 마세요.

실제 AI 평가로 연결하기

일반 데이터에서는 진짜 P를 모르므로 별도 test set, 평가 절차와 불확실성이 필요합니다. 현재의 정확한 population 곡선은 알려진 유한 세계의 교육용 oracle입니다. Test 결과로 class나 hyperparameter를 반복 선택하면 다시 선택 편향이 생깁니다. 입력 분포, 고정 class, 실제 표본, 선택 규칙과 평가 대상을 함께 기록하는 습관이 다음의 일반화 이론을 이해하는 출발점입니다.

참고: Understanding Machine Learning 저자 페이지, MIT 통계적 학습 자료. 원고와 유한 예제는 직접 작성했습니다.