확률적 경사와 학습 잡음

왜 잡음 있는 기울기를 쓰는가

전체 학습 경사는 모든 표본을 평가해야 할 수 있습니다. 표본 경사는 더 저렴하면서 조건부 기댓값이 올바른 추정이 될 수 있습니다. 그렇다고 매번 손실 감소를 보장하는 것은 아닙니다.

$z\in\{-1,1,3\}$를 균등 복원 추출하고 표본 손실은 $\ell_i(w)=(w-z_i)^2/2$로 둡니다. 실험은 정확한 평균 경사와 재현 가능한 표본 경사를 비교합니다. 큰 신경망의 미니배치 학습을 재현하는 것은 아닙니다.

목적함수와 잡음 유도

표본 목표의 평균은 1, 모집단 분산은 $8/3$입니다.

전체 경사는 $w-1$, 최소점은 1입니다. 표본 경사는 $g_i(w)=w-z_i$이고 현재 $w$와 독립인 균등 표본을 가정하면

입니다. 불편성은 기댓값의 성질입니다. 최적점에서도 개별 경사는 2, 0, $-2$일 수 있습니다.

첫 갱신 손계산

$w_0=4$에서 전체 경사는 3입니다. $\eta=0.1$이면 전체 경사하강은 3.7로 갑니다. 뽑은 목표가 $-1$이면 경사는 5, 새 값은 3.5입니다. 목표 1이면 3.7, 목표 3이면 3.9입니다. 평균은 3.7이지만 개별 갱신이 모두 그 값일 필요는 없습니다.

seed는 의사난수 순서를 정해 실험을 재현합니다. 분포 정리 자체가 아니며 seed만 바꿔도 목적함수는 같습니다. 그림은 같은 초기값과 학습률에서 두 방법의 30회 갱신을 비교합니다.

안정성과 잡음 바닥

전체 경사하강에서 $w_{t+1}-1=(1-\eta)(w_t-1)$입니다. $0<\eta<2$에서 수렴하고, 2에서는 진동, 그 이상에서는 크기가 커질 수 있습니다.

SGD에는 잡음 항이 추가됩니다. 각 단계에서 독립 표본을 뽑으면 평균은 전체 경사하강을 따릅니다. 안정 범위에서 이 스칼라 모형의 장기 분산은

입니다. 상수 학습률은 모든 반복값의 정확한 수렴 대신 잡음 바닥을 남깁니다. 이 공식은 지정한 표집 모형의 결과이지 신경망 전체에 보편적인 식이 아닙니다. 유한 seed 실험 하나가 이론 평균·분산과 정확히 같을 필요도 없습니다.

배치·스케줄·의존성

같은 점에서 독립 경사 $B$개를 평균하면 잡음 분산이 $B$로 나뉩니다. 비복원 추출은 의존성이 달라 유한모집단 보정이 필요할 수 있습니다. 서로 상관된 표본을 재사용하면 단순 독립 평균식이 맞지 않을 수 있습니다.

감소 학습률, 반복값 평균, 모멘텀, 적응적 방법은 동역학을 바꿉니다. 각각의 수렴 가정이 따로 필요합니다. 이 실험은 먼저 상수 학습률의 순수 SGD를 분리하며 모든 최적화기가 같은 점화식을 따른다고 주장하지 않습니다.

실험과 평가 읽기

파랑은 전체 경사, 주황은 표본 경사의 매개변수 경로입니다. 마지막 표는 서로 다른 표본 손실이 아니라 두 최종값의 전체 목적함수를 평가합니다. 표본 손실 변동과 실제 목적 개선을 혼동하지 않게 한 것입니다.

다른 것은 고정하고 seed를 바꾼 다음, 학습률을 바꾸세요. 두 개입을 구분해 기록해야 합니다. 보기 좋은 경로 하나가 강건한 개선의 근거는 아닙니다.

연습과 연구 절차

1. $w=1$의 가능한 경사를 구하세요. 답: 2, 0, $-2$입니다.
2. 학습률 0.1의 정상 분산은? 답: $8/57\approx0.140351$입니다.
3. 여러 seed의 고정 반복 시점 평균·퍼짐을 비교하세요. 한 상관된 경로의 반복값들을 독립 실행으로 세지 마세요.
4. 갱신 수뿐 아니라 표본 평가 예산도 맞춰 비교하세요.

배경은 MIT 확률적 경사하강 강의 노트를 참고하세요. 세 목표의 점화식은 이 교재의 직접 계산 예제이며 대규모 AI의 경험 주장과 다릅니다.