유한합 GD·SGD와 정확한 오차 모멘트

자료 네 개로 확률성을 명시하기

네 target을 yᵢ=1+σzᵢ, z=(−2,−1,1,2)로 두자. 실습은 임의의 신경망에 정체불명의 잡음을 더하는 대신 네 제곱 손실의 평균을 사용한다.

최적 매개변수는 1이다. 오른쪽 상수항은 자료 자체의 퍼짐 때문에 생기며 매개변수 오차가 아니다. 최적값 대비 목적 오차는 (x−1)²/2다. 균등하게 고른 성분 기울기 x−yᵢ의 조건부 평균은 전체 기울기 x−1이고, 이 특별한 문제에서 기울기 잡음의 분산은 x와 무관한 2.5σ²다.

GD와 SGD가 보는 정보

GD는 네 기울기를 먼저 평균하고, SGD는 성분 하나만 골라 갱신한다. eₖ=xₖ−1로 쓰면

파란 선과 주황 선은 전체 손실이 아니라 최적 매개변수 대비 오차다. σ=0이면 네 성분이 같아져 두 궤적이 일치한다. seed는 주황 예시를 재현하기 위한 의사난수 설정이다. 같은 seed를 쓴다는 사실이 독립 추출이나 확률 보장을 증명하지는 않는다.

iid 가정 아래 정확한 평균과 분산

표는 각 성분을 이전 반복과 독립적으로 균등 추출한다고 가정하여 모멘트를 계산한다. 이 가정에서 잡음의 조건부 평균이 0이므로 오차와 잡음 사이 교차항이 사라진다.

이 값은 표시된 한 경로에서 추정한 표본 통계가 아니다. 가정한 확률 모형의 정확한 값이다. 한 경로가 운 좋게 최적점 가까이 가도 기대 제곱 오차가 작다는 뜻은 아니다. 평균 오차가 0 가까워도 최적점 양쪽으로 크게 퍼질 수 있다.

일정 보폭의 안정성과 잡음 바닥

0<η<2이면 결정론적 오차는 수축한다. 비영 σ와 일정 보폭에서는 분산이 2.5ησ²/(2−η)로 접근한다. 이는 이차 손실과 iid 추출에서 유도한 식이며 모든 학습 문제의 보편적 잡음 공식은 아니다.

η=2이면 GD 오차의 부호만 바뀌고 절댓값이 유지된다. 확률 분산은 매 반복 10σ²씩 증가한다. η=0이면 어디서 시작해도 움직이지 않는다. 움직이지 않는 곡선을 수렴 성공으로 판정하면 안 된다. 감소 학습률의 수렴 주장에는 비편향성·분산 제한·보폭의 합 조건 등을 따로 명시해야 한다.

직접 풀기와 풀이

x₀=−1, η=0.2, σ=1, 반복 10회로 두자. 평균 오차는 −2·0.8¹⁰≈−0.214748이다. 분산은 약 0.274575, MSE는 약 0.320692다. 기대 목적 오차는 MSE의 절반이다. σ=0으로 바꾸면 평균은 같지만 MSE는 약 0.046117이 된다. 차이가 평균 기울기의 변화가 아니라 분산에서 나왔음을 설명하자.

실제 AI 연구에서는 유한합 가중치·복원 여부·조건부 정보·분산 가정을 기록해야 한다. 한 epoch마다 섞는 random reshuffling은 독립 복원 추출과 다른 의존 구조를 가진다.

더 읽기: Bottou, Curtis와 Nocedal의 최적화 논문.