이 단원 목차
Batch 크기만으로 추출 모형이 정해지지 않는다
현재 매개변수에서 네 성분 기울기를 x+σzᵢ, z=(−3,−1,1,3)으로 두자. 전체 기울기는 x이고, 분모를 4로 쓰는 모집단 분산은 5σ²다. 전체 학습 궤적의 곡률 효과를 섞지 않고 표본 추출 자체의 잡음을 분리하는 모형이다.
Batch 평균은 독립 복원 추출로 만들 수도 있고 서로 다른 성분의 비복원 추출로 만들 수도 있다. 평균은 같지만 공분산 구조는 다르다. 단지 batch 크기가 B라고만 적으면 중요한 가정이 빠진다.
독립 복원 추출
독립인 균등 추출에서는 분산을 더하고 교차 공분산은 0이다.
B=2이면 순서 있는 batch 16개가 같은 확률이다. (−3,−3)도 가능하여 평균 기울기 x−3σ를 만든다. B=4로 해도 중복 성분이 허용되므로 반드시 전체 기울기를 얻는 것은 아니다. 분산은 여전히 5σ²/4다.
비복원 추출과 유한모집단 보정
서로 다른 두 추출의 공분산은 −5σ²/3이다. 평균의 분산을 전개하면
분모 3은 모집단 분산을 N=4로 정의했기 때문에 나온다. 분모 N−1의 표본 분산을 사용하면 같은 내용을 다른 형태로 써야 한다. 두 관례를 섞으면 보정을 한 번 더 곱하는 오류가 생긴다.
B=2에서는 순서 있는 batch가 12개이고 분산은 5σ²/3이다. B=4에서는 24개 순열 모두가 네 성분을 한 번씩 포함하므로 분산은 0이다. 순서가 평균을 바꾸지는 않지만 같은 확률의 추출 사건을 먼저 세고 결과별로 묶는 방식이다.
그림은 정확한 확률 질량 함수
가능한 batch를 전부 열거하여 정수 offset 합별로 묶고, 개수를 전체 batch 수로 나눈다. 파란 줄은 Monte Carlo 히스토그램이나 연속 확률밀도가 아니라 정확한 확률 질량이다. baseline의 주황 점은 전체 기울기 위치이며 추가 확률 원자가 아니다.
x를 옮기면 모든 결과가 평행 이동하고 분산은 같다. σ는 편차에 선형, 분산에 제곱으로 작용한다. 유한 조합 확률의 화면 표시는 부동소수점 근사지만, 대칭으로 offset 기대값이 0이라는 사실은 정수 합 단계에서 먼저 처리한다.
직접 풀기와 풀이
σ=1,x=0,B=2에서 평균 0인 복원 추출은 (−3,3),(3,−3),(−1,1),(1,−1) 네 개이므로 확률 4/16이다. 비복원에서도 이 네 쌍이 가능하지만 전체 수가 12라서 확률은 4/12다. 나머지 질량을 계산하여 확률 합 1과 분산 2.5, 5/3을 검산하자.
두 모드에서 B=4로 바꾸면 왜 비복원만 잡음을 완전히 없애는지 설명하자. 실제 random reshuffling에서는 연속 batch 사이에도 의존성이 생긴다. 여기의 한 batch 주변분포 계산만으로 전체 SGD 궤적의 독립성을 주장할 수 없다. 계산량·병렬성·학습률 선택도 별도의 문제다.
더 읽기: Bottou, Curtis와 Nocedal.
설명할 수 있나요?
실험 설정과 무관한 기준 예제를 묻습니다. 답을 고르고 설명을 확인해보세요.
선택한 답과 학습 표시는 이 브라우저에 저장됩니다. 다시 풀거나 표시를 해제할 수 있습니다.