Smoothness·학습률과 수축 조건

곡률이 유용한 보폭을 제한한다

L-smooth 함수는 정해진 노름에서 기울기가 L-Lipschitz인 미분 가능 함수다. 유클리드 공간에서는 전역 이차 상계가 따라온다. 이계 미분 가능한 함수의 Hessian 연산자 노름이 모든 점에서 L 이하이면 충분하다. 한 점의 곡률만 측정해서 전역 L이라고 부르면 안 된다.

실습의 함수는 f(x)=(x₁²+κx₂²)/2, κ≥1이다. Hessian이 상수 diag(1,κ)이므로 L=κ, 강볼록 상수 μ=1이다. 초기 벡터는 (1,1)로 고정하여 완만한 방향과 급한 방향에서 같은 학습률이 어떻게 작용하는지 비교한다.

Descent lemma를 갱신에 대입하기

매끄러운 함수의 이차 상계에 GD 보폭 s=−η∇f(x)를 넣으면

0<η<2/L이면 기울기 제곱 앞의 계수가 양수다. 따라서 기울기가 0이 아닐 때 감소를 보장한다. 경계에서는 증가하지 않는다는 상계만 남고, 경계를 넘으면 부등식 자체는 맞지만 감소를 보장하지 않는다.

반복 k의 주황 값은 직전 반복 k−1에서 계산한 다음 목적값 상한이다. 다른 최적화 알고리즘의 궤적도, 최솟값 추정치도 아니다. 파란 선이 실제 목적값이다. 반복 0에서는 두 선에 초기 목적값을 함께 표시한다.

모든 고유 방향을 검사하기

이차함수에서는 오차 점화식이 정확하다.

ρ<1이면 모든 방향이 수축한다. κ=8, η=0.2이면 배율은 0.8과 −0.6이다. 급한 방향은 부호가 번갈아 바뀌면서도 크기가 줄어든다. 따라서 진동 자체가 발산을 뜻하지는 않는다.

η=0.25이면 둘째 배율이 −1이다. 둘째 좌표 크기는 1이고 목적값 기여는 4로 남는다. η=0.3이면 배율이 −1.4이므로 첫 좌표가 0.7배로 줄어도 둘째 좌표는 커진다. 일부 좌표만 보거나 평균적인 그림만 보면 이런 불안정 방향을 놓칠 수 있다.

조건수와 더 강한 주장

η=1/L은 편리한 충분 선택이지 유일한 안정 보폭이 아니다. 고유값이 [μ,L]에 놓인 양의 정부호 이차함수에서 최악 오차 배율을 최소화하면 η=2/(L+μ), 배율 (L−μ)/(L+μ)를 얻는다. 이는 이차 스펙트럼 모형을 이용한 결론이며 일반 비볼록 함수에 그대로 적용하면 안 된다.

L-smooth 비볼록 함수에서도 목적값 감소는 가능하지만 전역 최적해 수렴은 별도 주장이다. 강볼록성은 추가 구조다. 사용한 가정에 따라 정당화되는 결론이 어디까지인지 구분하자.

직접 풀기와 풀이

κ=8에서 η=0.2, 0.25, 0.3을 각각 8회 반복하자. 수축 배율은 0.8, 1, 1.4다. 둘째 좌표 (1−8η)⁸을 계산하여 표와 비교한다. 이어 η=0으로 두면 두 좌표가 그대로이고 ρ=1이다. 유계인 수열, 감소하는 목적값, 엄격히 수축하는 오차가 각각 다른 관찰임을 설명하자.

더 읽기: Bottou, Curtis와 Nocedal.