Saddle·평평한 Plateau와 초기화

작은 기울기에는 곡률 진단이 필요하다

정지점은 기울기가 0인 점이지만 최소·최대·안장점일 수 있다. 원하는 해에서 먼 평평한 영역에서도 기울기가 작을 수 있다. Hessian은 추가 국소 정보를 준다. 정지점의 음수 고유값은 내려갈 방향을 뜻하지만 0 고유값은 고차항을 더 봐야 한다.

실습은 f(x,y)=x²/2+cos y와 f(x,y)=x²/2+y⁴/4를 비교한다. 두 함수 모두 원점에서 기울기가 0이지만 기하와 전역 목적값이 다르다. plateau라는 말로 모든 느린 구간을 같은 현상처럼 취급하지 말자.

정확한 saddle에 머무는 결정론적 GD

cos 모형에서는

원점의 고유값은 1과 −1이다. x로 이동하면 목적값이 증가하고, 작은 비영 y로 이동하면 감소한다. 전역 최솟값은 −1이며 x=0, y가 π의 홀수 배인 점에서 달성한다. 원점의 목적 오차는 2다.

GD는 x⁺=(1−η)x, y⁺=y+η sin y다. y를 정확히 0으로 시작하면 언제까지나 0이다. 탈출 정리를 기대한다고 알고리즘이 없는 섭동을 스스로 생성하지는 않는다. y=0.01로 바꾸는 것은 초기화를 명시적으로 변경하는 일이다. 작은 y에서 sin y≈y이므로 불안정 방향은 처음에 약 1+η배씩 커진다.

0 곡률을 가진 진짜 최솟값

quartic 모형에서는

원점은 y 곡률이 0이지만 유일한 전역 최소점이다. 음수 곡률은 없다. 0 고유값이 있는 이차 판정만으로는 결론이 나지 않지만, 여기서는 비음수인 사차항을 읽어 최소임을 안다.

최소점 근처에서 세제곱 기울기가 작아져 진행이 느려진다. 연속 근사 dy/dk=−ηy³는 y²≈1/(y₀⁻²+2ηk)를 준다. 느린 꼬리의 직관이지 이산 GD의 정확한 등식이나 임의 plateau의 정리는 아니다.

단면 그림과 실제 반복점

파란 선은 x=0에서 y에 따른 퍼텐셜이다. 주황 선은 실제 반복점의 y 좌표와 전체 목적값을 연결한다. 초기 x가 0이 아니면 x²/2가 더해져 주황 점이 파란 단면보다 위에서 출발한다. 주황 선을 순수한 일차원 퍼텐셜로 읽거나 수평 간격만으로 반복 속도를 판단하면 안 된다. 반복 번호는 표에서 확인한다.

직접 풀기와 풀이

cos 모형을 (0,0)에서 η=0.2로 30회 실행하면 기울기는 0, 목적 오차는 2다. (0,0.01)로 다시 시작하면 마지막 y≈1.821715, 오차≈0.751706이다. 명시적 섭동 뒤 이 특정 saddle에서 벗어난 예이며 모든 비볼록 문제의 전역 수렴 증명은 아니다.

quartic 모형은 y=0.2에서 40회 뒤 약 0.155888, 기울기 약 0.003788이다. 느린 움직임이 왜 saddle의 증거가 아닌지 설명하자. 음의 곡률, 초기화, 고차항을 각각 따로 검사하는 습관이 실제 학습 진단에도 필요하다.

더 읽기: Bottou, Curtis와 Nocedal.