Bilevel·Unrolling과 Hypergradient

학습과 검증이 두 수준을 만든다

초매개변수는 학습 결과 매개변수를 바꾸고, 그 매개변수가 다시 검증 손실을 바꾼다. 이 의존 관계가 bilevel 최적화의 핵심이다. 실습의 내부 학습 손실은 L(w,λ)=(w−2)²/2+λw²/2, 외부 검증 손실은 V(w)=(w−b)²/2다. λ는 비음수이고 검증 target b는 학습 target 2와 구분한다.

정확한 내부 해와 그 민감도는

내부 문제를 푼 해 자체의 미분이다. 아직 일부만 학습한 모형의 미분과 자동으로 같아지지 않는다.

실제 유한 학습을 미분하기

λ와 무관한 w₀=0에서 고정 η로 K번 GD를 한다. sₖ=dwₖ/dλ라고 쓰고 이전 w에 대한 의존성까지 미분하면

유한 보폭 hypergradient는 (w_K−b)s_K다. 민감도 갱신 오른쪽에는 이전 wₖ를 넣어야 한다. w를 먼저 갱신한 뒤 새 값을 넣으면 다른 계산을 미분하게 된다.

파란 곡선은 λ에 따른 정확한 내부 해의 hypergradient, 주황 곡선은 실제 K보폭 절차의 미분이다. 각각의 외부 목적에 대해서는 둘 다 올바르다. 차이가 난다고 곧바로 자동미분 오류는 아니다.

0 미분이 학습 절단에서 나오는 예

λ=1,b=0.5,η=0.25,K=1이면 첫 갱신은 w₁=0.5다. w₀=0이라 정규화 기울기 λw₀가 사라져 첫 갱신에 λ가 영향을 주지 않는다. s₁=0이고 unrolled hypergradient도 0이다.

정확한 해는 1, 민감도는 −0.5, 검증 hypergradient는 −0.25다. 유한 절차의 0 미분이 정확한 해 기반 외부 목적의 최적 초매개변수를 인증하지 않는다. K=0도 학습 의존성이 아직 생기지 않아 같은 종류의 0 미분을 준다.

내부 절차의 안정성과 정확도

내부 선형 수축 배율은 q=1−η(1+λ)다. |q|<1이면 w_K가 w*로 가고 민감도 점화식도 정확한 미분으로 접근한다. 불안정한 설정에서는 K를 늘려 상태와 미분 오차를 함께 키울 수 있다. 반복을 늘리는 일만으로 부적절한 학습률이 고쳐지지 않는다.

η가 크면 그림의 λ 범위 안에서도 안정성이 달라진다. 주황 곡선 전체를 같은 정확도의 근사로 생각하지 말고 내부 잔차와 미분 차이를 함께 읽자.

직접 풀기와 풀이

λ=1,b=0.5,η=0.25에서 K를 1에서 8로 늘리자. w=0.99609375, 민감도 −0.482421875, hypergradient≈−0.239326이다. 정확한 −0.25와 비교한다. 작은 학습 잔차가 도움은 되지만 조건수 정보 없이 보편적인 미분 오차 상계를 주지는 않는 이유를 설명하자.

연구에서는 외부 목적이 유한 학습 절차·정확한 최적해·근사 정지점 중 무엇을 포함하는지 명시해야 한다. 최종 시험 자료는 초매개변수 선택에 사용하지 않는다.

더 읽기: Pedregosa의 근사 hypergradient 논문.