암시적 미분·해의 민감도와 특이점

해를 정의하는 방정식을 미분하기

매개변수 θ가 F(w,θ)=0을 통해 w를 결정한다고 하자. 암시적 미분은 수치 해결기의 모든 반복을 미분하는 대신 이 방정식을 사용한다. 실습은

을 다룬다. δ>0이면 w에 대해 엄격 증가하고 도함수가 어디서나 양수다. δ=0인 cubic도 엄격 증가하므로 모든 θ에 유일한 실수 해가 있다. 따라서 역함수 미분 가능성이 실패하는 경우에도 해의 유일성은 성립한다.

수치 계산은 범위가 제한된 스칼라 근 찾기를 사용하고 잔차로 방정식을 확인한다. Jacobian이 거의 특이하면 작은 잔차만으로 민감도 정확도가 보장되지 않는다.

암시함수 정리의 조건 검사

F=0을 미분하면

외부 손실 V=(w−b)²/2의 hypergradient는 (w−b)/(3w²+δ)다. b는 외부 미분만 바꾸며 근이나 역민감도 자체를 바꾸지 않는다.

δ=1,θ=0이면 해 0, 민감도 1이고 b=1이면 외부 미분 −1이다. δ=0,θ=0.125이면 해 0.5, 민감도 4/3이다. 두 예 모두 Jacobian 비영 조건을 만족한다.

유일하지만 특이한 역함수

δ=θ=0에서는 w=0인데 F_w=0이다. 역함수는 세제곱근이며 원점에서 유한 도함수가 없다. 실습은 유한 암시적 미분 값을 제공하지 않는다. 0으로 나눠 얻은 값을 유효한 도함수 인증처럼 표시하지 않는다.

h=0.0001의 중앙차분은 약 464.159라는 유한 수를 준다. 세제곱근에서는 이 값이 h⁻²ᐟ³이므로 h를 줄이면 커진다. 유한한 차분 몫 하나가 미분 가능성을 증명하지 않는다. 한편 δ>0이지만 아주 작으면 도함수는 수학적으로 유한해도 숫자 표현 범위를 넘을 수 있다. 이는 정확히 Jacobian이 0인 특이점과 다른 수치 한계로 안내한다.

정방향 그림과 선형계 풀이

파란 선은 w를 가로축으로 θ=w³+δw를 그린 것이다. 주황 선은 해에서의 접선이다. 표시된 역민감도는 이 기울기 자체가 아니라 역수다. 수평 접선 근처에서 작은 θ 변화가 큰 w 변화를 만들 수 있다. 거대한 역함수 접선을 안정적인 사상처럼 그리지 않는다.

벡터 방정식에서는 J_w dw/dθ=−J_θ가 대응한다. 역행렬을 직접 만드는 대신 선형계를 풀 수 있다. 스칼라 외부 목적이면 전치 Jacobian의 adjoint 풀이로 전체 해 Jacobian 저장을 피할 수도 있다. 비특이성과 수치 조건수는 여전히 중요하고, 근사 근이나 반복 선형 풀이에는 추가 오차가 생긴다.

직접 풀기와 풀이

세 예제의 근을 방정식에 직접 대입하자. 특이한 cubic 원점에서 차분 보폭을 절반으로 하면 몫은 2²ᐟ³배 커진다. 해결기 수렴·해의 유일성·매개변수에 대한 미분 가능성이 왜 세 가지 다른 주장인지 설명한다. 마지막으로 θ=0에서 δ를 작은 양수로 바꾸면 근은 그대로 0인데 민감도는 1/δ로 커진다.

더 읽기: Pedregosa의 근사 hypergradient 논문.