암시적 목적·Adjoint와 미분 오차 인증

최적화의 해가 다시 목적함수를 정의할 때

내부 변분 에너지를 E(y,λ)=yᵀH(λ)y/2−bᵀy, b=(1,−1), H=[[1+λ,c],[c,2+λ]]로 두자. 제어 범위에서 H는 대칭 양의 정부호이므로 상태 y는 Hy=b의 유일한 해다. 변분 상태 방정식의 작은 Galerkin 모형으로 볼 수 있다.

외부 목적 V(y)=‖y−t‖²/2, t=(r,0)는 검증 손실이다. λ가 상태를 바꾸어 손실도 바뀐다. 상태는 해석적으로 풀고 반복 조절기는 adjoint 계산만 바꾼다.

직접 민감도와 adjoint

∂H/∂λ=I이고 b가 고정이므로 정상성을 미분하면

대신 Hᵀv=y−t를 풀면 dV/dλ=−vᵀy다. 큰 문제에서 초매개변수가 많고 외부 목적이 스칼라 하나이면 전치 풀이로 전체 상태 민감도 행렬의 저장을 피할 수 있다.

일반 g(y,λ)=0과 V(y,λ)에서는 직접 의존성도 포함하여 dV/dλ=V_λ−vᵀg_λ, g_yᵀv=V_y다. 여기의 단순식은 명시한 의존 구조 때문에 성립한다.

Adjoint 풀이만 근사하기

v₀=0에서 실제 Richardson 보폭 v⁺=v+(y−t−Hv)/6을 수행한다. 이 보폭은 표시한 SPD 범위에서 안정하다. 주황 곡선은 −v_Kᵀy, 파란 곡선은 정확한 adjoint 미분이다.

근사 미분이 작거나 0이라고 외부 정지점인 것은 아니다. λ=c=r=0에서 상태 (1,−0.5), 정확한 adjoint (1,−0.25), 정확한 미분 −1.125다. K=0의 근사 미분 0은 단지 v₀=0이라 나온다.

잔차와 조건수로 오차 인증

r_adj=y−t−Hᵀv_K이면 v*−v_K=H⁻ᵀr_adj다. 최소 고유값이 양수이므로

화면은 실제 오차와 계산 가능한 상한을 비교한다. 조건 정보 없이 잔차만 작다고 충분하지 않다. 비대칭 문제에서는 SPD 고유값 논리 대신 특이값이나 역연산자 상계가 필요하다.

직접 풀기와 풀이

λ=c=r=0에서 adjoint를 8회 반복하면 미분 약 −0.887555, 오차 0.237445, 상한 0.260932다. 오차가 상한 안에 있는지 확인하자. 결합 예제에서도 직접 민감도와 adjoint가 같은 정확한 전체 미분을 주는지 검산한다.

이 인증은 상태와 모형 연산자가 정확하다는 가정 아래다. 실제 PDE의 근사 상태·이산화 오차·근사 Hessian에는 추가 오차를 포함해야 한다. Adjoint 풀이 성공만으로 과학 모형 전체가 인증되는 것은 아니다.

더 읽기: MIT의 행렬 미분·변분 강의.