HJB·Pontryagin·값함수와 Costate

같은 최적제어를 두 관점으로 본다

값함수는 가능한 여러 시각과 상태에서 앞으로 필요한 최소 비용을 묻습니다. Pontryagin 원리는 하나의 상태 궤적과 함께 costate라는 보조 민감도를 따라갑니다. 값함수가 매끄러우면 두 관점이 만납니다. 최적 궤적을 따라 costate가 값함수의 상태 기울기와 같습니다.

이 연결에는 가정이 필요합니다. 일반 최적제어의 값함수는 모서리를 가질 수 있고, 모든 점에서 기울기가 존재하는 것도 아닙니다. 이 단원은 매끄러운 선형·볼록 scalar 예제로 관계를 직접 유도하고 전역 최적성까지 증명합니다. 이후 비매끄러운 HJB나 학습한 값함수를 다룰 때 사용할 수 있는 검산 기준입니다.

종료 시각은 고정하고 종단 상태는 자유롭게 둔다

연속 적분계와 목적함수를 다음과 같이 정합니다.

$$\dot x=u,\quad x(0)=x_0,\qquad J(u)=\int_0^T(qx(t)^2+ru(t)^2)\,dt+p x(T)^2.$$

T는 고정된 종료 시각입니다. 마지막 상태는 0으로 강제하지 않고 비용으로 평가합니다. q,p는 음수가 아니며 r은 양수입니다. 입력 한계, 상태 제약, 외란과 관측 잡음은 없습니다. 비용에 1/2을 붙이지 않았으므로 미분하면 2가 나타납니다.

입력 u는 단위 시간당 상태의 변화량이므로 x와 단위가 다릅니다. 두 곡선의 숫자 크기를 효율이나 에너지의 순위로 비교하지 마세요. 최적제어의 Hamiltonian 역시 곧바로 물리적 Hamiltonian이나 역학적 에너지라는 뜻은 아닙니다.

짧은 Bellman 단계에서 HJB 식으로

V(t,x)를 그 시각과 상태에서 시작하는 최소 잔여 비용으로 정의합니다. 짧은 구간의 비용에 다음 시점의 최적 비용을 더한 뒤, 매끄러운 V를 전개하고 시간 간격으로 나누면

$$V_t+\min_u\left(qx^2+ru^2+V_xu\right)=0, \qquad V(T,x)=p x^2$$

를 얻습니다. 경계 조건은 종단 시각의 값함수 전체에 적용됩니다. p=0이 아닌데 모든 x에 대해 V(T,x)=0이라고 둘 수 없습니다. 입력에 관한 양의 이차식을 최소화하면 u*=-V_x/(2r)입니다.

V(t,x)=P(t)*x²를 대입하면

$$u^*(t,x)=-\frac{P(t)}{r}x,\qquad \dot P=\frac{P^2}{r}-q,\qquad P(T)=p$$

입니다. 이것은 종단 조건에서 출발하는 연속 시간 미분방정식입니다. 앞 단원의 이산 유한 시간 Riccati 재귀와 같지 않습니다. 또한 남은 시간 T-t로 변수를 바꾸면 미분의 부호가 바뀌므로 어느 시간으로 미분하는지 먼저 확인해야 합니다.

Costate와 종단 조건을 직접 유도한다

이 단원은 최소화 Hamiltonian을 사용합니다.

$$H(x,u,\lambda)=qx^2+ru^2+\lambda u.$$

동역학 제약을 포함한 적분을 H-lambdaxdot로 씁니다. u의 변분은 2ru+lambda=0을 줍니다. x의 변분을 부분적분하면 내부 조건 lambda_dot=-2qx와 종단 항 (2px(T)-lambda(T))*delta x(T)를 얻습니다. 마지막 상태의 변분이 자유이므로

$$\dot x=u,\qquad \dot\lambda=-2qx,\qquad u=-\frac{\lambda}{2r},\qquad \lambda(T)=2p x(T)$$

입니다. 처음의 상태와 마지막의 costate 조건이 구간의 양쪽에 놓이므로 경계값 문제입니다. 최대화 Hamiltonian을 사용하는 문헌에서는 costate 부호가 반대일 수 있습니다. 그 종단 부호와 여기의 최소화 규약을 섞지 마세요. T가 고정이므로 자유 종료 시각의 조건 H(T)=0도 부과하지 않습니다.

이제 최적 궤적에서 lambda=2Px로 놓고 미분하면 lambda_dot=2Pdotx+2Pu=-2qx입니다. P(T)=p이므로 종단 관계도 맞습니다. 따라서 lambda=V_x가 상태·입력·경계 조건과 일관됩니다. Costate는 상태가 달라졌을 때 최적 잔여 비용이 얼마나 바뀌는지 나타내는 민감도이며, 센서로 측정하는 추가 물리 상태와는 다릅니다.

그림에서 무엇을 읽는가

선택 시점의 파란 포물선은 여러 가상 상태 x에 대한 V(t,x)입니다. 점은 그때 실제 최적 궤적이 지나는 상태입니다. 주황 선은 그 점의 접선이며 기울기가 lambda입니다. 접선이 다른 x에서 음수가 되더라도 음수가 아닌 최적 비용이 음수라는 뜻은 아닙니다. 접선은 국소 선형 근사이지 두 번째 값함수가 아닙니다.

아래 시간 그래프는 실제 최적 상태와 입력을 보여줍니다. 표에서는 궤적을 따라 costate, 값 기울기, 잔여 비용을 읽습니다. 다른 매개변수를 고정하고 선택 시점만 바꾸면 그 시점의 값함수와 접점을 갱신합니다. P가 일정한 예제에서는 포물선은 같고 접점만 움직일 수 있습니다. 이미 정한 최적 궤적 자체를 새로 바꾸는 조작은 아닙니다.

0인 비용도 인위적 보정 없이 계산한다

tau=T-t, k=sqrt(q/r)로 놓고 k가 0이 아닐 때 S(tau)=sinh(ktau)/k, k=0에서는 연속 극한 S(tau)=tau를 사용합니다. 구현에서는 tausinh(ktau)/(ktau)를 계산하고 인자가 정확히 0이면 그 극한을 사용합니다. 다음 두 함수를 정의합니다.

$$F(\tau)=\cosh(k\tau)+\frac{p}{r}S(\tau),\qquad G(\tau)=qS(\tau)+p\cosh(k\tau).$$

그러면 해는

$$P(t)=\frac{G(T-t)}{F(T-t)},\quad x(t)=x_0\frac{F(T-t)}{F(T)},\quad u(t)=-\frac{x_0G(T-t)}{rF(T)}$$

입니다. 정한 범위에서 F는 양수이며 F_tau=G/r, G_tau=qF입니다. 이 관계로 Riccati 식과 상태·costate 미분식을 검산할 수 있습니다. q=0이나 p=0을 작은 양의 epsilon으로 바꾸지 않아도 됩니다. 특히 q=0이면

$$x(t)=x_0\frac{r+p(T-t)}{r+pT},\qquad u(t)=-\frac{p x_0}{r+pT}$$

라는 일정 입력 해가 됩니다.

화면의 quadrature cost는 과정 비용과 종단 비용을 합한 Simpson 근사이며 정확한 값 P(0)*x0²와 비교합니다. 별도 테스트에서는 상태·costate 경계값 문제를 RK4 shooting으로 풀고 V를 수치 미분해 검산합니다. 유한한 점의 residual은 수치 증거이며 다음의 일반 증명을 대신하지 않습니다.

이 후보가 전역 최적해인 이유

같은 초기 상태를 갖는 임의의 허용 궤적을 생각해 봅시다. P(t)*x(t)²를 미분하고 Riccati 식을 사용하면

$$qx^2+ru^2+\frac{d}{dt}\left(Px^2\right) =r\left(u+\frac{P}{r}x\right)^2$$

입니다. 이를 적분하고 P(T)=p를 적용하면

$$J(u)-P(0)x_0^2 =\int_0^T r\left(u+\frac{P}{r}x\right)^2dt\geq0$$

를 얻습니다. 제안한 피드백에서는 제곱 항이 0이므로 하한을 달성합니다. 이는 모든 유한 비용의 허용 입력에 대한 충분성 논증이며 한 궤적의 그림을 검사한 것보다 강합니다. 일반적인 Pontryagin 조건은 필요조건이고 다른 문제에서는 비최적 후보도 만족할 수 있습니다. 여기서는 선형 동역학·볼록 비용과 이 검증 항등식으로 전역 최적성까지 보입니다.

손계산 문제와 해설

q=0,r=p=T=x0=1로 놓습니다. 최적 입력은 일정한 -0.5이므로 x(t)=1-t/2, x(T)=0.5입니다. 과정 비용은 0.25, 종단 비용도 0.25이므로 J=0.5입니다. Costate는 일정한 1이고 lambda(T)=210.5와 일치합니다. t=0.5에서는 P=2/3,x=0.75이므로 V_x=2*(2/3)*0.75=1입니다. 이 경우 Hamiltonian은 -0.25로, 고정 종료 시각 문제에 H(T)=0을 잘못 붙이면 맞는 해를 버리게 됩니다.

두 번째 문제로 q=r=T=x0=1,p=0을 선택하세요. lambda(T)=u(T)=0이지만 x(T)=1/cosh(1), 약 0.648054로 0이 아닙니다. 최적 비용은 tanh(1), 약 0.761594입니다. 종단 비용이 없는 자유 끝점과 마지막 상태를 0으로 강제하는 문제는 다릅니다. 세 번째 안내 예제의 평평한 종단 값함수와 남아 있는 상태를 확인하세요.

AI 연구로의 연결

신경망 값함수를 HJB residual로 학습하거나, 미분 가능한 최적제어에서 costate·adjoint 민감도를 활용할 수 있습니다. 동역학, Hamiltonian의 부호, 경계 데이터와 매끄러움의 가정은 여전히 필요합니다. 표본 점에서 residual이 작다고 전역 해가 자동으로 인증되는 것은 아니며 비매끄러운 값함수에는 적절한 일반화가 필요합니다. 이 해석적 모형은 더 큰 방법의 값과 민감도를 확인하는 정확한 기준을 제공합니다.

원전과 읽을거리

Daniel Liberzon의 Principle of optimality, HJB equation, Hamiltonian sign conventions을 배경으로 참고할 수 있습니다. 고정 시간 scalar 유도, entire-function 계산, 그림, 충분성 항등식과 수치 실험은 이 교재를 위해 직접 구성했습니다.