정책 경사·Baseline·분산

정책을 미분한다는 의미

확률적 정책은 상태를 행동의 확률 분포로 바꿉니다. 정책을 개선한다는 것은 우연히 성공한 행동을 무조건 따라 하는 것이 아니라, 정책 매개변수에 대한 기대 보상의 증가 방향을 찾는 것입니다. 높은 보상을 받은 한 경로에도 운 좋은 전이가 섞일 수 있습니다. 따라서 기대 경사와 한 경로에서 계산한 무작위 경사 추정값을 구분해야 합니다. 이 단원은 작은 모형의 모든 경로를 계산하여 두 양을 직접 비교합니다.

상태와 행동의 시간 순서

시작 상태는 s0=0입니다. 먼저 행동 a0를 고르고, 현재 상태와 행동이 같으면 r0=1을 받습니다. 이어 상태 s1로 이동합니다. a0=1이면 s1=1일 확률이 alpha이고, a0=0이면 그 확률이 1-alpha입니다. s1에서 a1을 고르고 같은 규칙으로 r1을 받은 뒤 종료합니다. 할인한 보상 합은 G=r0+gammar1입니다. 여덟 경로의 번호는 4a0+2*s1+a1이며 alpha=1에서는 일부 경로가 발생하지 않습니다.

상태 0과 1에서 행동 1을 고를 확률을 각각 p=sigmoid(theta0), q=sigmoid(theta1)로 둡니다. 전이와 보상은 알려져 있고 theta와 무관합니다. 환경 자체도 학습 매개변수에 의존한다면 환경의 미분 항을 추가해야 하므로 아래 식을 그대로 적용할 수 없습니다.

기대 가치의 직접 미분

상태 1을 방문할 확률은 w=1-alpha+p*(2*alpha-1)입니다. 마지막 상태가 0이면 기대 보상은 1-p, 상태가 1이면 q이므로

첫 행동은 즉시 보상뿐 아니라 미래 상태의 방문 확률도 바꿉니다. 이를 모두 미분하면

w를 상수로 취급하면 정책이 미래 기회를 바꾸는 효과를 놓칩니다. 화면은 이 직접 미분과 별도로 구한 경로별 추정값의 기대를 비교합니다. 같은 계산을 두 번 보여 주는 것과 달리 서로 다른 유도 경로가 일치하는지 확인할 수 있습니다.

Score와 남은 보상

Bernoulli logit의 로그 확률 미분은 상태 0에서 a-p, 상태 1에서 a-q입니다. 해당 매개변수 좌표에만 이 값을 넣은 벡터를 z0, z1이라 하겠습니다. 환경이 매개변수와 무관하므로 전체 경로의 score는 z0+z1이고, 유한 확률 합의 미분으로 E[G(z0+z1)]=경사 J를 얻습니다.

두 번째 행동 직전의 이력을 고정하면 z1의 조건부 평균은 0입니다. 이미 받은 r0를 두 번째 score에 곱한 항은 평균이 0이므로 제거할 수 있습니다. 현재 행동과 무관한 baseline도 같은 이유로 뺄 수 있습니다.

여기서는 b0=lambdaJ, b1(s)=lambdaV1(s)를 사용하며 V1(0)=1-p, V1(1)=q입니다. Actor의 score 추정 안에서는 baseline과 return을 고정된 값으로 취급합니다. 이 경로를 통해 baseline까지 역전파하면 별도의 미분 항이 생겨 위에서 증명한 추정량과 달라집니다. Critic을 별도로 학습할 수는 있지만 임의의 근사 critic이 일반적인 수렴 정리의 조건을 자동으로 만족하는 것은 아닙니다.

손계산으로 보는 분산

p=q=1/2, alpha=4/5, gamma=1이면 J=1, 경사는 (-3/8,1/8)입니다. 전체 return을 모든 score에 곱한 추정량의 공분산 trace는 139/160입니다. 남은 보상과 baseline을 사용한 추정량의 분산은

lambda=0에서는 83/160, lambda=1에서는 3/32입니다. 완전제곱으로 정리하면 최소점은 59/50이며 최소 분산은 669/8000입니다. 정확한 상태 가치가 좋은 baseline이어도 언제나 최소 분산을 만드는 것은 아닙니다. 이 비교는 현재 logit 좌표의 경사에 대한 trace입니다. 매개변수 좌표를 바꾸면 분산의 수치와 최적 baseline도 바뀔 수 있습니다.

그림으로 확인하기

파란 원은 각 경로가 만드는 경사 추정값입니다. 원의 넓이가 발생 확률에 비례하며, 같은 추정값을 만드는 경로의 원은 겹칠 수 있습니다. 테두리는 선택한 양의 확률 경로이고 주황 점은 직접 미분한 평균입니다. 확률이 0인 경로는 분포의 점으로 그리지 않으며 선택 추정값도 제공하지 않습니다.

아래 파란 곡선의 가로축은 baseline 배율이고 세로축은 공분산 trace입니다. 주황 수평선은 full-return 추정의 분산입니다. 위 주황 점의 평균과 아래 주황 선의 분산은 서로 다른 양이며, 이 그림은 학습 시간에 따른 최적화 경로가 아닙니다.

문제와 해설

문제: gamma=0으로 바꾸면 어느 경사 좌표가 0이어야 할까요? 마지막 행동의 logit이 이미 받은 보상을 바꿀 수 있을까요?

해설: J=1-p이므로 첫 좌표는 -p*(1-p), 둘째 좌표는 0입니다. 남은 보상 추정에서 두 번째 score 항은 gamma에 곱해져 사라집니다. Full-return 추정에는 미래 행동 score가 만드는 표본 잡음이 남을 수 있지만 그 기대 기여는 0입니다. 이미 받은 보상에 미래 행동을 재가중하는 일이 왜 불필요한지 설명합니다.

문제: 배율 1.18에서 분산이 더 작으면 정책 최적화가 전역 최적해로 수렴했다고 할 수 있을까요?

해설: 현재 고정 매개변수에서의 추정 분포만 계산했습니다. 실제 학습률, 매개변수 변화, 목적함수의 기하, 근사 오차와 수렴은 별도 검증이 필요합니다.

연구와 연결하기

일반적인 정책 경사 틀은 Sutton 등의 NeurIPS 1999 논문과 연결됩니다. 함수 근사 결과에는 호환성 등 구체적인 조건이 있습니다. 여기의 두 단계 모형과 분산 이차식은 교재를 위한 직접 유도이며 학습된 actor-critic의 구현이나 일반 수렴 주장을 대신하지 않습니다.