순차 Off-policy 추정·Support·Clipping

다른 정책이 남긴 기록으로 평가하기

행동 정책 beta로 수집한 행동과 보상 기록에서 목표 정책 pi의 기대 보상을 알고 싶다고 합시다. 기록의 보상만 평균하면 행동 정책의 가치를 추정합니다. 중요도 표본 추출은 각 행동이 목표 정책에서 얼마나 자주 선택될지를 비율로 반영합니다. 확률 비율을 계산하는 일과 그 계산이 유효할 support를 확보하는 일은 별개입니다. 숫자가 그럴듯하다는 이유만으로 추정의 가정이 충족되지는 않습니다.

이 단원은 상태가 모두 관측되고 전이와 보상도 알려진 모형입니다. 앞의 숨은 교란 예제와 달리 순차 가중치 자체의 역할을 분리합니다. 알려지지 않은 기록 정책의 확률이나 숨은 교란을 이 방법만으로 해결했다고 해석하지 않습니다.

같은 두 단계 세계 사용하기

s0=0에서 a0를 선택하고 r0=1{a0=0}을 받습니다. 이어 s1로 이동하고 a1을 골라 r1=1{a1=s1}을 받은 뒤 끝납니다. a0=1일 때 s1=1 확률은 alpha, 아니면 1-alpha입니다. Return은 r0+gammar1입니다. 목표 정책의 상태별 행동1 확률은 p0,p1, 행동 정책의 확률은 b0,b1입니다. 표의 번호 4a0+2*s1+a1로 여덟 경로를 확인할 수 있습니다.

모형이 알려져 있으므로 별도의 목표 가치 oracle도 있습니다. p=p0, q=p1, w=1-alpha+p*(2alpha-1)이라 두면 J=1-p+gamma((1-w)(1-p)+wq)입니다. 관측 데이터의 support가 없어져도 주어진 모형 지식으로 계산한 이 값은 사라지지 않습니다. 다만 데이터 재가중 추정량의 유효성을 보장할 수 없게 됩니다.

경로 비율을 분해하기

목표와 행동 정책에서 모두 양의 확률인 경로에 대해 rho_t=pi(a_t|s_t)/beta(a_t|s_t)를 정의합니다. 같은 환경의 전이 확률은 비율에서 약분됩니다. 전체 경로 중요도 추정은

목표에서 가능한 모든 경로가 행동 정책에서도 가능하다면 Q*(P/Q)=P로 경로 합의 측도를 바꿀 수 있어 기대가 J와 같습니다. 행동 정책에만 존재하는 경로는 목표 가중치가 0입니다. 반대로 목표에서 가능한 경로가 행동 정책에 없으면 나눗셈, epsilon 추가, 행 삭제로 없는 관측 정보를 되살릴 수 없습니다.

각 보상까지의 Prefix

미래 행동의 조건부 확률을 합하면 1이 됩니다. 따라서 첫 보상에는 미래 행동 비율이 필요하지 않습니다.

화면은 두 추정량의 충분한 support 조건을 따로 표시합니다. 전체 경로 추정은 전체 support를 요구합니다. 보상별 추정은 첫 행동 support와, gamma가 0이 아닐 때 전체 support를 요구합니다. 이는 특정한 결정론적 보상에 대한 필요조건까지 기술한 것은 아닙니다. 지원되지 않는 경로의 관련 보상이 우연히 0이면 진단 평균이 목표와 같을 수도 있습니다. 숫자의 일치만으로 일반적인 support 조건을 증명할 수는 없습니다.

p0=.8, p1=.6, b0=.5, b1=0, alpha=.8, gamma=0으로 설정해 봅시다. 목표 가치와 인증된 PDIS 평균은 .2입니다. 전체 경로 support는 실패하므로 전체 IS 평균은 제공하지 않습니다. 관측 가능한 경로에만 전체 비율을 적용한 진단값은 .176입니다. 이미 받은 보상에 미래 선택의 가중치를 더할 필요가 없음을 보여 줍니다.

Clipping의 손계산 예제

p0=4/5, p1=3/5, b0=b1=1/2, alpha=4/5, gamma=1에서 목표 가치와 두 중요도 평균은 모두 84/125입니다. 한 경로 추정의 분산은 전체 IS가 7184/15625, PDIS가 6994/15625입니다. 이 예제의 크기 순서를 모든 문제의 분산 정리로 일반화하지 않습니다.

전체 가중치를 min(c,rho0*rho1)로 명시적으로 자르면 c=1에서 평균은 61/125가 되어 편향이 -23/125입니다. 이 모형의 보상은 음수가 아니므로 support가 있을 때 clipped 평균은 목표 가치를 넘지 않습니다. 하지만 c=2에서는 이미 목표 평균과 같습니다. 최대 가중치 2.56인 경로의 보상이 0이기 때문입니다. 자른 가중치가 있다고 항상 엄격한 음의 편향이 생기지는 않습니다. Support가 없을 때의 차이는 누락된 목표 질량까지 포함하므로 전부 clipping 편향이라 부르면 안 됩니다.

Support와 수치 표현 구분하기

파란 막대는 원래 경로 비율이고 주황 막대는 명시적으로 자른 비율입니다. —는 행동 정책에서 불가능한 경로입니다. 목표 확률이 0인 경우의 높이 0과 다릅니다. ovf 표시는 support는 양수지만 원래 비율이 부동소수점 표현 범위를 벗어났다는 뜻입니다. 작은 양의 인자들의 곱이 0으로 반올림되어도 각 인자의 양수 여부로 support를 판단합니다.

모멘트는 로그 크기를 이용해 불필요한 중간 overflow를 줄입니다. 그래도 분산 자체를 표현할 수 없으면 값을 제공하지 않습니다. Clipping을 숨은 수치 보정으로 사용하지 않습니다. 아래 파란 곡선은 cap별 관측 support의 clipped 진단 평균이며, 주황 선은 알려진 목표 가치입니다. 어느 쪽도 표본으로 훈련한 성능 곡선이 아닙니다.

문제와 해설

문제: 목표 정책이 상태 1을 방문하지 않으면 그 상태의 행동 확률이 0인 행동 정책은 전체 support를 반드시 위반할까요?

해설: 아닙니다. 목표에서 양의 확률인 경로만 지원하면 됩니다. p0=0, alpha=1이면 상태 0에 머물러 p1은 도달하지 않는 상태의 선택입니다. b0=0이면 b1=0이어도 실제 목표 경로는 지원됩니다. gamma=1에서 전체 IS 평균은 2이고 cap=.25의 clipped 평균은 .5입니다. 방문하지 않는 상태와 실제 누락 경로를 구분해야 합니다.

문제: 유한 표본의 self-normalized 중요도 추정 평균이 모집단 가중 기대값의 비율과 같을까요?

해설: 일반적으로 무작위 비율의 기대와 기대값의 비율은 다릅니다. 이 단원은 보통 IS, 보상별 IS, 명시적 clipping의 정확한 경로 기대를 다루며 self-normalized 유한 표본 추정이나 신뢰구간을 구현한 것은 아닙니다.

후속 연구 연결

Precup·Sutton·Singh의 ICML 2000 논문은 eligibility trace를 이용한 off-policy 평가의 후속 읽기 자료입니다. 이 단원의 유한 경로 항등식과 충분 조건, 수치 예제는 위에서 직접 유도했습니다. 기록 정책 확률의 추정 오차, 긴 경로, 근사 가치함수와 숨은 교란까지 확장하려면 추가 가정과 오차 분석이 필요합니다.