Off-policy 평가·숨은 교란·중요도 가중

정책 가치는 개입 질문이다

로그의 행동은 기존 정책이 선택했다. 다른 정책의 평가는 배정 기제를 바꾼 결과를 묻는다. 중요도 가중은 식별 가정이 맞을 때 두 분포를 연결할 수 있다. 숨은 변수가 행동 선택과 결과에 모두 영향을 주면 주변 로그에서 모든 행동을 보았다는 사실만으로 충분하지 않다.

실습은 한 번의 의사결정을 분리한다. 순차 강화학습의 모든 가정이나 추정기를 구현하는 단원은 아니다. 표본 잡음 없이 정확한 모집단 기대값을 계산해 구조적 편향과 overlap 부재를 따로 살펴본다.

로그와 목표 정책 명시

숨은 집단 U는 확률 pi로 1이다. 로그는 U에 따라 확률 e_U로 X=1을 배정한다.

목표 정책은 U와 독립인 확률 r의 동전으로 X=1을 배정한다. 선언한 SCM의 참 가치는

그림은 U→X,U→Y,X→Y인 로그 생성 그래프다. 목표 정책은 U 의존 배정을 새로운 독립 동전으로 교체한다. 로그에서 X가 같은 사례의 Y를 예측하는 것만으로 이 교체가 실행되지는 않는다.

주변 propensity가 계산하는 값

e=P_log(X=1)이라 하고 주변 행동 확률만으로 가중하면

관련 행동 확률이 양수일 때의 식이다. 각 행동 안의 로그 집단 구성은 남는다. U가 숨은 교란이면 일반적으로 개입 가치와 다르다.

pi=0.5,e0=0.1,e1=0.9,r=1이면 관측 X=1의 90%는 U=1이다. 주변 가중값은 0.1×0.3+0.9×0.9=0.84지만 참 목표 가치는 0.6이다. 자료가 무한해도 0.84를 정확히 추정할 뿐 편향 0.24를 고치지 못한다.

조건부 가중은 여기서 Oracle

U와 조건부 로그 propensity를 알고 필요한 행동 Support가 있다면

현재 U는 숨은 변수이므로 조건부 가중값을 oracle이라고 명시한다. 행동·결과 로그만으로 실행할 수 있는 추정기가 아니다. 생성 모형은 U,X 조건부 결과 잡음 독립성으로 교환가능성을 제공한다. 실제 연구에서는 충분한 조정 변수의 측정과 이 가정의 정당화가 필요하다.

확인 문제와 풀이

pi=0.5,e0=0,e1=1,r=1로 두자. 두 로그 행동은 모두 존재하는가? 목표 가치는 복원되는가?

풀이. 주변에서는 두 행동이 각각 확률 0.5로 나타난다. 주변 IPS는 E[Y|X=1]=0.9지만 참 가치는 0.6이다. U=0 집단에는 행동 1이 전혀 없어 조건부 oracle 가중도 Support가 부족해 미정이다. 선언한 결과식으로 oracle을 계산하는 일과 빠진 관측 셀을 가중으로 복원하는 일은 다르다.

두 로그 propensity가 모두 0일 때 r=0으로 바꾸자. 목표가 행동 0만 사용하므로 행동 1의 overlap은 필요하지 않다. 이 경우 관련 가중 식은 모두 정의된다. 목표 확률 0인 행동까지 요구하는 것은 불필요한 제한이다.

그림과 수치표 읽기

파랑은 정확한 목표 정책 가치, 주황은 정의된 곳의 주변 가중 모집단 값이다. 빠진 부분을 0으로 읽지 말자. 표에는 로그 결합 질량, 목표 행동 확률, 두 종류의 가중치를 나누어 표시한다. 목표 확률 0의 가중치는 0이다. 미정이거나 기계 수로 표현하지 못하는 raw weight는 —다. 기대값은 큰 비율을 먼저 만들지 않고 대수적으로 적분해 불필요한 overflow를 피한다.

연구와 연결하기

민감도 분석은 숨은 교란의 범위를 제한해 가치 경계나 강건한 개선을 줄 수 있다. 보장은 선언한 불확실성 모형에 의존하며 무제한 교란에서 효과를 자동 식별하지 않는다. 순차 문제에는 이력·상태 모형, 순차 가정, 평가 horizon에 맞는 Support가 더 필요하다. 지금은 그런 확장이 다루어야 할 한 단계 실패 기제를 확인한다.

원전

Kallus·Zhou, Confounding-Robust Policy Improvement, NeurIPS 2018. 이진 모집단과 가중·Support 예제는 직접 구성했으며 논문의 전체 최적화기를 구현한 것은 아니다.