교란·부호 역전·선택 편향

두 집단의 차이가 곧 처치 효과는 아니다

시스템 설정을 바꾼 뒤 실패율을 비교한다고 하자. 성능이 좋은 설정을 주로 어려운 과제에 배포했다면, 모든 난이도 집단에서 도움이 되더라도 관측 실패율은 더 높을 수 있다. 처치 집단과 비처치 집단이 서로 다른 모집단을 섞고 있기 때문이다. 교란은 이 비교를 설명하는 구조적 개념이지, 입력 변수끼리 상관이 있다는 말과 같지 않다.

실습은 두 세계를 분리한다. 세계 A에는 X와 Y의 공통 원인 Z, 그리고 X→Y 효과가 있다. 세계 B에서는 X와 Y가 독립이고 두 변수가 함께 표본 선택 S를 결정한다. 두 세계의 수치를 섞으면 서로 다른 생성 기제를 혼동하게 된다. 그래프와 확률표의 A·B 표시를 함께 읽자.

세계 A: 효과의 부호가 뒤집히는 계산

Z는 확률 pi로 1이다. 두 Z 층에서 X=1일 확률을 e_0, e_1이라 하자. 결과 기제는 다음과 같다.

tau의 범위는 [-0.2,0.2]여서 모든 결과 확률이 유효하다. Z가 주어졌을 때 처치 잡음과 결과 잡음이 독립이라는 가정도 포함한다. 따라서 어느 층에서든 X를 바꾸면 결과 평균의 변화는 정확히 tau다.

pi=0.5, e_0=0.1, e_1=0.9, tau=-0.1로 두자. X=1 관측 중 90%는 Z=1이고 X=0 관측 중에는 10%만 Z=1이다.

단순 관측 차이는 +0.30이다. 개입은 원래 P(Z)를 유지하므로 X=1 평균은 0.35, X=0 평균은 0.45다. 인과효과는 -0.10이다. Y가 실패라면 도움이 되는 처치가 단순 관측에서는 해롭게 보인다. 오류는 층별 효과의 계산보다 두 비교 집단의 구성에서 발생했다.

표준화와 비어 있는 셀

일관성, Z 조건부 교환가능성, 목표 모집단 층에서의 처치 positivity가 성립하면 다음 backdoor 조정을 사용한다.

실습의 조정값은 열거한 관측 셀에서 조건부 평균을 구한 뒤 원래 P(Z)로 평균한다. 비어 있는 셀을 oracle 결과식으로 몰래 채우지 않는다. 두 층이 모두 존재하는데 e_0=0, e_1=1이면 각 층에 반대 처치가 없다. 이때 관측 조정값은 —로 표시한다.

선언한 SCM의 효과는 여전히 계산할 수 있다. 구조식이 보지 못한 결과를 가정으로 제공하기 때문이다. 그러나 관측자료가 그 값을 식별했다고 말할 수는 없다. 반대로 목표 모집단 확률이 0인 층은 조정 합에 기여하지 않으므로 그 층의 처치 셀이 없어도 된다.

세계 B: 선택만으로 생기는 연관

이번에는 X와 Y를 서로 독립인 공정한 비트로 둔다. 둘 사이 인과 화살표는 없다. (X,Y)=(0,0)일 때 선택 확률은 1-rho, 나머지 세 상태에서는 1이다. S=1을 조건으로 선택한 결합확률은 다음 값에 비례한다.

rho=1이면 선택 표본에서 00만 빠진다. X=0인 선택 관측에서는 Y=1이 확실하지만, X=1에서는 Y=1일 확률이 0.5다. 선택된 차이는 -0.5이고 모집단 인과효과는 0이다. 공통 결과를 조건으로 삼으면 원래 독립이던 원인 사이에 연관이 생길 수 있다. 이것이 X→S←Y라는 collider 경로의 핵심이다. 모든 선택이 항상 편향을 만든다는 뜻은 아니다.

확인 문제와 해설

세계 A의 나머지 기본값을 유지하고 e_0=e_1=0.5로 처치를 무작위 배정하자. 세계 B에서는 rho=1을 유지한다. 어떤 불일치가 사라지는가?

해설. A의 두 관측 처치 집단은 모두 원래의 50:50 층 구성을 갖는다. 관측 차이는 -0.1이 되어 개입 효과와 일치한다. B에서는 여전히 00을 선택하지 않으므로 선택 차이 -0.5가 남는다. 한 세계의 배정을 바꾸는 것으로 별도 세계의 선택 기제를 고칠 수는 없다. 예제를 실행하고 확률표의 세계 표시를 확인하자.

AI 평가에 적용하는 순서

난이도, 정책 배정, 결과, benchmark 포함 여부를 만드는 과정을 먼저 그리자. 처치와 결과에 모두 관련된 변수라도 공통 원인, 결과, collider 중 무엇인지는 다를 수 있다. 조정 변수를 무조건 늘리는 것이 해결책은 아니다. 지금 예제는 정확한 모집단 계산으로 구조적 문제를 분리한다. 실제 연구의 표본 불확실성, 측정 오류, 모형 오지정은 추가로 검토해야 한다.

원전과 더 읽기

• Judea Pearl, A Causal Calculus for Statistical Research: 개입을 관측식으로 바꾸는 그래프 조건.
• Miguel Hernán·James Robins, Causal Inference: What If: 교란·선택 편향과 식별 조건.

두 수치 모집단과 각각의 확률표는 직접 구성한 교육용 예제다.