조건부 독립과 D-Separation

경로가 있다고 항상 같은 의존은 아니다

세 노드의 chain A→B→C, fork A←B→C, collider A→B←C를 비교합니다. Chain과 fork에서는 중간 B를 조건화하면 A,C 경로가 차단됩니다. Collider는 관측하지 않으면 경로를 차단하지만 B 또는 그 후손을 조건화하면 경로가 열릴 수 있습니다. 화면은 후손을 추가하지 않은 세 노드 예제입니다.

일반 DAG에서는 조건 집합이 모든 무방향 경로를 차단하는지 봅니다. 경로의 비충돌점이 조건 집합에 있거나, 충돌점과 그 후손 어느 것도 조건 집합에 없으면 그 경로는 차단됩니다. 여러 경로 중 하나만 차단했다고 전체 독립을 결론낼 수 없습니다.

실제 표로 구조의 결과를 확인하기

Chain과 fork는 공정한 루트에 독립 반전 잡음 ε를 넣습니다. Collider의 A,C는 독립 공정 루트이고 B는 noisy-OR입니다. A 또는 C가 1이면 B=1일 확률 1−ε, 둘 다 0이면 ε입니다.

ε=.1에서 B를 관측하지 않은 collider의 A,C 결합은 네 상태 각각 .25입니다. B=1을 보면 가중치는 (.025,.225,.225,.225)이고 합 .7로 나눈 사후는 (1/28,9/28,9/28,9/28)입니다. 둘 중 한 원인이 꺼져 있으면 다른 원인이 켜져 있을 가능성이 높아집니다.

결합과 주변의 곱을 비교하기

파랑은 선택한 조건에서의 A,C 결합, 주황은 각 주변의 곱입니다. 두 곡선이 다른 것은 독립이 아니라는 증거입니다. 수치는 선택 사건 아래의 상호정보량이며, 일반적인 H(A|B)처럼 B 전체에 평균한 조건부 정보량과 구분합니다.

D-separation은 충분조건

그래프가 d-separate하면 그 그래프에 Markov인 분포에서 독립을 보장합니다. 반대 방향에는 faithfulness 같은 조건이 필요합니다. ε=.5이면 간선 함수가 입력을 무시해 활성 경로가 있어도 정보량이 0입니다. ε=0인 collider에 B=0을 조건화해도 A=C=0으로 결정되어 조건부 독립인 특수 상황이 생깁니다.

따라서 그래프의 연결 여부와 모수에서 나타난 실제 의존을 같은 것으로 취급하면 안 됩니다. 인과 식별 역시 별도의 문제입니다.

확인 문제와 해설

1. 관측하지 않은 collider는 경로를 여나요? 아니요. 차단합니다.
2. Chain에서 B를 알면? A,C가 조건부 독립입니다.
3. 여기서 B=1의 사후로 구한 MI는 B 전체 평균인가요? 아니요. 선택한 사건 한 개에 조건부입니다.

추가 읽기: Stanford CS228, Probabilistic Graphical Models.