그래프 구조와 모수 학습

어떤 간선을 둘지와 값은 얼마인지는 다른 문제

모수 학습은 구조를 고정한 뒤 확률표를 추정합니다. 구조 학습은 간선 자체를 비교합니다. 이 예제는 완전 관측된 이진 A,B에 대해 독립 M0:p(A)p(B)와 한 간선 M1:p(A)p(B|A)만 비교합니다. 자유 모수 수는 각각 2와 3입니다. 임의 그래프 전체의 구조 탐색 알고리즘을 구현한 것은 아닙니다.

열여섯 자료의 MLE

기본 count는 (5,3,3,5)입니다. 두 주변이 모두 .5라 독립 MLE는 네 질량 .25이고, 간선 모형의 MLE는 경험 결합 (5,3,3,5)/16입니다. 양의 count에만 count×log 확률을 합하며 영 count는 0으로 기여합니다.

간선 모형은 독립 모형을 포함하므로 최적 우도는 작아지지 않습니다. 그러나 더 큰 최적 우도만으로 일반화 성능이나 올바른 구조가 증명되지는 않습니다.

BIC의 추가 모수 비용

작을수록 좋은 BIC=−2ℓMLE+k ln N을 사용합니다. 작은 기본 자료에서는 추가 모수 비용 때문에 독립 모형이 선택됩니다. 같은 비율을 8번 반복한 count에서는 우도 이득이 N에 비례하고 penalty는 ln N이므로 간선 모형이 선택됩니다. 실제 자료를 재사용해 독립 표본 수를 부풀리는 행위가 정당하다는 뜻은 아닙니다. 화면은 명시한 전체 count를 입력으로 사용하는 모형 예제입니다.

Smoothing과 점수 계산 분리

α는 조건부 표의 두 값에 같은 pseudocount를 더하는 Laplace형 smoothing입니다. P(B=1|A=1)=(n11+α)/(n10+n11+2α)입니다. 이 표는 예측을 비교하기 위한 것이고 BIC는 항상 MLE로 계산합니다. α를 바꾸어도 BIC가 바뀌지 않는지 확인하세요. Smoothed fit을 MLE인 것처럼 공식에 넣지 않습니다.

방향과 인과의 한계

완전한 두 변수 관측 분포는 A→B와 B→A 양쪽으로 모두 인수분해할 수 있습니다. 연관이 있다는 사실은 인과 방향을 식별하지 못합니다. BIC는 후보 모형과 정규성·표본 가정에 의존하는 점근 근사 기준이며 모든 경계·미관측 잠재 모형에서 자동 정당화되지 않습니다.

확인 문제와 해설

1. 간선 모형의 자유 모수는? 3개입니다.
2. α는 이 BIC 계산을 바꾸나요? 아니요. 별도 smoothing 표만 바꿉니다.
3. 완전일치 자료가 인과 방향을 정하나요? 아니요. 관측만으로는 추가 가정이 필요합니다.

추가 읽기: Stanford CS228, Probabilistic Graphical Models.