변분 추론과 ELBO의 간격

어려운 사후를 최적화 문제로 바꾸기

잠재변수 모형의 사후가 복잡하면 계산하기 쉬운 분포족 q를 골라 사후를 근사합니다. 여기서는 원리를 숨기지 않도록 잠재 z가 0 또는 1인 작은 모형을 사용합니다. 관측 x에 대한 결합 질량은 p(x,z=1)=0.4π, p(x,z=0)=0.4(1−π)이고 따라서 evidence는 0.4, 정확 사후확률은 π입니다. π 조절은 모형의 결합 질량도 함께 바꿉니다.

ELBO를 결합과 엔트로피로 읽기

변분 후보는 q(z=1)=r입니다. 결합 로그확률의 q 평균에 엔트로피를 더하면 evidence lower bound를 얻습니다. 직접 식을 전개하면 evidence와 ELBO 사이 간격이 KL임을 확인할 수 있습니다.

KL은 음수가 아니므로 ELBO가 하한입니다. 고정 데이터·모형에서는 log evidence가 r에 따라 바뀌지 않으므로 ELBO 최대화는 이 방향의 KL 최소화와 같습니다. 모형 모수도 함께 학습하는 상황은 이 고정 모형 실습과 구분하세요.

기본 예제를 숫자로 확인하기

π=0.7,r=0.5이면 KL≈0.08718, log evidence≈−0.91629, ELBO≈−1.00347입니다. 두 음수를 보고 크기를 혼동하지 마세요. −1.00347이 더 작은 하한입니다. 파랑은 r에 따른 ELBO이고 주황 수평선은 log evidence입니다. 선택한 r은 점으로 표시됩니다.

근사족의 제한과 KL 방향

이 실습의 모든 Bernoulli q 중에는 정확한 사후도 포함되어 r=π에서 간격 0이 됩니다. 실제 mean-field 변분족처럼 변수 사이 의존성을 제거하면 정확 사후를 포함하지 않을 수 있습니다. 최적화가 잘 되어도 근사족의 오차가 남습니다.

r=1에서는 q가 상태 0을 무시하지만 KL(q||posterior)=log(1/π)는 유한합니다. 0 log 0은 연속 확장으로 0으로 계산합니다. 반대 방향 KL(posterior||q)은 상태 0에 양의 사후 질량이 있는데 q가 0이므로 무한합니다. 방향을 바꾸면 같은 값이 아닙니다. 이 작은 예제만으로 고차원에서 근사의 품질을 보장할 수는 없습니다.

확인 문제와 해설

1. r=π이면 ELBO는? log evidence와 같습니다.
2. q를 바꾸면 고정 모형의 evidence도 커지나요? 아니요. 하한과 간격이 변합니다.
3. KL은 대칭 거리인가요? 아니요. 방향과 지지 조건이 중요합니다.

추가 읽기: Blei, Kucukelbir & McAuliffe, Variational Inference.