잠재변수와 EM의 반복

소속이 보이지 않는 두 집단

관측값 −2,−1,1,2가 두 Gaussian 성분의 혼합에서 왔다고 합시다. 어느 성분에서 왔는지 나타내는 소속 z는 관측하지 못했습니다. 잠재 소속을 전부 합하면 관측 밀도는 두 성분 밀도의 가중합입니다. 이 실습은 가중치 1/2, 분산 1을 고정하고 두 평균만 추정합니다.

E 단계: 딱 잘라 분류하지 않고 책임도 계산

현재 평균이 주어졌을 때 각 관측이 성분 j에 속할 사후확률 rᵢⱼ를 구합니다. 이것은 거리만 보고 0 또는 1로 자르는 분류와 다릅니다. 두 성분이 모두 설명할 수 있는 관측은 소속을 나눠 가집니다.

M 단계: 소속 확률을 가중치로 평균 갱신

책임도를 고정한 채 평균을 갱신합니다. 각 성분은 자신에게 배정된 확률 질량만큼 관측을 평균합니다. E와 M을 반복하면 명시한 모형의 관측 로그우도가 감소하지 않습니다. 반올림·부정확한 최적화가 들어간 일반 구현에서는 별도의 수치 검사가 필요합니다.

초기 평균 −1,1에서 4번 갱신하면 평균은 약 −1.4404,1.4404이고 로그우도는 약 −7.1582에서 −6.8400으로 증가합니다. 그래프의 가로는 공간 좌표가 아니라 반복 번호이며 세로는 초기 대비 로그우도 증가량입니다. 파랑은 증가량, 주황은 0 기준으로 작은 개선도 읽을 수 있게 합니다. 원래 로그우도는 수치에서 별도로 확인합니다. 마지막 표는 갱신 후 평균에서 다시 계산한 책임도입니다.

초기값과 대칭의 함정

평균을 둘 다 0에서 시작하면 모든 관측의 책임도는 1/2입니다. 가중평균도 0이므로 계속 같은 점에 머뭅니다. 분리한 초기값의 해보다 우도가 낮아도 이런 정지점이 존재합니다. 비감소 성질은 전역 최적화 보장이 아닙니다.

성분 번호를 바꾸어도 혼합 밀도는 같으므로 번호 자체에 의미를 부여하지 마세요. 분산까지 자유롭게 추정하는 Gaussian 혼합은 추가적인 특이점 문제도 갖지만, 이 실습은 분산을 1로 고정해 그 문제와 분리합니다. EM은 여기서 두 평균의 점 추정 알고리즘이며 평균의 완전한 Bayes 사후를 계산하는 과정이 아닙니다.

확인 문제와 해설

1. 책임도는 각 관측에서 합이 얼마인가요? 1입니다.
2. 같은 평균 초기값은 자동으로 분리되나요? 이 대칭 예제에서는 아닙니다.
3. 우도가 증가하면 전역 최적점인가요? 아니요. 여러 초기값과 적합성을 확인해야 합니다.

추가 읽기: Stan User’s Guide, Finite Mixtures.