유한 가설의 Bayes 갱신

관측을 보고 가설의 무게 바꾸기

동전이 공정한지 알고 싶다고 합시다. 여기서는 성공 확률 θ의 후보를 0.2, 0.5, 0.8 세 개로 제한합니다. 이는 연속 구간 [0,1] 전체에 사전을 두는 모형과 다릅니다. 사전 질량은 관측 전 각 후보에 주는 무게이고, 우도는 그 후보가 고정된 관측을 얼마나 잘 설명하는지입니다. Bayes 갱신은 이 두 값을 곱한 뒤 합이 1이 되도록 나눕니다.

하나의 순서 관측을 계산하기

4회 시행에서 3번 성공한 특정 순서 표본을 관측했다고 합시다. 조건부 iid Bernoulli 모형에서 그 표본의 우도는 θ³(1−θ)입니다. 세 후보의 우도는 각각 0.0064, 0.0625, 0.1024입니다. 균등 사전이면 evidence Z는 이 세 값의 평균 0.0571입니다.

시행 순서를 지우고 성공 개수만 관측했다면 모든 우도에 조합계수 4를 곱합니다. 사후에서는 공통 인자가 상쇄되지만 evidence 자체는 4배가 됩니다. 무엇을 데이터 사건으로 정의했는지 기록해야 하는 이유입니다.

사후 요약과 예측은 다른 질문

가장 큰 사후 질량은 θ=0.8에 있습니다. 그러나 다음 성공의 예측확률은 0.8이 아니라 세 가설에서 평균한 약 0.6681입니다. 사후 최대 가설 하나로 모든 불확실성을 대체하지 마세요.

파란 막대는 사전, 주황 원과 막대는 사후입니다. 성공 수를 고정한 채 사전 방식만 바꾸면 관측은 같아도 사후가 달라집니다. 사전·관측·추론 결과를 서로 구분해 읽으세요.

사전 질량 0의 강한 의미

세 번째 예제는 θ=0.8의 사전 질량을 0으로 둡니다. 모든 관측이 성공해도 이 가설의 사후 질량은 계속 0입니다. 불가능하다고 선언한 가설은 유한한 우도를 곱해도 되살아나지 않습니다. 이는 단순히 낮은 확률을 주는 것과 다릅니다. 실제 연구에서는 모형이 가능한 현상을 누락했는지도 점검해야 합니다.

확인 문제와 해설

1. 균등 사전에서 evidence는? 0.0571입니다.
2. 다음 성공확률은 가장 큰 θ와 같은가요? 아니요. 사후로 가중평균한 약 0.6681입니다.
3. 사후 질량의 합은? 정규화에 의해 1입니다.

추가 읽기: Kevin P. Murphy, Probabilistic Machine Learning — author’s book page.