공액 사후와 사후예측

같은 형식이 남는 공액성

Bernoulli 성공확률 θ에 Beta(α,β) 사전을 두고, n회 중 k번 성공을 관측합니다. 사전 밀도 θ의 지수에 우도의 지수를 더하면 사후도 Beta가 됩니다. 이를 공액성이라고 합니다. α와 β는 양수여야 하며 이 실습은 정수 1 이상을 사용합니다.

미래 네 번의 결과는 어떻게 예측할까

실습은 관측 n=8을 고정하고 미래 성공 개수 S를 m=4회 블록에서 예측합니다. 모수를 하나로 고정하지 않고 조건부 이항 질량을 사후로 적분하면 Beta-binomial 분포가 됩니다. B는 Beta 함수입니다.

관측 성공 4, 균등 사전 Beta(1,1)이면 사후는 Beta(5,5)입니다. 미래 개수 평균은 2이고 분산은 14/11≈1.273입니다. 사후평균 0.5를 그대로 이항분포에 넣으면 평균은 같지만 분산은 1입니다. 평균이 같아도 분포 전체가 같지는 않습니다.

조건부 독립이 주변 독립을 뜻하지 않는 이유

미래 시행들은 주어진 θ 아래 독립입니다. 하지만 θ를 적분하면 같은 미지 확률을 공유하는 효과 때문에 양의 공분산을 가집니다. 성공이 잘 나는 θ였다면 여러 시행이 함께 성공하기 쉽다는 직관입니다. p=A/(A+B), s=A+B라 쓰면 다음 식을 얻습니다.

그림으로 비교하기

파랑은 모수를 적분한 미래 개수 질량이고 주황은 평균 plug-in 이항 질량입니다. 두 번째 예제로 관측을 모두 성공으로 바꿔도 미래 실패확률은 0이 되지 않습니다. 세 번째 예제에서는 대칭 사전을 강하게 해 평균을 유지하면서 사후를 집중시킵니다. 그러면 두 예측 분포의 차이가 작아집니다.

여기서는 미래 블록 전체가 하나의 θ를 공유합니다. 매번 새로운 θ를 독립적으로 뽑는 생성 과정은 다른 모형입니다. 또한 사후예측은 선택한 사전·우도에 조건부이므로, 이 분포를 계산했다는 사실만으로 실제 데이터에 잘 맞는다는 보장은 없습니다.

확인 문제와 해설

1. 사후 Beta(5,5)의 평균은? 0.5입니다.
2. 미래 한 번만 예측하면 두 방법의 차이는? Bernoulli 평균만 필요하므로 같은 분포입니다.
3. 미래 여러 번의 극단 결과는 어느 쪽이 더 무거울 수 있나요? 공유 모수를 적분한 예측입니다. 추가 공분산이 있습니다.

추가 읽기: Kevin P. Murphy, Probabilistic Machine Learning — author’s book page.