주변우도와 evidence

모수 하나의 최적값과 모형 전체의 점수

MLE는 우도를 최대화하는 모수를 찾습니다. Evidence 또는 주변우도는 사전에 따라 모든 모수의 우도를 평균합니다. 최적 모수가 데이터를 잘 설명해도 그 주변 사전 질량이 작으면 평균은 낮을 수 있습니다. 두 연산은 다른 질문에 답합니다.

Beta 모형에서 정확한 값 구하기

관측 수 n=8과 성공 수 k를 사용합니다. 사전 Beta(α,β) 아래 한 순서 표본의 evidence는 Beta 함수 비율입니다. k=6,α=β=1이면 Z=1/252≈0.003968, 자연로그 값은 약 −5.529입니다.

같은 성공 수를 갖는 모든 순서를 합한 개수 사건의 확률은 조합계수 C(8,k)를 곱해야 합니다. 기본 예제에서 그 값은 1/9입니다. 그림과 수치에는 일관되게 하나의 순서 표본을 사용합니다.

순차 예측의 곱으로 다시 계산하기

관측을 하나씩 읽으며 그 직전 사후의 다음 관측 예측확률을 곱해도 같은 evidence를 얻습니다. 현재까지 성공 s, 실패 f를 봤다면 다음 성공확률은 (α+s)/(α+β+s+f)입니다. 다음 실패에는 반대쪽 분자를 사용합니다.

표는 성공들을 먼저 놓은 고정 순서를 사용합니다. 교환가능 모형이므로 중간 경로는 순서에 따라 달라도 마지막 곱은 같습니다. 파랑은 이 누적 로그 예측이고 주황은 전체 데이터의 MLE를 처음부터 고정해 같은 관측에 적용한 누적 로그우도입니다. 주황 기준은 미래를 미리 본 비교값이며 온라인 예측 절차가 아닙니다.

사전 민감도와 한계

사전 모수를 바꿔 evidence가 어떻게 달라지는지 보세요. Evidence는 모수에 대한 사전 평균이므로 사전 선택에 민감할 수 있습니다. 적절히 정규화되지 않은 부적절 사전은 임의의 상수를 남겨 일반적인 evidence 비교를 정의하지 못할 수 있습니다. 이 실습은 정규화된 적절한 Beta 사전만 사용합니다.

작은 값의 곱은 수치적으로 사라질 수 있어 로그합을 쓰는 이유도 이해해야 합니다. 여기서는 작은 정수 예제를 정확한 함수 비율과 순차 분해로 검산합니다.

확인 문제와 해설

1. evidence와 최대 우도 중 어느 것이 더 클 수 있나요? 적절한 사전의 평균은 최대 우도를 넘지 않습니다.
2. 관측 순서를 바꾸면 마지막 evidence가 달라지나요? 이 교환가능 모형에서는 같습니다.
3. evidence가 모수의 확률인가요? 아니요. 모수를 적분한 데이터 사건의 확률입니다.

추가 읽기: Kevin P. Murphy, Probabilistic Machine Learning — author’s book page.