Bayes 추론과 사후예측

매개변수의 불확실성을 모형에 넣기

10회 중 7회 성공은 확률 0.7 근처를 시사하지만 유한 관측만으로 한 값이 확정되지는 않습니다. Bayes 추론은 매개변수의 사전분포를 정하고 가능도로 갱신합니다. 사후분포는 데이터와 가정한 모형을 조건으로 한 결과이며 가정 없는 진실이 아닙니다.

여기서는 계산을 따라가기 쉬운 Beta 사전과 Bernoulli 가능도를 사용합니다. 복잡한 모형에서는 수치 적분·표집이 필요할 수 있고, 이 정확한 켤레 예제에 없는 추가 근사 오차가 생깁니다.

기호와 밀도

Beta 밀도는 $p^{\alpha-1}(1-p)^{\beta-1}$에 비례하며 Beta 적분으로 정규화합니다. 밀도값은 점 확률이 아닙니다. 구간 적분이 확률입니다. 실험은 간단한 정확 정규화를 위해 양의 정수 모양만 조작하지만 Beta 분포 자체는 양의 실수도 허용합니다.

갱신 유도

사전과 가능도를 곱한 뒤 근거로 나눕니다.

지수를 모으면 $p^{\alpha+7-1}(1-p)^{\beta+3-1}$이므로

입니다. 분모가 매개변수 공간의 적분을 1로 만듭니다. 최대값만 1로 맞춘 가능도와 다릅니다. 근거는 사전과 관측 모형에 의존하므로 표현이 다른 관측의 상수를 무시하고 근거를 비교하면 오해가 생깁니다.

균등 사전 손계산

Beta(1,1)은 $[0,1]$의 균등분포입니다. 사후는 Beta(8,4), 평균은 $8/12=2/3$, 분산은

입니다. MLE는 여전히 0.7입니다. 사후 평균은 사전과 유한 관측을 결합하므로 다릅니다. 사후 최빈값도 다른 요약량이며 이 예제에서는 $7/10=0.7$입니다. 모두를 막연히 ‘추정 확률’이라고 부르지 말고 무엇을 요약했는지 명시하세요.

예측은 불확실성을 적분한다

같은 모형 아래 다음 시행의 예측은

입니다. 이진 결과 하나에서는 사후 평균과 같습니다. 여러 미래 시행의 결합 예측에는 공통의 불확실한 매개변수로 인한 의존성이 남습니다. 모든 비선형 식에 $p$의 평균을 넣는 것은 일반적으로 사후 적분과 같지 않습니다.

사전 민감도도 분석의 일부

같은 데이터에 Beta(9,1)을 쓰면 사후 Beta(16,4)의 평균은 0.8입니다. Beta(1,9)를 쓰면 Beta(8,12)의 평균은 0.4입니다. 산술 오류가 아니라 다른 가정의 결과입니다. ‘정보가 없는 사전’이라는 말도 매개변수화와 문제 맥락을 밝혀야 합니다. 임의의 변수 변환 아래 균등성은 유지되지 않습니다.

그림은 같은 축에서 사전·사후 밀도를 비교하며 꼭대기는 1을 넘을 수 있습니다. 내부 격자로 그려 양 끝 꼬리를 전부 표시하지는 않습니다. 평균·분산은 표시선을 적분하지 않고 분석적 공식을 사용합니다. 그림 해상도가 추론을 바꾸지 않게 분리한 것입니다.

AI 연결과 검증

불확실성 모형, 잠재변수 추론, 역문제로 연결됩니다. 모형이 틀리거나 관측이 편향되면 좁은 사후분포도 자신 있게 틀릴 수 있습니다. 매개변수 불확실성이 모든 분포 이동·센서 실패·대안 과학 모형을 포함하지는 않습니다.

연구에서는 타당한 여러 사전을 비교하고 보류 관측의 사후예측을 확인하세요. 정확 계산과 근사 추론을 구분해야 합니다. 사후 신용구간과 반복 표집 신뢰구간은 정의가 다릅니다. 이 실험의 모멘트 표시가 두 개념의 동등성을 주장하는 것은 아닙니다.

연습과 근거

1. Beta(2,2)에 성공 7·실패 3을 더하세요. 답: Beta(9,5), 평균 $9/14$입니다.
2. 사전과 가능도를 곱한 뒤에도 정규화가 필요한 이유는?
3. 균등 사전 예제의 사후 평균과 최빈값을 비교하세요.
4. 사전을 바꾸는 것만으로 고칠 수 없는 표집 실패를 적으세요.

배경은 MIT Introduction to Probability를 참고하세요. 여기의 정확 계산은 지정한 Beta-Bernoulli 모형에 대한 것이며 모든 Bayesian AI 시스템의 보장은 아닙니다.