예측 불확실성과 보정

하나의 이진 예측에도 여러 불확실성이 있다

사후 θBeta(α,β), 미래 관측 Y|θBernoulli(θ)를 생각합니다. 모수를 알아도 관측 자체가 흔들리는 조건부 잡음과 모수를 모르는 불확실성을 나눌 수 있습니다. 이 분해는 선택한 확률 모형에 상대적입니다. 임의의 신경망 불확실성을 유일하게 분류하는 보편 법칙은 아닙니다.

총분산이 같아도 분해는 다르다

s=α+β라 쓰면 두 항은 각각 αβ/[s(s+1)]과 αβ/[s²(s+1)]입니다. 합은 p(1−p), p=α/s입니다. Beta(2,2)에서는 0.2+0.05=0.25, Beta(12,12)에서는 0.24+0.01=0.25입니다. 사후가 더 집중했는데 총 이진 분산이 같다는 점을 관찰하세요.

한 번의 Bernoulli 예측은 평균 p만으로 분포가 결정됩니다. 따라서 같은 평균의 서로 다른 사후를 총 이진 분산 하나로 구별하지 못합니다. 여러 미래 관측의 결합이나 모수 분포 자체도 함께 봐야 합니다. 조건부 분산 항이 커졌다고 데이터로 모수를 더 모르게 되었다는 뜻은 아닙니다.

보정은 예측과 실제 빈도의 관계

보정 그림은 위 Beta 계산과 별개의 고정 평가 데이터 50개를 사용합니다. 각 10개씩인 다섯 빈의 양성 개수는 1,3,5,7,9입니다. 첫 모드의 예측은 0.1,0.3,0.5,0.7,0.9로 빈의 관측 비율과 일치합니다. 두 번째 모드는 같은 라벨에 0.02,0.1,0.5,0.9,0.98을 예측해 더 극단적으로 말합니다.

첫 모드 ECE는 0, Brier는 0.17입니다. 과신 모드 ECE는 0.112, Brier는 0.18856입니다. 파랑은 예측 대 관측 비율, 주황은 대각 일치선입니다. Beta 모수를 바꾸어도 이 고정 평가 빈은 바뀌지 않습니다. 원인이 다른 두 예제를 하나의 생성 실험으로 오해하지 마세요.

유한한 그림의 한계와 연구 연결

이 모형의 0인 ECE는 다섯 빈에서의 경험적 일치일 뿐 모든 확률·하위집단·새 분포에서의 보정을 뜻하지 않습니다. 빈의 선택과 표본 수에도 의존합니다. 또한 보정만 좋고 예측 구별력은 약할 수 있습니다. 예를 들어 전체 양성 비율만 항상 내는 예측은 유용한 개체 구분을 못 할 수 있습니다.

AI 평가에서는 학습에 사용하지 않은 데이터, 시간·집단 분할, 라벨 정의와 표본 수를 기록하세요. Temperature scaling 같은 보정기를 맞춘 데이터와 최종 평가 데이터를 분리하는 이유도 여기에 있습니다. 이 실습은 보정기를 학습하지 않고 고정된 수치 예제를 비교합니다.

확인 문제와 해설

1. Beta(12,12)의 모수 분산은? 0.01입니다.
2. ECE=0이 개별 라벨을 모두 맞혔다는 뜻인가요? 아니요. 빈 비율의 일치입니다.
3. 총 예측 분산만 작게 만들면 좋은가요? 아니요. 데이터·모형 적합성과 보정·정확도를 함께 봐야 합니다.

추가 읽기: Stan User’s Guide, Posterior Predictive Checks.