계층모형과 부분 풀링

작은 그룹을 따로 추정할 때 생기는 문제

여러 병원·도시·데이터셋의 평균을 각각 추정한다고 합시다. 표본이 적은 그룹의 관측 평균은 크게 흔들립니다. 모든 그룹을 하나의 평균으로 합치면 그룹 차이를 지우고, 완전히 별개로 추정하면 공통 정보를 버립니다. 계층모형은 그룹 모수가 공통 분포에서 왔다고 가정해 두 극단 사이의 부분 풀링을 만듭니다.

정밀도를 더해서 사후 계산하기

개별 관측 분산은 알려진 1이고 그룹당 관측 수는 n입니다. 사전 정밀도는 1/τ², 관측 평균의 정밀도는 n입니다. 제곱 완성으로 사후 분산과 평균을 구합니다.

n=4, τ=1이고 두 관측 평균이 2와 −1이면 w=0.8, 사후평균은 1.6과 −0.8, 각 사후 분산은 0.2입니다. 파랑은 관측 평균, 주황은 사후평균입니다. 점의 높이가 평균이고 분산은 별도 수치와 표에서 읽습니다.

당기는 힘을 바꾸기

τ가 작으면 그룹 차이가 작다는 강한 사전이므로 공통 중심 0으로 더 많이 당깁니다. τ=0.25이면 w=0.2로 첫 평균 2가 0.4까지 줄어듭니다. 반대로 n이 커지면 그룹 데이터가 강해져 w가 1에 가까워집니다. 이 값은 알고리즘이 임의로 고른 혼합 비율이 아니라 명시한 확률 모형의 결과입니다.

이 실습이 조건부 계산인 이유

공통 중심 0과 τ는 고정 입력입니다. 초모수의 사후를 추정하거나 적분하지 않습니다. 따라서 이 모형에서 두 그룹의 조건부 사후 공분산은 0입니다. 공통 중심을 미지수로 두어 함께 추론하면 그룹들이 사후에서 의존할 수 있습니다. 데이터로 τ를 추정해 고정하는 empirical Bayes와 초모수 사후까지 적분하는 완전 Bayes도 구분하세요.

새 그룹의 관측이 없다면 그 그룹 모수 분산은 τ²입니다. 기존 그룹의 조건부 사후 분산 v를 새 그룹의 불확실성으로 대신 쓰면 안 됩니다. AI에서는 task별 성능·지역별 효과처럼 공유 구조와 고유 차이가 공존할 때 이 구분이 중요합니다.

확인 문제와 해설

1. n=4,τ=1일 때 데이터 가중치는? 0.8입니다.
2. τ를 작게 하면 관측 정보를 더 믿나요? 아니요. 공통 중심으로 더 강하게 당깁니다.
3. 이 그림만으로 초모수 불확실성까지 반영했나요? 아니요. 초모수를 고정한 조건부 모형입니다.

추가 읽기: Kevin P. Murphy, Probabilistic Machine Learning — author’s book page.