이 단원 목차
다른 분포에서 얻은 표본으로 평균 구하기
목표 질량 p=(0.2,0.3,0.5)는 상태 i=0,1,2에 정의되고 관심 함수는 f(i)=i입니다. 정확한 평균은 1.3입니다. 목표에서 직접 뽑기 어렵다면 계산 가능한 제안 q에서 뽑고 p/q 비율로 보정할 수 있습니다. 기본 제안은 균등하지만 q(0)을 조절하면 나머지 두 상태가 남은 질량을 절반씩 나눕니다.
지지집합 조건부터 확인하기
목표에서 양의 질량을 갖는 모든 상태를 제안도 방문할 수 있어야 합니다. q(0)=0이면 목표 질량 0.2를 영원히 놓칩니다. 관측한 표본이 나머지 상태에만 있어도 전체 목표 평균을 정당하게 복구할 수 없습니다. 실습은 이 경우 추정값을 —로 표시합니다. 제안이 0인 상태의 표본이 입력되었는지는 별도 표시합니다.
고정된 작은 표본과 두 추정량
이 화면은 매번 난수를 생성하지 않습니다. 제안에서 얻었다고 가정한 여섯 표본의 개수를 세 가지 고정 패턴으로 보여줍니다. 일반 importance 추정의 정규화 상수 추정값은 평균 가중치입니다. 자기정규화 평균은 가중합을 가중치 합으로 나눕니다.
균등 제안과 상태별 두 개씩의 표본에서는 가중치가 0.6,0.9,1.5이고 추정값은 정확히 1.3입니다. 이것은 이 균형 표본의 결과이며 모든 표본의 오차가 0이라는 뜻은 아닙니다. 자기정규화 비율은 유한 표본에서 일반적으로 편향됩니다. 반면 정규화된 p의 일반 중요도 평균은 조건과 적분가능성이 성립하면 비편향입니다.
ESS가 보여주는 것과 놓치는 것
가중치의 effective sample size는 (Σw)²/Σw²입니다. 이 수치는 가중치 집중을 요약하며, 여섯 표본을 썼다면 1과 6 사이입니다. 세 번째 패턴은 같은 상태 2만 여섯 번 관측합니다. 모든 표본 가중치가 같아 ESS=6이지만 추정값은 2로 틀립니다. ESS가 높다는 사실은 방문하지 않은 영역이나 모델 오차를 발견하지 못합니다.
극단적으로 작은 양의 제안 확률은 지지 실패와 다릅니다. 구현은 로그 가중치의 상대 크기로 비율과 ESS를 계산하고, 표현할 수 없는 원시 가중치나 정규화 추정은 수치 범위 경고와 함께 숨깁니다.
확인 문제와 해설
- q가 목표 상태를 누락하면 표본 수만 늘리면 되나요? 아니요. 제안 자체를 고쳐야 합니다.
- 자기정규화 추정은 항상 비편향인가요? 아니요. 비율의 기대값을 주의하세요.
- ESS=6이면 정확한가요? 아니요. 상태 2 반복 반례를 확인하세요.
추가 읽기: Kevin P. Murphy, Probabilistic Machine Learning — author’s book page.
설명할 수 있나요?
실험 설정과 무관한 기준 예제를 묻습니다. 답을 고르고 설명을 확인해보세요.
선택한 답과 학습 표시는 이 브라우저에 저장됩니다. 다시 풀거나 표시를 해제할 수 있습니다.