표본·모수·추정량의 구분

관측 전후의 언어를 구분하기

통계 모형의 모수 p는 반복 표본을 생성하는 법칙을 지정합니다. 빈도주의 표집 모형에서 p는 고정값이며 관측 전에는 Xi가 확률변수입니다. 실제 관측 x는 그 표본의 실현입니다. 추정량 T는 표본에 적용하는 함수이고 추정값 T(x)는 이미 관측한 수입니다. 이 구분을 생략하면 한 숫자가 모수인지 불확실성을 가진 통계량인지 혼동하기 쉽습니다.

고정 데이터와 모형을 따로 바꾸기

실습의 마스크는 낮은 비트부터 n개를 관측으로 읽습니다. n=4와 마스크 3은 (1,1,0,0)이라 추정값 0.5입니다. p를 0.5에서 0.8로 바꿔도 고정 데이터와 추정값은 바뀌지 않습니다. 대신 이 데이터가 모형 아래 얼마나 그럴듯한지와 반복 표본의 분포가 바뀝니다. p=0인데 성공이 관측되면 그 표본의 모형 확률은 0입니다. 관측을 고치기보다 모형과의 불일치를 읽어야 합니다.

순서 표본과 성공 개수는 다른 사건

순서가 고정된 표본 하나의 확률은 p의 k제곱 곱하기 (1−p)의 n−k제곱입니다. 성공 k개가 나온 사건은 그런 순서 표본 여러 개를 모으므로 이항계수를 곱합니다. 기준에서는 순서 표본 확률 1/16, 성공 두 개의 확률 6/16입니다. 막대는 특정 표본 경로가 아니라 모든 가능한 추정값의 이론적 표집 질량입니다. 주황 원은 고정 관측의 통계량 위치입니다.

평가·학습에서의 연결

여러 번 같은 추정 절차를 반복했을 때의 변동을 표준오차로 요약할 수 있습니다. 한 표본의 값과 표집 분포의 평균은 같을 필요가 없습니다. 이 Bernoulli 예제에서 독립 표본 수를 두 배로 하면 분산은 절반, 표준오차는 1/√2배입니다. 실제 모델 정확도를 평가할 때 사례 간 의존이나 데이터 선택이 있으면 같은 공식을 그대로 쓰기 어렵습니다. 파랑 분포는 명시한 iid 모형을 가정합니다.

확인 문제와 해설

1. 마스크 15의 낮은 8개 비트는? (1,1,1,1,0,0,0,0)입니다.
2. 같은 데이터의 추정값을 유지하며 p를 바꿀 수 있나요? 예. 관측과 모형을 따로 조절합니다.
3. n=4,p=0.5의 표본평균 분산은? 0.0625입니다.

추가 읽기: MIT 18.650, Statistics for Applications.