본문으로 건너뛰기
104 / STATISTICS LAB
먼저 알아두면 좋아요 · 연결된 선수 절의 확률·기대값·회귀·미분·극한
단원 목록 (600) · 편향·분산·일치성과 위험
이해하는 속도로 읽으세요.개념도이론실험확인 문제
BUILD YOUR INTUITION

먼저 그림으로 이해하기

한 번에 한 단계씩 살펴보세요.

축소 추정량의 평균제곱오차를 계산해 유한 표본의 이득과 점근 편향을 비교합니다.

Tλ=(1−λ)S/n+λ/2; S~Binomial(10,0.8); fixed λ=0; target p

010.3170
가로: 추정값 · 파랑: 표본비율의 법칙 · 주황: 축소 추정량의 법칙
kTλsampling masssquared estimation error
001.024e-70.64
10.14.096e-60.49
20.27.373e-50.36
30.37.864e-40.25
40.40.0060.16
50.50.0260.09
60.60.0880.04
70.70.2010.01
80.80.3020
90.90.2680.01
1010.1070.04

E[Tλ] = 0.8

고정 기준 예제의 그림과 수치입니다. 각 단계에서 같은 그림의 의미를 차례로 살펴보세요. 고정된 기준 예제이며 아래 실험의 설정과 독립적입니다.
1 / 4

기준

표본비율은 비편향입니다.

T0=S/n

실험에서 확인하기 →
이 단원 목차

추정 절차의 위험을 계산하기

제곱오차 위험은 같은 모수 아래 반복 표본에서 오차 제곱을 평균한 것입니다. 한 관측의 오차만 보고 절차의 위험을 알 수는 없습니다. 실습은 S가 이항분포를 따를 때 표본비율을 1/2 쪽으로 축소합니다. λ=0은 원래 표본비율, λ=1은 항상 1/2을 내는 상수 추정량입니다. 막대는 같은 표집 질량이 다른 추정값으로 옮겨진 법칙입니다.

Tλ=(1−λ)Sn+λ2,Rp(T)=Ep[(T−p)2].T_\lambda=(1-\lambda)\frac Sn+\frac\lambda2,\qquad R_p(T)=E_p[(T-p)^2].

편향과 분산의 정확한 분해

추정량에서 그 평균을 더하고 빼면 평균 0인 중심 오차의 교차항이 사라집니다. 이 예제의 편향은 λ(1/2−p), 분산은 (1−λ)²p(1−p)/n입니다. 따라서 축소는 분산을 낮추지만 p가 1/2에서 멀면 편향을 키웁니다. p=0.8,n=10,λ=0.5에서는 분산 0.004와 제곱 편향 0.0225를 더한 위험 0.0265입니다. 원래 비율의 위험 0.016보다 큽니다.

E[(T−p)2]=Var⁡(T)+(E[T]−p)2.E[(T-p)^2]=\operatorname{Var}(T)+(E[T]-p)^2.

유한 표본에서 좋아질 수도 있다

p=0.6,n=10,λ=0.5로 바꾸면 위험은 0.006+0.0025=0.0085로 원래 위험 0.024보다 작습니다. 이득은 모수와 축소율에 따라 달라집니다. λ=1이면 표집 법칙이 한 점에 집중하지만 실제 모수가 1/2이 아니라면 그 상수의 오차는 사라지지 않습니다. 분산이 작다는 사실을 정확도가 높다는 말과 동일시하지 마세요.

Bias⁡p(Tλ)=λ(1/2−p),Var⁡p(Tλ)=(1−λ)2p(1−p)n.\operatorname{Bias}_p(T_\lambda)=\lambda(1/2-p),\quad\operatorname{Var}_p(T_\lambda)=(1-\lambda)^2\frac{p(1-p)}n.

일치성과 비편향은 다른 성질

λ를 고정하고 n을 늘리면 분산은 0으로 가지만 제곱 편향은 남습니다. 따라서 모든 p에 대해 일치하는 고정 λ는 0뿐입니다. p=1/2이라는 특정 지점에서는 다른 λ도 일치할 수 있습니다. λ_n이 0으로 가도록 설계하면 이 예제에서는 편향과 분산이 모두 0으로 가서 일치성을 얻습니다. 비편향만으로 일치성이 자동으로 성립하는 것은 아니며, 제곱오차 수렴은 확률수렴을 보장하는 충분조건입니다.

lim⁡n→∞Rp(Tλ)=λ2(1/2−p)2.\lim_{n\to\infty}R_p(T_\lambda)=\lambda^2(1/2-p)^2.

예를 들어 표본 수와 관계없이 첫 관측 X1만 쓰는 추정량은 p에 비편향이지만 내부 모수에서 분산 p(1−p)가 줄지 않아 일치하지 않습니다.

확인 문제와 해설

  1. p=0.8에서 고정 λ=0.5의 극한 위험은? 0.0225입니다.
  2. λ=1의 분산은? 0이지만 위험은 모수에 따라 양수입니다.
  3. 축소는 항상 좋은가요? 아니요. 위험과 모형 가정을 함께 검토합니다.

추가 읽기: MIT 18.650, Statistics for Applications.

CHECK YOUR UNDERSTANDING

설명할 수 있나요?

실험 설정과 무관한 기준 예제를 묻습니다. 답을 고르고 설명을 확인해보세요.

1. 제곱오차 위험의 분해는?
2. 비편향이면 항상 일치하나요?

선택한 답과 학습 표시는 이 브라우저에 저장됩니다. 다시 풀거나 표시를 해제할 수 있습니다.