본문으로 건너뛰기
107 / STATISTICS LAB
먼저 알아두면 좋아요 · 연결된 선수 절의 확률·기대값·회귀·미분·극한
단원 목록 (600) · 지수족·충분통계량과 정보
이해하는 속도로 읽으세요.개념도이론실험확인 문제
BUILD YOUR INTUITION

먼저 그림으로 이해하기

한 번에 한 단계씩 살펴보세요.

Bernoulli 표본의 합이 모수 정보를 보존하는 이유를 조건부분포로 확인합니다.

Four iid Bernoulli(p=0.3) trials; T=sum X_i; condition on T=2; rows enumerate all 16 ordered binary samples

040.4320
가로: 합 T · 세로: 표집 질량 · 표: 가능한 16개 순서 표본
sample bits (low bit first)Tordered-sample probabilityP(sample|T=t)
000000.240
100010.1030
010010.1030
110020.0440.167
001010.1030
101020.0440.167
011020.0440.167
111030.0190
000110.1030
100120.0440.167
010120.0440.167
110130.0190
001120.0440.167
101130.0190
011130.0190
111140.0080

natural parameter logit(p) = -0.847

고정 기준 예제의 그림과 수치입니다. 각 단계에서 같은 그림의 의미를 차례로 살펴보세요. 고정된 기준 예제이며 아래 실험의 설정과 독립적입니다.
1 / 4

지수족

0<p<1에서 자연모수를 씁니다.

η=log(p/(1−p))

실험에서 확인하기 →
이 단원 목차

지수족의 구조

0<p<1인 Bernoulli 모형은 자연모수 η=log(p/(1−p))로 지수족 형태로 쓸 수 있습니다. 네 독립 시행의 우도에서는 표본이 합 T를 통해서만 모수와 연결됩니다. 실습은 가능한 16개 순서 표본을 모두 표에 표시하며, 모수에 따라 바뀌는 확률과 순서 자체를 구분합니다.

fη(x)=exp⁡{ηT(x)−4A(η)},T(x)=∑ixi,A(η)=log⁡(1+eη).f_\eta(x)=\exp\{\eta T(x)-4A(\eta)\},\quad T(x)=\sum_i x_i,\quad A(\eta)=\log(1+e^\eta).

충분통계량의 의미

통계량 T가 충분하다는 것은 선택한 모형 안에서 T를 알고 난 뒤 전체 표본의 조건부분포가 모수에 의존하지 않는다는 뜻입니다. 데이터의 모든 특징을 보존한다는 말은 아닙니다. Bernoulli iid 모형에서 순서는 p 정보를 추가하지 않지만, 시계열 의존 모형에서는 순서가 중요할 수 있습니다. 충분성은 어떤 모형을 가정하는지에 상대적입니다.

Pp(X=x∣T=t)=1(4t)when ∑ixi=t and Pp(T=t)>0.P_p(X=x\mid T=t)=\frac1{{4\choose t}}\quad\text{when }\sum_i x_i=t\text{ and }P_p(T=t)>0.

조건부 표본 확률을 계산하기

기준 p=0.3,T=2에서는 각 해당 순서 표본의 확률이 0.3²·0.7²=0.0441입니다. 그런 표본은 6개이므로 합의 확률은 0.2646입니다. 한 표본의 조건부확률은 0.0441/0.2646=1/6으로 p가 소거됩니다. 다른 합의 표본은 조건부분포에서 0입니다. p를 바꿔 같은 조건을 유지하며 표에서 이 비율이 그대로인지 확인하세요.

Pp(T=t)=(4t)pt(1−p)4−t.P_p(T=t)={4\choose t}p^t(1-p)^{4-t}.

경계 모수와 정보

p=0 또는 1은 유효한 Bernoulli 법칙이지만 유한 logit 자연모수 영역 밖입니다. p=0에서 T=2 같은 영 사건에 대한 조건부 비율은 정의하지 않습니다. 또한 정규적인 Fisher 정보 공식 4/[p(1−p)]는 내부에서만 표시합니다. 경계에서 분모가 0이라는 이유로 유한 정보를 꾸며 넣거나 같은 점근 정규성 조건을 자동 적용해서는 안 됩니다.

I4(p)=Ep[(∂plog⁡fp(X))2]=4p(1−p)(0<p<1).I_4(p)=E_p[(\partial_p\log f_p(X))^2]=\frac4{p(1-p)}\quad(0<p<1).

확인 문제와 해설

  1. T=1에 해당하는 순서 표본은? 4개입니다.
  2. 충분성은 표본 순서가 모든 모형에서 불필요하다는 뜻인가요? 아니요. 지정한 모형에 대한 성질입니다.
  3. 영 사건 조건부를 0으로 표시하나요? 아니요. —로 표시합니다.

추가 읽기: MIT 18.650, Statistics for Applications.

CHECK YOUR UNDERSTANDING

설명할 수 있나요?

실험 설정과 무관한 기준 예제를 묻습니다. 답을 고르고 설명을 확인해보세요.

1. 충분성은 무엇을 보존하나요?
2. p=0의 logit 자연모수는 유한한가요?

선택한 답과 학습 표시는 이 브라우저에 저장됩니다. 다시 풀거나 표시를 해제할 수 있습니다.