본문으로 건너뛰기
SuanLab

검정력·다중 비교와 오류율

효과 크기·표본 수·검정 개수가 기각 확률에 미치는 영향을 계산합니다.

112 / STATISTICS LAB
먼저 알아두면 좋아요 · 연결된 선수 절의 확률·기대값·회귀·미분·극한
신뢰구간·가설검정과 반복 표본 →
단원 목록 (600) · 검정력·다중 비교와 오류율
이해하는 속도로 읽으세요.개념도이론실험확인 문제
BUILD YOUR INTUITION

먼저 그림으로 이해하기

한 번에 한 단계씩 살펴보세요.

효과 크기·표본 수·검정 개수가 기각 확률에 미치는 영향을 계산합니다.

One-sided known-σ=1 z-test; n=16, effect δ=0.5; 10 hypotheses; unadjusted α=.05 each; displayed FWER assumes independent all-null tests

-460.440
가로: 검정통계량 Z · 파랑 곡선: 귀무 밀도 · 파랑 수직선: 임계값 · 주황: 대립 밀도
neffecttestsper-test αpowerindependent-null FWER
160.5100.050.6390.401

per-test alpha = 0.05

고정 기준 예제의 그림과 수치입니다. 각 단계에서 같은 그림의 의미를 차례로 살펴보세요. 고정된 기준 예제이며 아래 실험의 설정과 독립적입니다.
1 / 4

검정

단측 알려진 분산 모형입니다.

reject if Z>z1−α

실험에서 확인하기 →
이 단원 목차

검정력은 특정 대립가설에 대한 확률

실습은 σ=1을 알고 있는 정규 평균의 우측 단측 Z 검정을 사용합니다. 귀무 평균은 0, 대립 평균 차이는 δ입니다. 각 검정의 표본 수 n에서 통계량은 대립 아래 N(δ√n,1)입니다. 검정력은 그 대립에서 임계값을 넘을 확률이며 모수가 참일 사후확률이 아닙니다. 표의 검정력은 한 대립 검정에 대한 값이지 모든 가설을 동시에 찾아낼 확률이 아닙니다.

Z∼N(δn,1),Power⁡(δ)=Φ(δn−z1−α).Z\sim N(\delta\sqrt n,1),\qquad\operatorname{Power}(\delta)=\Phi(\delta\sqrt n-z_{1-\alpha}).

효과와 표본 수의 역할

δ가 커지거나 n이 늘면 두 분포의 중심 간 거리가 커져 같은 임계값을 넘기 쉽습니다. 그림의 파랑 곡선은 귀무 밀도, 주황은 대립 밀도이며 파랑 수직선은 임계값입니다. 기준 n=16,δ=0.5에서는 비중심 이동량이 2입니다. 효과가 0이면 기각 확률은 그 검정의 유의수준입니다. 작은 p값이 효과 크기를 직접 측정하는 것도 아닙니다.

λ=δn,β(δ)=1−Power⁡(δ).\lambda=\delta\sqrt n,\qquad\beta(\delta)=1-\operatorname{Power}(\delta).

여러 검정의 가족 오류

모든 귀무가설이 참이고 m개 검정이 독립이면 적어도 하나 잘못 기각할 확률은 1−(1−α)^m입니다. 각 검정 5%를 열 번 쓰면 약 0.401입니다. 검정 간 의존이 있으면 이 정확 곱셈식을 그대로 쓸 수 없습니다. 실습의 가족 오류율 숫자는 독립·전 귀무 조건을 명시한 계산입니다. 여러 실험 중 잘 나온 결과만 보고하는 것도 선택 절차에 포함해 생각해야 합니다.

FWER⁡ind=1−(1−αeach)m.\operatorname{FWER}_{\mathrm{ind}}=1-(1-\alpha_{\mathrm{each}})^m.

Bonferroni의 보장과 비용

가족 수준 0.05를 m으로 나눈 유의수준을 각 검정에 주면 합집합 상한으로 FWER≤0.05를 얻습니다. 이 상한은 독립을 요구하지 않습니다. 같은 효과와 n에서는 임계값이 높아져 검정력이 낮아질 수 있습니다. 독립일 때의 실제 가족 오류와 일반적인 합집합 상한을 표에서 구분하세요. 이는 FWER 제어이며 FDR 제어, 순차 검정, 자료 의존적인 검정군 선택을 모두 다루는 알고리즘은 아닙니다.

P(⋃j=1m{false rejectj})≤∑j=1mαj,αj=0.05/m.P\left(\bigcup_{j=1}^m\{\text{false reject}_j\}\right)\le\sum_{j=1}^m\alpha_j,\qquad\alpha_j=0.05/m.

확인 문제와 해설

  1. m=10의 보정 유의수준은? 검정당 0.005입니다.
  2. 독립이 아니면 Bonferroni 상한도 사라지나요? 아니요. 합집합 상한은 남습니다.
  3. 검정력이 높으면 연구 설계가 타당한가요? 그것만으로는 아닙니다. 모형·선택·독립성도 확인합니다.

추가 읽기: MIT 18.650, Statistics for Applications.

CHECK YOUR UNDERSTANDING

설명할 수 있나요?

실험 설정과 무관한 기준 예제를 묻습니다. 답을 고르고 설명을 확인해보세요.

1. Bonferroni 보장에 독립이 필요한가요?
2. 검정력은 무엇의 확률인가요?

선택한 답과 학습 표시는 이 브라우저에 저장됩니다. 다시 풀거나 표시를 해제할 수 있습니다.