유한 표본의 평균과 집중현상

평균 주변에 모인다는 말의 뜻

독립인 부호 Xᵢ가 −1과 1을 같은 확률로 갖는다고 합시다. 한 번의 값은 두 끝점에만 있지만 여러 값을 평균하면 0 근처가 자주 나옵니다. 집중현상은 모든 실현이 평균과 같다는 뜻이 아니라, 일정한 편차를 넘는 확률이 어떻게 작아지는지를 설명합니다.

작은 이항 모형으로 정확한 꼬리 구하기

양의 부호 개수 K는 Binomial(n,.5)이고 평균은 2K/n−1입니다. 따라서 가능한 평균과 확률을 전부 표로 계산할 수 있습니다. 여기서 그림은 난수 표본의 히스토그램이 아니라 정확한 표집 질량입니다.

n=16,t=.5이면 |2K/16−1|≥.5이므로 K≤4 또는 K≥12를 합합니다. 확률은 5034/65536≈.076812입니다. 문턱의 등호를 포함하므로 K=4,12도 들어갑니다. t=0이면 모든 가능한 평균이 사건에 포함되어 확률은 1입니다.

분산만 사용하는 상계

Chebyshev 부등식은 t>0에서 P(|X̄|≥t)≤1/(nt²)를 줍니다. 기본 예제에서는 .25입니다. 실제 확률 .0768보다 느슨하지만 분포의 세부 모양 없이 평균과 분산으로 계산합니다. 확률은 1 이하이므로 표시할 때 1과의 최솟값을 사용합니다.

독립과 유계성을 사용하는 상계

독립이고 Xᵢ∈[−1,1]이면 Hoeffding은 2exp(−nt²/2)를 줍니다. n=16,t=.5에서는 약 .27067로, 이 설정에서는 Chebyshev보다도 큽니다. 특정 유한 설정에서 어느 상계가 더 좋은지와 n이 커질 때 지수적 감소율을 갖는다는 사실은 다른 질문입니다.

실습과 AI 연결

파랑은 전체 평균 분포, 주황은 선택한 꼬리 사건입니다. 표본 수를 늘리되 문턱을 고정하고 수치와 상계를 비교하세요. 독립 샘플의 평균 손실·측정 잡음·미니배치 추정과 연결되는 직관이지만, 의존한 데이터나 반복 사용한 동일 표본에도 같은 식을 자동 적용하면 안 됩니다. 추정량의 무작위성, 독립 단위와 편차 사건을 먼저 정의해야 합니다.

확인 문제와 해설

1. n을 두 배로 하면 평균의 분산은? 절반입니다.
2. 상계가 실제 확률과 같아야 하나요? 아니요. 보수적인 상한일 수 있습니다.
3. t=0에서 사건을 빼고 계산해도 되나요? 아니요. ≥를 사용하는 포함 사건입니다.

추가 읽기: Vershynin, High-Dimensional Probability — publisher’s page.