본문으로 건너뛰기
139 / HIGH-DIMENSIONAL LAB
먼저 알아두면 좋아요 · 연결된 선수 절의 독립 확률·꼬리 사건·선형대수·미적분
단원 목록 (600) · Hoeffding·Bernstein과 분산 정보
이해하는 속도로 읽으세요.개념도이론실험확인 문제
BUILD YOUR INTUITION

먼저 그림으로 이해하기

한 번에 한 단계씩 살펴보세요.

같은 Bernoulli 표본에서 범위 기반 상계와 분산 민감 상계를 비교합니다.

n=30 independent Bernoulli(0.1) variables, centered bound M=0.9; exact inclusive two-sided mean deviation, Hoeffding and variance-sensitive Bernstein. Degenerate p=0 or 1 is handled as a constant.

011.050
가로: 평균 편차 문턱 · 파랑: Hoeffding 상계 · 주황: Bernstein 상계 · 정확한 꼬리는 표
deviation thresholdexact tailHoeffding boundBernstein bound
0111
0.050.35911
0.10.11610.573
0.20.0020.1810.037
0.43.559e-81.355e-42.176e-5

single-observation variance = 0.09

고정 기준 예제의 그림과 수치입니다. 각 단계에서 같은 그림의 의미를 차례로 살펴보세요. 고정된 기준 예제이며 아래 실험의 설정과 독립적입니다.
1 / 4

중심화

평균이 0이고 분산은 p(1−p)입니다.

Zi=Xi−p

실험에서 확인하기 →
이 단원 목차

범위만 볼까, 분산도 볼까

독립 Bernoulli(p) 변수 n개의 평균이 p에서 얼마나 벗어날지 비교합니다. Hoeffding은 각 관측의 범위 [0,1]을 쓰고 Bernstein은 중심화한 변수의 분산과 절대 상계도 씁니다. 같은 이름의 부등식에도 상수·한쪽/양쪽·합/평균 관례가 다르므로 여기서 사용하는 식을 명시합니다.

P(∣Xˉ−p∣≥t)≤min⁡(1,2e−2nt2).P(|\bar X-p|\geq t)\leq\min(1,2e^{-2nt^2}).

Bernstein 식의 가정과 단위

Zᵢ=Xᵢ−p의 분산 v=p(1−p), 절대 상계 M=max(p,1−p)를 사용합니다. 0<p<1이고 t>0일 때 다음 양측 Bernstein 상계를 씁니다. 분모의 v와 Mt는 같은 제곱 단위를 갖습니다.

P(∣Xˉ−p∣≥t)≤min⁡ ⁣(1,2exp⁡[−nt22(v+Mt/3)]).P(|\bar X-p|\geq t)\leq\min\!\left(1,2\exp\left[-\frac{nt^2}{2(v+Mt/3)}\right]\right).

p=0 또는 1은 상수 변수이므로 양의 편차 꼬리가 정확히 0입니다. 이 경우 실제 중심화 상계 M=0을 사용해 따로 처리합니다. t=0의 포함 사건은 항상 확률 1입니다.

작은 분산의 예제

n=30,p=.1,t=.2이면 v=.09,M=.9입니다. Hoeffding은 약 .18144, Bernstein은 2exp(−4)≈.03663입니다. 정확한 사건은 K/30이 .1에서 .2 이상 떨어지는 경우이므로 K≥9인 이항 질량을 합합니다. K=9가 경계에 포함됩니다. 표의 정확한 꼬리를 상계 자체와 혼동하지 마세요.

언제나 같은 상계가 이기지는 않는다

p=.5에서는 v=.25,M=.5입니다. 같은 n,t에서 Bernstein이 Hoeffding보다 커질 수 있습니다. 분산에 민감하다는 말이 모든 설정에서 더 날카롭다는 뜻은 아닙니다. 기본적으로 상계는 확률 이하가 아니라 이상이어야 하며, 1보다 크면 자명한 확률 상한 1로 대체합니다.

파랑·주황 곡선은 편차 t에 대한 두 상계이고 정확한 꼬리는 표와 수치에 있습니다. 실제 이항 꼬리는 격자 사건이 바뀔 때 계단식으로 변하지만 상계 곡선은 매끄럽습니다.

실험 평균에 적용할 때

독립성, 실제 유계성, 중심화와 분산 정보를 먼저 확인하세요. 표본에서 관측한 최댓값만으로 모집단 전체의 상계를 증명한 것은 아닙니다. 데이터가 의존하거나 분산·범위 추정까지 함께 불확실하다면 다른 정리와 추가 확률 수준이 필요합니다. 이 실습은 알려진 Bernoulli 모형의 정확한 분포와 경계를 비교합니다.

확인 문제와 해설

  1. Bernstein의 v는 평균의 분산인가요? 여기서는 한 관측의 분산입니다. n은 식에 별도로 들어갑니다.
  2. 두 곡선은 실제 꼬리인가요? 아니요. 확률 상계입니다.
  3. p=0에서 양의 문턱을 넘을 수 있나요? 상수 변수이므로 없습니다.

추가 읽기: Vershynin, High-Dimensional Probability — publisher’s page.

CHECK YOUR UNDERSTANDING

설명할 수 있나요?

실험 설정과 무관한 기준 예제를 묻습니다. 답을 고르고 설명을 확인해보세요.

1. Bernstein에 추가로 들어가는 정보는?
2. 상계가 1보다 크면 확률도 1보다 큰가요?

선택한 답과 학습 표시는 이 브라우저에 저장됩니다. 다시 풀거나 표시를 해제할 수 있습니다.