Sub-Gaussian 변수와 꼬리 경계

분산보다 강한 MGF 조건

이 단원은 중심화된 X에 대해 log E exp(λX)≤σ²λ²/2가 모든 실수 λ에서 성립하는 것을 sub-Gaussian 조건으로 사용합니다. σ²는 분산 proxy이며 정의에 따라 상수 관례가 다를 수 있습니다. 이 조건은 실제 분산을 제어하지만 유한 분산만으로 역방향이 성립하지는 않습니다.

같은 분산인 두 분포 비교

첫 분포는 ±σ에 질량 1/2씩을 주고 두 번째는 N(0,σ²)입니다. 둘 다 실제 분산 σ²이며 위 proxy를 사용할 수 있습니다. 부호 분포의 MGF는 cosh(σλ), 정규 분포는 exp(σ²λ²/2)입니다. 로그를 취하면 파랑 곡선이 주황 이차곡선 아래에 놓입니다.

σ=1,λ=1이면 log cosh(1)≈.43378이고 정규 값은 .5입니다. λ=0에서는 두 값이 정확히 0입니다. 그래프가 보여주는 λ 범위는 [−3,3]이지만 정의의 조건은 이 유한 그림 범위가 아니라 모든 실수 λ에 대한 것입니다.

Chernoff 논증으로 꼬리 얻기

λ>0에서 Markov 부등식을 exp(λX)에 적용하고 λ=t/σ²로 최적화하면 한쪽 꼬리 exp(−t²/(2σ²))를 얻습니다. −X에도 적용해 두 꼬리를 합하면 다음 상계입니다.

같은 상계가 같은 실제 꼬리는 아니다

σ=1,t=2이면 부호 분포는 가능한 값이 ±1뿐이라 꼬리가 0입니다. 정규 분포는 약 .0455이고 공통 상계는 약 .27067입니다. 반면 t=σ에서는 등호를 포함하므로 부호 분포의 양쪽 원자가 모두 들어가 확률 1입니다. 연속 정규의 꼬리와 원자 분포의 포함 사건을 구분하세요.

한계와 연구에서의 사용

Laplace 분포처럼 분산은 유한하지만 MGF가 모든 실수에서 존재하지 않는 분포도 있습니다. 따라서 분산 추정값만 보고 sub-Gaussian을 선언할 수 없습니다. 데이터·잡음에 이 조건을 사용할 때는 중심화, 척도와 독립성 등 이후 합의 정리에 필요한 가정을 명시해야 합니다. 정규 꼬리 수치는 CDF의 수치 근사이며 그래프는 특정 seed의 실험이 아닙니다.

확인 문제와 해설

1. σ²는 반드시 유일한 최적 상수인가요? 아니요. 유효한 proxy를 사용할 수 있습니다.
2. 분산이 유한하면 이 조건이 자동 성립하나요? 아니요. 전체 MGF 제어가 더 강합니다.
3. 원자에 같은 문턱의 포함 꼬리는? 두 원자를 모두 포함해 1입니다.

추가 읽기: Vershynin, High-Dimensional Probability — publisher’s page.