Gaussian 잡음·분석적 δ·언더플로

같은 민감도라도 잡음 분포를 다시 분석한다

Laplace 단원과 같은 공개된 고정 n, 입력 경계 [0,B], 한 레코드 교체 인접성을 유지합니다. 합·평균·고정 조건 개수·상수의 민감도는 각각 B,B/n,1,0입니다. 전역 상계와 이를 달성하는 이웃의 증명은 그대로이며 여기서는 더하는 잡음의 분포를 바꿉니다.

M(D)=f(D)+Z에서 Z는 평균 0, 분산 σ²인 정규 잡음입니다. σ는 출력 단위의 표준편차이며 분산 자체도 Laplace의 scale b도 아닙니다. 같은 숫자일 때 Gaussian MSE는 σ²이고 Laplace MSE는 2b²입니다. 이 오차 비교만으로 두 메커니즘의 프라이버시가 같다고 결론 내릴 수 없습니다.

밀도 그림은 기준 중심을 0으로 평행 이동한 전역 최악 이웃을 보여 줍니다. 따로 조회한 이웃의 차이가 더 작으면 그 한 쌍의 보호 문제가 쉬워질 뿐, 전체 입력의 민감도를 바꾸지는 않습니다.

로그 우도비를 직접 전개한다

두 이웃의 질의 중심이 0,d>0이고 표준편차가 같으면 밀도는

$$p(y)=\frac{e^{-y^2/(2\sigma^2)}}{\sigma\sqrt{2\pi}},\qquad q(y)=\frac{e^{-(y-d)^2/(2\sigma^2)}}{\sigma\sqrt{2\pi}}$$

입니다. 로그를 취하고 제곱을 전개하면

$$L(y)=\log\frac{p(y)}{q(y)}=\frac{d^2-2dy}{2\sigma^2}$$

를 얻습니다. y가 음의 무한대로 가면 이 일차식은 제한 없이 커집니다. 따라서 양의 민감도를 달성하는 이웃과 유한한 σ에서는 어떤 유한한 순수 ε도 충분하지 않습니다. 유한 그림 창에 그 꼬리가 보이지 않는다고 실제 분포의 꼬리가 사라지는 것은 아닙니다.

이 결론은 자르지 않은 전체 Gaussian 출력에 관한 것입니다. 출력을 제한하거나 반올림한 메커니즘은 그 변경을 포함해 따로 분석해야 합니다. 정규 밀도가 그림 바깥에서 0이라고 가정하는 방식으로 대체할 수 없습니다.

최악 사건은 하나의 반직선이다

주장 ε≥0에 대해 밀도 차이 p−e^εq가 양수인 곳은 L(y)>ε인 곳입니다. 부등식을 풀면

$$y<t,\qquad t=\frac d2-\frac{\epsilon\sigma^2}{d}$$

입니다. 임의의 사건에 음의 밀도 차이를 더해도 최대값이 커지지 않으므로 이 반직선 전체의 적분이 모든 사건 중 최대를 달성합니다. 두 누적 분포를 적분하면

$$\delta_d(\epsilon)= \Phi\left(\frac d{2\sigma}-\frac{\epsilon\sigma}{d}\right) -e^\epsilon\Phi\left(-\frac d{2\sigma}-\frac{\epsilon\sigma}{d}\right)$$

입니다. Φ는 표준 정규 누적 분포입니다. 반대 방향은 좌우 반사로 같은 값을 가집니다. 이 식은 프라이버시 손실이 ε보다 클 확률 하나가 아니라 두 사건 확률의 가중 차이라는 점도 확인하세요.

Balle·Wang의 정리 8은 전역 L2 민감도를 사용하는 분석적 Gaussian 조건을 제시합니다. 위의 스칼라 유도는 이 실습에서 두 누적 확률이 나오는 이유를 직접 보여 줍니다. 고전적인 충분 잡음 상계를 그 상계의 ε 적용 범위 밖에 무조건 사용하지 않습니다.

전역 민감도를 대입해도 되는 이유

h=d/σ라고 두면 두 누적 분포의 인수는 a=h/2−ε/h와 c=−h/2−ε/h입니다. 표준 정규 밀도 φ는 φ(a)=e^εφ(c)를 만족합니다. h에 대해 미분할 때 ε/h² 항들이 상쇄되어

$$\frac{d\delta_h(\epsilon)}{dh}=\phi(h/2-\epsilon/h)>0$$

를 얻습니다. 따라서 이웃 차이가 커질수록 필요한 δ가 커집니다. 이 실습의 질의들은 d=Δ를 달성하는 이웃이 있으므로 Δ를 대입한 값이 전역의 정확한 프로필입니다. Δ=0은 분모에 넣지 않고 두 분포가 같아 δ=0인 경우로 따로 처리합니다.

d>0, 유한 σ와 유한 ε에서는 반직선 안의 어떤 구간에서 밀도 차이가 엄격히 양수입니다. 그 적분도 엄격히 양수입니다. 아주 작다는 것과 수학적으로 0이라는 것은 다릅니다.

첫 안내 예제를 손으로 계산한다

n=4,B=1인 합은 Δ=1입니다. σ=1, ε=1이면 최악 사건 경계는 −0.5이므로

$$\delta_* = \Phi(-0.5)-e\Phi(-1.5)\approx0.1269367375$$

입니다. δ=0.13 주장은 통과하지만 δ=0.126은 실패합니다. 잡음의 MSE는 1입니다. 이 경우에도 유한한 순수 ε는 없습니다. 근사 보장은 양의 사건 차이를 허용하는 별개의 주장입니다.

δ를 특정 개인이 드러날 확률이나 무시해도 되는 사람의 비율이라고 해석하지 마세요. 정의한 두 이웃 출력 분포에서 최대가 되는 가중 사건 차이입니다.

평균은 손실을 줄여도 순수 보장으로 만들지 않는다

둘째 예제는 n=4,B=1,σ=1,ε=1을 유지하고 평균을 공개합니다. 민감도는 0.25가 됩니다. 누적 분포의 두 인수는 −3.875와 −4.125이며 필요 δ는 약 2.9242721×10⁻⁶입니다.

같은 수치의 잡음에서 합보다 훨씬 작지만 여전히 양수입니다. 따라서 δ=0은 실패합니다. 평균의 잡음은 평균 단위이고, 공개 평균을 4배 하여 합 단위로 바꾸면 표준편차도 4배입니다. 단위를 무시하고 MSE의 숫자만 비교하면 오해하게 됩니다.

고정 크기 교체 모형에서 n을 늘리면 평균 민감도가 줄어듭니다. 그렇다고 행 추가·삭제 모형의 변하는 분모까지 같은 공식으로 처리할 수는 없습니다.

언더플로는 수치 표현의 사건이다

셋째 예제는 Δ=1/32인 평균, σ=10, ε=10입니다. 필요한 꼬리 확률은 일반적인 배정밀도 숫자 표현 범위보다 작습니다. 그림의 δ는 숫자 0으로 언더플로하지만 log10δ는 약 −2223595.4904로 유한합니다.

실습은 수학적으로 양수라는 사실, 일반 확률이 언더플로했다는 사실, 로그 확률이 유한하다는 사실을 별도로 유지합니다. 양의 민감도에서 δ=0 주장은 표시 숫자가 0이어도 실패합니다. 양의 δ는 로그 값끼리 비교합니다.

언더플로 이전에도 거의 같은 두 꼬리 확률을 빼면 유효 숫자를 잃을 수 있습니다. 소수 셋째 자리에서 0처럼 보이는 것도 0의 증명이 아닙니다. 최악 사건 경계가 그림 창보다 훨씬 왼쪽일 때는 창 밖에 있다는 문구도 표시합니다.

작은 두 확률을 직접 빼지 않고 계산한다

a와 c가 큰 음수일 때 Gaussian Mills 비율 R(z)=Φ(−z)/φ(z)를 사용합니다. φ(a)=e^εφ(c)이므로 a≤−1인 영역에서

$$\delta=\phi(a)\bigl(R(-a)-R(-c)\bigr)$$

로 바꿀 수 있습니다. 구현은 두 연분수의 차이를 함께 갱신하고 결과를 로그로 유지합니다. 중심 구간은 누적 분포의 급수를 사용합니다. 관련 연분수 항등식은 NIST DLMF 7.9에 정리되어 있습니다. 교육용 구현은 100자리 정밀도로 별도 계산한 180개 기준값과 대조합니다.

이는 분석식의 부동소수점 평가이지 정확한 유리수 인증이 아닙니다. 기계 난수 생성기가 이상적인 실수 정규 분포를 구현한다는 보장도 아닙니다. 전체 사건의 수학적 근거는 분포 증명이며 수치 검사는 수업에 쓰는 제한된 구현을 확인합니다.

오차와 보정의 단위를 확인한다

잡음은 제한된 질의 주변에서 평균 0이며

$$\mathbb E[Z^2]=\sigma^2,\qquad \mathbb E|Z|=\sigma\sqrt{2/\pi}$$

입니다. σ=1의 평균 절대 오차는 약 0.79788456입니다. 약 95%의 잡음은 1.96 표준편차 안에 있지만 이 정확도 설명의 5%가 DP의 δ는 아닙니다. 오차 확률과 가중 사건 차이를 나누어 계산해야 합니다.

원하는 양의 근사 예산이 주어지면 단조적인 분석식을 이용하여 σ를 찾을 수 있습니다. 이 실습은 σ를 직접 조절하면서 전체 관계를 비교하며 최적 보정 solver를 구현했다고 주장하지 않습니다. σ를 키우면 d/σ가 작아져 고정한 ε에서 필요한 δ가 작아집니다.

상수 질의는 잡음 없이도 공개할 수 있습니다. 실습은 선택한 양의 σ를 유지하여 두 같은 밀도와 민감도 0을 보여 줍니다. 이때의 MSE는 실습이 의도적으로 넣은 추가 오차입니다.

세 그림을 함께 읽는다

밀도 패널은 전역 극단 이웃을, 인증 패널은 별도 조회 이웃·전역 민감도·근삿값·주장·오차를 보여 줍니다. 마지막 곡선은 ε와 필요한 전역 δ의 관계이며 주황 선은 주장한 δ입니다. 가로축은 이전 유한 채널의 α=e^ε가 아니라 ε 자체입니다.

밀도 높이는 출력 단위의 역수이며 1을 넘을 수도 있습니다. 유한 창의 곡선은 꼬리를 시각적으로 생략하지만 분석식은 실수 전체를 다룹니다. 공개 입력 제한과 잡음 출력의 후처리 제한도 다른 연산입니다. 이 실습은 출력 실숫값을 자르지 않습니다.

연습 문제와 해설

1. Δ=1,σ=1,ε=0의 필요 δ는? 2Φ(0.5)−1≈0.3829249225입니다.
2. 유한 σ가 왜 비상수 질의의 순수 DP를 주지 못하나요? 로그 우도비가 꼬리에서 제한 없이 커져 모든 유한 ε에 대해 양의 위반 사건이 생깁니다.
3. δ 숫자가 0이고 양수 플래그가 1이면 순수 보장을 주장할 수 있나요? 아닙니다. 언더플로 여부와 로그 확률을 확인해야 합니다.
4. 고정 n을 두 배로 하면 평균 민감도는? 절반이 됩니다. 같은 σ에서 신호 대 잡음 비율이 줄지만 단위가 자동 변환되는 것은 아닙니다.
5. 첫 예제에서 δ=0.126과 0.13 중 무엇이 통과하나요? 필요량이 약 0.12693674이므로 전자는 실패하고 후자는 통과합니다.
6. 벡터의 등방 Gaussian 공개에는 어떤 민감도가 필요한가요? 전체 공개 벡터의 전역 L2 민감도입니다. 한 좌표의 스칼라 상계를 전체 벡터에 그대로 사용할 수 없습니다.

연구로 연결한다

비공개 반복 최적화는 clipping, 표본 추출, 잡음, 공개하는 갱신과 구성을 함께 명시해야 합니다. 이 단원은 투명한 한 단계 Gaussian 분석을 제공하며 정규 잡음을 사용하는 임의의 학습 반복 전체를 인증하지는 않습니다. 다음 범위 주제에서는 공개값을 본 관찰자의 추론과 우도비가 사후 증거를 제한하는 방식을 다룹니다.