정보 누출·사후 오즈·드문 공개

프라이버시가 모든 예측을 부정확하게 만드는 것은 아니다

관찰자가 공개 전부터 어떤 가설의 확률을 0.99라고 생각한다고 합시다. 그 가설을 계속 선택하면 이미 기대 정확도는 99%입니다. 비밀과 완전히 독립적인 출력을 추가로 보더라도 사전 지식이 지워지지는 않습니다. 높은 정확도가 유지되지만 새 증거는 없을 수 있습니다.

Dwork·Roth 교재 2.2–2.3절은 유용한 비공개 분석이 모든 학습을 금지하는 것은 아니라고 설명합니다. 이 단원은 더 한정된 질문을 명확히 계산합니다. 명시한 두 가설 사이에서 어떤 증거가 추가되고, 순수 DP의 우도비 상계가 언제 그 증거를 제한할까요?

채널의 조건부 출력 분포, 관찰자의 사전 확률, 한 관측 뒤의 사후 확률, 평균 추론 성능을 구분하겠습니다. 이 네 대상을 서로 대신 사용하면 프라이버시 해석이 어긋납니다.

상계를 적용하기 전에 가설을 정한다

가설 H는 0 또는 1이고 π=Pr(H₁)입니다. 모드 0의 D₀는 n개 값이 모두 0이고 D₁은 첫 값만 1입니다. 한 레코드 교체 이웃입니다. 각 사람은 확률 p로 실제 비트를 보고하고 나머지 확률로 뒤집습니다. 공개값은 보고된 1의 총개수 Y입니다.

모드 1은 모두 0인 데이터와 모두 1인 데이터를 비교합니다. n>1이면 한 레코드 이웃이 아니고 n개 값이 다릅니다. 완전히 상관된 집단 가설을 나타낼 수 있습니다. 메커니즘의 개인별 보장은 같지만 두 끝점의 가설 비교에는 집단 상계가 필요합니다.

모드 2는 다른 단일 비트 메커니즘입니다. 확률 1−q로 ⊥를, 확률 q로 실제 비트를 공개합니다. 코드 0은 ⊥, 코드 1은 비트 0, 코드 2는 비트 1입니다. 이 모드에서는 n과 p를 사용하지 않으며 다른 두 모드에서는 q를 사용하지 않습니다.

사전 확률은 이 두 고정 가설을 가중하는 관찰자 모형입니다. 사전 확률을 바꾼다고 각 가설 아래의 채널 분포가 바뀌지는 않습니다.

가능한 관측에서만 Bayes 갱신한다

P₀(y)=Pr(Y=y|H₀), P₁(y)=Pr(Y=y|H₁)라고 쓰면 출력의 혼합 분포는

$$m(y)=(1-\pi)P_0(y)+\pi P_1(y)$$

입니다. m(y)>0일 때에만

$$\pi_y=\Pr(H_1\mid Y=y)=\frac{\pi P_1(y)}{(1-\pi)P_0(y)+\pi P_1(y)}$$

를 사용합니다. m(y)=0인 관측의 사후 확률은 이 모형에서 미정입니다. 0, 1/2, 사전 확률 중 하나로 임의 대체하지 않습니다. 그림의 × 표시는 그런 관측을 뜻합니다.

사전 확률이 0 또는 1인 경계도 주의하세요. π=0인데 H₁에서만 가능한 출력을 선택하면 대안 채널의 우도는 양수여도 현재 사전 아래의 관측 확률은 0입니다. 주어진 모형과 모순되는 관측이지 정상적인 조건부 갱신이 아닙니다. 실제 연구에서는 가정을 수정해야 할 수 있지만 실습은 분모가 0인 식에 임의의 답을 넣지 않습니다.

오즈는 사전 믿음과 새 증거를 분리한다

내부 사전 확률과 양의 우도에서는

$$\frac{\pi_y}{1-\pi_y} =\frac{\pi}{1-\pi}\frac{P_1(y)}{P_0(y)}$$

입니다. 마지막 비율은 H₁을 지지하는 Bayes 인자입니다. 1이면 갱신이 없고 3이면 확률에 3을 더하는 것이 아니라 오즈를 3배 합니다.

P₀=0<P₁이면 인자가 무한대이며 가능한 내부 사전에서는 사후 확률이 1입니다. P₁=0<P₀이면 인자가 0이고 사후 확률은 0입니다. 두 우도가 모두 0인 0/0은 미정입니다. 이 우도 상태와 사전 때문에 관측이 불가능한 상태도 다르므로 각각 표시합니다.

π=1의 사전 오즈는 무한대입니다. 경계에서 0×∞ 같은 식을 갱신 규칙으로 쓰면 안 됩니다. 혼합 분포의 직접 Bayes 식이 기본이고, 오즈 식은 연산이 정의되는 영역의 동치 표현입니다.

순수 보장에서 사후 구간을 유도한다

실제 비교 중인 두 가설 분포에 유한한 순수 상계 α=e^ε가 있으면 양의 우도에 대해

$$\alpha^{-1}\le P_1(y)/P_0(y)\le\alpha$$

입니다. 양방향 순수 DP는 한쪽만 양수인 출력을 허용하지 않습니다. 이 비율을 사전 오즈에 곱하고 확률로 되돌리면

$$\frac{\pi}{\pi+(1-\pi)\alpha} \le\pi_y\le \frac{\pi\alpha}{1-\pi+\pi\alpha}$$

입니다. 이는 명시한 두 가설의 경계입니다. 임의의 인구 사전에서 모든 민감 속성의 사후 확률이 바뀌지 않는다는 일반 명제가 아닙니다. 프라이버시 정리의 데이터 관계가 실제 가설 비교와 맞아야 합니다.

이웃 무작위 응답 개수 분포에서는 p<1일 때 α=p/(1−p)입니다. 다른 독립 보고를 합쳐도 비율이 이 상계를 넘지 않으며 극단 개수 출력이 상계를 달성합니다. p=1/2이면 분포가 같아 α=1이고 사후가 사전과 같습니다. p=1이면 두 관련 개수가 결정적으로 달라져 유한한 순수 상계가 없습니다.

균형 사전 안내 예제를 계산한다

첫 예제는 n=1,p=3/4,π=1/2에서 출력 1을 선택합니다. 우도는 P₀(1)=1/4,P₁(1)=3/4이고 혼합 확률은 1/2입니다. Bayes 인자 3이 사전 오즈 1을 사후 오즈 3으로 바꾸므로 사후 확률은 3/4입니다.

순수 ε는 자연로그 단위 ln3입니다. 균형 사전의 사후 구간은 [1/4,3/4]이고 선택 출력은 위쪽 끝을 달성합니다. 출력 0은 사후 확률 1/4로 아래쪽 끝을 달성합니다.

공개 전 최적 판단의 평균 오류율은 1/2입니다. 출력마다 더 가능성 높은 가설을 선택하면 평균 오류율은 1/4로 줄어듭니다. 이는 혼합 분포에 대한 평균이며 특정 관측의 예측이 언제나 맞는다는 주장은 아닙니다.

강한 사전과 새 정보 0을 구분한다

둘째 예제는 n=4,p=1/2,π=0.99입니다. 두 채널 분포가 같은 Binomial(4,1/2)이므로 모든 가능한 출력에서 Bayes 인자는 1이고 사후 확률은 0.99 그대로입니다.

공개 전후의 최적 정확도는 모두 0.99이며 가설에 관한 추가 정보는 0입니다. 사전 지식이 없어지지는 않았지만 증거가 더해지지도 않았습니다.

반대로 공격 정확도가 낮다는 사실 하나가 DP를 증명하지도 않습니다. 공격이 약하거나 사전·데이터가 특정 상황에 한정되었을 수 있습니다. DP는 이 관찰자 하나와 무관하게 모든 인접 입력과 출력 사건을 다룹니다.

집단 가설은 비교 거리가 다르다

n=6,p=3/4에서 모두 0과 모두 1을 비교하고 1이 여섯 번 보고된 출력을 선택하세요. 우도는 각각 (1/4)⁶과 (3/4)⁶으로 Bayes 인자는 3⁶=729입니다. 균형 사전의 사후 확률은 729/730≈0.998630입니다.

개인 한 명의 순수 ε는 여전히 ln3입니다. 그러나 두 가설은 여섯 레코드가 다릅니다. 한 번에 한 레코드씩 바꾸는 중간 데이터들을 넣고 순수 확률 상계를 곱하면 끝점 비율의 상계는 e^(6ln3)=729입니다. 집단 사후 구간은 이 강한 증거를 허용합니다.

이를 한 레코드 보장의 위반이라고 부르면 입력 관계를 잘못 적용한 것입니다. 작은 개인별 ε가 모든 인구 패턴까지 숨기겠다는 뜻도 아닙니다. 이 예제는 상관된 집단 가설을 명시한 비교이며 보조 정보가 있을 때 DP가 무효가 된다는 주장이 아닙니다.

드문 공개는 근사 보장과 관측별 확정을 분리한다

모드 2의 출력 순서가 (⊥,비트 0,비트 1)이면

$$P_0=(1-q,q,0),\qquad P_1=(1-q,0,q)$$

입니다. ε=0에서 각 방향의 최대 사건 차이는 q이므로 정확히 (0,q)-DP입니다. q>0이면 공개 기호는 반대 가설에서 확률 0이므로 유한한 순수 ε는 없습니다.

셋째 예제는 q=0.01과 균형 사전입니다. 출력 코드 2의 혼합 확률은 0.005이고 사후 확률은 1이며 Bayes 인자는 무한대입니다. 관측은 드물지만 관측된 뒤의 증거는 확정적입니다. 따라서 순수 사후 구간은 적용할 수 없다고 표시합니다.

이렇게 구성한 채널에서 공개 기호의 총확률이 q인 것은 맞습니다. 그러나 임의의 근사 DP 메커니즘에서 δ가 항상 개인정보 공개 확률이라는 일반 해석은 아닙니다. 근사 DP는 가중 사건 차이를 제한하며 순수 DP와 같은 유한한 관측별 오즈 상계를 주지는 않습니다.

평균 사후는 보존되어도 정보는 늘 수 있다

Bayes 식을 대입하면

$$\sum_{y:m(y)>0}m(y)\pi_y=\sum_y\pi P_1(y)=\pi$$

입니다. 출력 혼합 확률로 가중한 사후 평균은 사전과 같습니다. 그러나 어떤 출력에서는 위로, 다른 출력에서는 아래로 움직일 수 있으므로 정보가 없다는 뜻이 아닙니다. 출력 코드들을 같은 가중치로 단순 평균하면 일반적으로 틀립니다.

0-1 손실의 최적 공개 후 오류율은

$$R_Y=\sum_y\min\{(1-\pi)P_0(y),\pi P_1(y)\},\qquad R_{\rm prior}=\min\{1-\pi,\pi\}$$

입니다. 관찰자는 출력을 무시할 수도 있으므로 최적 평균 오류는 나빠질 수 없습니다. 동률에서 임의로 한 가설을 강제하지 않아도 이 위험을 계산할 수 있습니다.

이진 엔트로피 h(u)=−u log₂u−(1−u)log₂(1−u), h(0)=h(1)=0으로 두면

$$I(H;Y)=h(\pi)-\sum_y m(y)h(\pi_y)$$

입니다. 단위는 비트이고 ε의 자연로그 단위와 다릅니다. 이 값은 사전에 의존하므로 사전과 무관한 DP 보장을 대체하지 않습니다.

예제의 정보량과 평균 위험을 구한다

첫 예제에서는 사후 1/4과 3/4가 같은 가중치를 갖습니다. 정보량은 1−h(3/4)≈0.1887218755비트입니다. 입력 독립인 둘째 예제에서는 0입니다.

드문 공개에서는 ⊥가 사전 엔트로피를 유지하고 실제 비트 기호가 엔트로피를 0으로 만듭니다. 따라서 정보량은 qh(π)입니다. 균형 사전과 q=0.01이면 0.01비트이지만 선택한 공개 기호는 비밀을 확정합니다. Bayes 오류는 (1−q)min(π,1−π)이므로 0.5에서 0.495로 줄어듭니다.

사전이 이미 확정적이면 완전히 공개하는 메커니즘도 그 관찰자에 대한 엔트로피와 상호 정보량이 0일 수 있습니다. 선택한 사전 아래 정보량이 작다는 사실로 메커니즘 전체의 프라이버시를 인증할 수 없습니다.

그림·미정 값·정확한 분수를 읽는다

첫 그림은 두 채널 분포와 선택 출력을, 둘째는 출력별 사후와 주황 사전 선을 보여 줍니다. 불가능한 관측은 0 막대가 아니라 ×입니다. 표의 혼합 확률을 함께 읽어야 평균 오류와 정보량을 계산할 수 있습니다.

마지막 그림은 선택한 출력의 우도를 고정하고 사전 확률을 바꿉니다. 파란 곡선은 관측이 가능한 사전에서만 존재하고 주황 선은 믿음이 그대로인 경우입니다. 빈 끝점은 그 경계 사전에서 갱신이 미정임을 뜻합니다. 두 우도가 모두 0이면 파란 곡선이 아예 없으며 0 선으로 바꾸지 않습니다.

정해진 작은 모형에서는 출력 가중치와 사전 가중 곱이 안전한 정수 범위에 있습니다. 선택 사후는 약분한 정확한 분수로도 표시합니다. 로그·엔트로피·소수 표시·그림은 근삿값입니다. 사후 오즈는 1에서 반올림된 사후를 빼지 않고 정수 결합 가중치에서 직접 계산하여 손실을 줄입니다.

연습 문제와 해설

1. 사전 0.2에 Bayes 인자 3이면 사후 확률은? 사전 오즈 1/4가 3/4가 되므로 사후는 3/7입니다. 0.6이 아닙니다.
2. 균형 사전과 순수 α=3의 사후 구간은? [1/4,3/4]입니다. 실제 인접 쌍에서 사후 0.99가 나오면 이 상계와 모순입니다.
3. 집단 예제의 729/730이 왜 허용되나요? 두 데이터가 여섯 레코드만큼 달라 집단 α가 729이기 때문입니다.
4. q=0.01의 ⊥를 보면 사후가 0.99인가요? 아닙니다. 두 ⊥ 우도가 모두 0.99라 인자는 1이고 균형 사전 0.5를 유지합니다.
5. q=0에서 공개 기호를 선택하면? 혼합 확률이 0이라 사후는 미정입니다.
6. 평균 사후가 사전과 같으면 정보량이 0인가요? 아닙니다. 첫 예제의 평균은 0.5지만 정보량은 양수이고 평균 오류도 줄어듭니다.
7. 근사 DP에서 왜 순수 사후 구간을 쓰면 안 되나요? 드문 채널은 (0,q)-DP이지만 가능한 공개 기호의 우도비가 무한대인 반례입니다.

연구에 연결한다

회원 포함 여부·속성·집단 패턴의 추론은 서로 다른 가설 질문입니다. 경험적 공격의 성능은 유용한 증거일 수 있지만 사전·기준 성능·실제 공개 대상을 함께 해석해야 합니다. 이 단원은 명시된 관찰자와 정확한 유한 예제를 제공하며 공격 실패를 프라이버시 증명과 같다고 하거나 모든 사후 변화를 DP 위반이라고 부르지 않습니다.

다음은 fairness 지표와 식별 조건입니다. 평가 자료에서 관측 가능한 수치와 모집단·개입에 관한 더 강한 주장 사이를 나누어 분석합니다.