공정성 지표·선택 편향·모집단 식별

두 수치가 같다고 하기 전에 평가 대상을 정한다

지표는 명시된 분포의 함수입니다. 평가 자료에서 두 집단의 비율이 같더라도 실제 결정이 적용되는 모집단에서는 다를 수 있습니다. 비교할 분포가 무엇이고 관측 자료가 어떤 과정을 거쳐 얻어졌는지 먼저 정해야 합니다.

이 단원은 두 집단 G₀,G₁, 이진 목표 Y, 이진 결정 Ŷ를 사용합니다. 집단 정의와 목표 레이블이 수학적 실습에 의미 있게 주어졌다고 가정하지만 혼동행렬 자체가 그 타당성을 증명하지는 않습니다. 목표는 조건부 수치를 계산하고 관측 분포를 모집단으로 옮기는 가정을 구분하는 것입니다.

실습의 숫자는 기대 셀 질량입니다. 모집단 질량 40이 확률 1/2로 포함되면 선택 자료의 기대 질량은 20입니다. 실제 유한 무작위 표본에서 언제나 정확히 20명이 관측된다는 주장은 아닙니다.

혼동행렬의 방향을 고정한다

셀 순서는 TP,FP,FN,TN입니다. 그림의 행은 Y=1,0이고 열은 Ŷ=1,0입니다. 따라서 TP와 TN은 대각선, FN은 오른쪽 위, FP는 왼쪽 아래입니다.

예를 들어 (20,5,5,20)의 총질량은 50입니다. 실제 양성 25, 실제 음성 25, 양성 결정 25, 음성 결정 25가 있습니다. 셀 질량을 어떤 분모로 나누느냐에 따라 다른 확률을 얻습니다.

‘선택’이라는 말의 두 역할도 구분하세요. 지표 0의 선택률은 양성 결정률 Pr(Ŷ=1|G)입니다. 자료에 포함되었는지는 별도 지시변수 S로 나타내고 포함 확률을 q라고 씁니다. 양성 결정을 받는 것과 평가 자료에 들어오는 것은 다른 사건입니다.

일곱 비율의 분자와 분모를 유도한다

총질량 N인 집단에서 양성 결정률과 양성 기저율은

$$\Pr(\widehat Y=1\mid G)=\frac{TP+FP}{N},\qquad \Pr(Y=1\mid G)=\frac{TP+FN}{N}$$

입니다. 조건부 성능 지표는

$$TPR=\frac{TP}{TP+FN},\quad FPR=\frac{FP}{FP+TN},\quad PPV=\frac{TP}{TP+FP},\quad NPV=\frac{TN}{TN+FN}$$

이고 정확도는 (TP+TN)/N입니다. TPR은 실제 양성 중 양성 결정의 비율이고 PPV는 양성 결정 중 실제 양성의 비율입니다. 분자 TP가 같아도 조건을 거꾸로 바꾸면 다른 수치입니다.

(20,5,5,20)의 선택률은 0.5,TPR은 0.8,FPR은 0.2,PPV와 NPV와 정확도는 0.8,양성 기저율은 0.5입니다. 이미 알고 있는 분포의 비율을 계산하는 데 예측 모형을 새로 학습할 필요는 없습니다.

공정성 지표는 서로 다른 조건 사건을 비교한다

Demographic parity는 집단별 양성 결정률을, equal opportunity는 TPR을 비교합니다. 이진 결정의 equalized odds는 TPR과 FPR을 함께 비교하고 predictive parity는 PPV를 비교합니다.

Hardt·Price·Srebro의 2절은 equalized odds를 목표가 주어졌을 때 결정과 집단의 조건부 독립으로 정의하고 equal opportunity는 양성 목표 조건에 제한합니다. 여기서는 그 정의로 격차를 계산하며 하나의 기준을 모든 의미의 공정성 판정으로 사용하지 않습니다.

모든 부호 있는 격차는 G₁−G₀입니다. 두 조건부 비율이 모두 정의되면 equalized-odds 차이는

$$\max\{|TPR_1-TPR_0|,|FPR_1-FPR_0|\}$$

입니다. 값이 0이면 명시된 분포에서 그 두 비율이 같다는 뜻입니다. 인과 공정성·레이블 타당성·다른 모든 지표의 일치를 증명하지는 않습니다. 집단별 양성 기저율이 다르면 equalized odds가 성립해도 전체 정확도가 같을 필요는 없습니다.

분모가 0이면 비율도 0인 것이 아니다

집단에 실제 양성이 없으면 TPR의 조건 사건 질량이 0이므로 미정입니다. 양성 결정이 없으면 PPV가 미정입니다. 이를 0으로 채우면 존재하지 않는 조건부 확률을 만들어 거짓 격차나 거짓 일치를 만들 수 있습니다.

시나리오 4는 이런 경우를 보여 줍니다. 한 집단에는 실제 양성이 없고, 세계에 따라 다른 집단에는 양성 결정이 없거나 실제 음성이 없습니다. ×와 —는 미정 값을 뜻합니다. 필요한 TPR이나 FPR이 미정이면 최대 격차도 0이 아니라 미정입니다.

이것은 미식별과 다릅니다. 완전 관측으로 분포를 알아도 빈 조건 사건의 비율은 정의되지 않을 수 있습니다. 반대로 모집단 비율은 잘 정의되지만 여러 모집단이 같은 관측을 설명해 그 값을 알 수 없는 것이 미식별입니다.

관찰자가 실제로 아는 정보를 명시한다

S=1을 평가 자료에 포함된 사건이라 하면 보통 관측하는 분포는

$$\Pr(Y,\widehat Y\mid G,S=1)$$

이고 목표는 Pr(Y,Ŷ|G)입니다. 두 분포의 일치에는 가정이 필요하며 같은 변수 이름을 사용한다고 같아지는 것은 아닙니다.

시뮬레이터는 예제를 생성하기 위해 모집단 세계와 포함 과정을 알고 있습니다. 관찰자에게는 선택 표와 각 시나리오가 명시하는 선택 정보만 주어집니다. 모집단 화면과 주황 막대는 시뮬레이터 정답이지 관측 표에서 몰래 복원한 추정값이 아닙니다.

예제의 모집단 집단 질량은 각각 100으로 공개되어 있습니다. 집단 크기를 안다는 사실만으로 빠진 셀의 구성이 복원되지는 않는다는 것을 아래 반례에서 확인합니다.

같은 관측을 만드는 두 모집단을 구성한다

세계 A의 두 집단은 모두 (40,10,10,40)입니다. 모든 셀을 확률 1/2로 포함하면 두 선택 기대 표는 (20,5,5,20)이 됩니다. 관측 TPR은 0.8,FPR은 0.2입니다.

세계 B는 G₀를 유지하고 G₁ 모집단을 (20,40,20,20), 셀별 포함 확률을 (1,1/8,1/4,1)로 바꿉니다. 곱하면 다시 (20,5,5,20)입니다. 관찰자가 보는 선택 표는 세계 A와 정확히 같습니다.

그러나 G₁ 모집단 TPR은 20/(20+20)=0.5,FPR은 40/(40+20)=2/3입니다. G₀ 대비 TPR 격차는 −0.3,FPR 격차는 7/15≈0.466667입니다. 양성 결정률은 0.6,PPV는 1/3입니다.

선택 과정을 제한하지 않고 모르는 상태에서 두 세계는 같은 관측과 다른 목표값을 제공합니다. 따라서 선택 표만의 어떤 함수도 두 세계에서 모두 올바른 모집단 답을 낼 수 없습니다. 이는 구성적인 미식별 증명입니다. 같은 선택 분포의 자료를 더 모으면 그 분포를 더 정확히 추정하지만 두 모집단 설명을 구분하지는 못합니다.

알려진 양의 선택 확률은 역가중을 가능하게 한다

모집단 셀 질량 C_gj와 포함 확률 q_gj에 대해 관측 기대 질량은

$$O_{gj}=q_{gj}C_{gj}$$

입니다. 각 관련 셀의 q를 외부에서 알고 모두 양수이면 C=O/q입니다. 세계 B에서 (20,5,5,20)을 (1,1/8,1/4,1)로 나누면 (20,40,20,20)이 복원되고 보정 TPR은 0.5입니다.

이제 주어진 정보가 달라졌습니다. 두 세계의 선택 표는 같지만 알려진 포함 확률 벡터는 다릅니다. 선택 표만으로는 구별되지 않던 세계들이 선택 표와 외부 q가 함께 주어지면 구별됩니다. 이 차이를 무시하면 식별 가정이 계산 도중 몰래 추가됩니다.

이는 기대 분포 수준의 간단한 역가중 항등식입니다. 실제 무작위 표본에서는 가중 셀 추정과 그 비율에도 표집 오차가 있습니다. 추정된 질량의 비율이 모집단 비율의 정확한 불편 추정량이라는 보장도 일반적으로 없습니다.

Kallus·Zhou의 연구는 자료 검열과 목표 모집단의 공정성 차이를 다룹니다. 여기의 수치 세계는 직접 구성한 작은 예제이며 그 논문의 실제 자료 분석이나 모든 정리를 재현했다고 주장하지 않습니다.

알려진 선택 확률 0은 숨은 오류를 복원하지 못한다

시나리오 2는 알려진 포함 확률 (1/2,0,0,1/2)을 사용합니다. 두 집단의 선택 표는 (20,0,0,20)으로, 포함된 사례만 보면 완벽한 예측입니다.

G₁ 모집단 (40,10,10,40)과 대안 (40,15,5,40)을 비교하세요. 둘 다 질량 100이고 같은 알려진 포함 과정으로 같은 선택 표를 만듭니다. 그러나 숨은 FP와 FN 질량이 달라 모집단 TPR과 FPR도 다릅니다.

선택 확률 0으로 나누어 숨은 셀을 복원할 수는 없습니다. 셀을 삭제하고 ‘보정’ 지표를 계산하면 목표가 지지집합이 있는 부분집단으로 바뀝니다. 실습은 대신 보정을 사용할 수 없다고 표시합니다. 선택 표의 TPR=1,FPR=0은 잘 정의되지만 그것이 모집단 값을 식별하지는 않습니다.

집단 내 대표성은 다른 충분 조건이다

알려진 셀별 q만이 유일한 식별 경로는 아닙니다. G를 조건으로 자료 포함 S가 (Y,Ŷ)와 독립이고 각 집단의 포함 확률이 양수라고 가정하면, 집단별 공통 인자가 조건부 비율에서 상쇄됩니다. 따라서 선택 자료와 모집단의 집단 내 셀 비율이 같습니다.

시나리오 3은 이 가정을 구현합니다. 입력 r=1부터 100에 대해 G₀ 포함 확률은 r/100,G₁은 r/200입니다. 표본 크기는 달라도 같은 집단 안의 모든 셀에는 같은 확률이 적용됩니다. 이 경우 집단별 비율을 옮기는 데 정확한 집단 표집 비율을 알 필요는 없습니다.

실습에서는 집단 모집단 질량 100이 공개되어 있으므로 보정 표를 그 값으로 정규화합니다. 비율의 일치 자체에 이 총질량은 필요하지 않습니다. 대표성은 추가 가정이며 관측 지표가 같다는 사실로 입증되지 않습니다. 선택 자료만으로 일반적으로 검증할 수도 없습니다.

r을 바꾸면 기대 표본 질량과 실제 표본에서의 추정 정밀도가 바뀌지만 여기의 기대 조건부 비율은 유지됩니다. 다른 시나리오에서는 r을 사용하지 않는다고 표시합니다.

표의 출처와 비교 그림을 함께 읽는다

표 선택은 관측 자료·모집단 정답·가정 아래 보정을 제공합니다. 보정할 수 없는 경우에는 셀을 0으로 채우지 않고 ?로 표시합니다. 관찰자에게 모집단이 미식별인 경우에도 모집단 정답 화면에는 시뮬레이터 값임을 명시합니다.

비교 패널은 집단별 관측 비율과 모집단 정답을, 마지막 그림은 일곱 지표의 부호 있는 격차를 보여 줍니다. 파랑은 선택 자료이고 주황은 모집단 시뮬레이터입니다. 누락된 점은 미정이지 격차 0이 아닙니다.

식별 가능 표시는 명시한 수학적 조건을 기록하며 현실 자료에서 그 가정을 검증했다는 뜻이 아닙니다. 시뮬레이터가 아는 실제 선택 확률과 관찰자에게 주어진 확률을 구분하세요. 소수 표시는 근삿값이고 반례의 수치는 정확한 분수로 손계산할 수 있습니다.

연습 문제와 해설

1. (20,5,5,20)의 TPR과 PPV는? 둘 다 0.8이지만 분모는 각각 실제 양성과 양성 결정입니다. 이 대칭 표의 우연한 일치가 정의를 같게 만들지는 않습니다.
2. 세계 B의 G₁ 선택률과 PPV는? 60/100=0.6과 20/60=1/3입니다.
3. 미지 선택 과정에서 같은 선택 표만으로 올바른 모집단 TPR을 고를 수 있나요? 아닙니다. 같은 관측에 서로 다른 목표값을 갖는 두 세계가 반례입니다.
4. 선택 FP 질량 5, 알려진 포함 확률 1/8이면 기대 모집단 FP는? 40입니다. 실제 표본에서의 가중 추정값에는 여전히 오차가 있습니다.
5. q_FP=0이고 관측 FP=0이면 모집단 FP도 0인가요? 아닙니다. 알려진 집단 총질량까지 유지하는 두 세계에서도 숨은 FP가 다를 수 있습니다.
6. 양성 결정이 없는 집단의 PPV는? 분모 사건이 없으므로 미정입니다.
7. 셀별 q를 알아야만 항상 식별할 수 있나요? 아닙니다. 집단 내 양의 대표 표집도 집단별 비율을 옮기는 충분 조건입니다. 그러나 관측 격차가 0이라는 사실에서 자동으로 나오는 가정은 아닙니다.

연구에 연결한다

연구 보고서는 목표 모집단, 관측 과정, 레이블 의미, 집단 정의, 지표의 조건 사건과 추정 불확실성을 명시해야 합니다. 관측 지표의 일치는 평가 분포에 관한 통계적 질문의 답입니다. 새로운 모집단·인과 개입·규범적 결론에는 각각 필요한 가정과 증거가 더 필요합니다.

다음 단원은 지표들의 양립 조건입니다. 목표 분포를 완전히 알아도 서로 다른 사건에 조건을 거는 기준들이 충돌할 수 있음을 배웁니다.