이진 공정성 지표의 양립과 경계 사례

함께 성립시킬 조건을 먼저 정확히 적는다

공정성 지표는 서로 다른 사건에 조건을 겁니다. 양성 결정률은 집단 전체를, TPR은 실제 양성을, PPV는 양성 결정을 기준으로 평균합니다. 이런 서로 다른 확률들의 등식이 항상 함께 성립하는 것은 아닙니다.

이 단원은 목표 분포를 알고 있다고 가정하여 앞 단원의 선택·식별 문제와 양립 문제를 분리합니다. 주어진 두 이진 결합 분포에서 어떤 등식이 성립하고, 어떤 가정 아래 더 일반적인 불가능성 결론을 낼 수 있는지 계산합니다. 임의의 한 설정에서 등식이 실패한 사실만으로 모든 다른 설정도 불가능하다고 증명되지는 않습니다.

두 집단의 기저율을 π₀,π₁,양성 조건 결정 확률을 t₀,t₁,음성 조건 결정 확률을 f₀,f₁로 둡니다. 모든 입력은 정수 백분율이고 셀은 유한 표본 추정값이 아니라 기대 질량입니다.

기저율과 조건부 확률로 결합 분포를 만든다

한 집단의 네 확률 질량은

$$TP=\pi t,\quad FP=(1-\pi)f,\quad FN=\pi(1-t),\quad TN=(1-\pi)(1-f)$$

입니다. 실습은 이를 10000배 하여 정확한 정수 셀로 계산합니다. 네 질량의 합은 10000이며 선언한 레이블 주변 분포를 유지합니다.

기저율이 0 또는 1이면 한 실제 클래스가 없습니다. 그 빈 클래스의 t나 f 입력은 같은 결합 분포를 만드는 모수로 남을 수 있지만 관측 가능한 조건부 비율을 정의하지는 않습니다. 실제 분모가 0이면 미정으로 표시합니다. 주요 충돌 유도에서는 두 기저율이 모두 내부에 있다고 가정합니다.

각 등식을 별도로 구분한다

Demographic parity는 양성 결정률을, equal opportunity는 TPR을, equalized odds는 TPR과 FPR을 함께 비교합니다. Positive predictive parity는 PPV, negative predictive parity는 NPV의 일치입니다.

Hardt·Price·Srebro는 equalized odds와 equal opportunity의 조건 사건을 정의하고, Chouldechova는 예측값·오류율·기저율의 관계를 분석합니다. 여기서는 경계 가정을 명시하고 필요한 항등식을 직접 유도합니다.

비교에는 참·거짓 외에 미정 상태가 있습니다. 양성 결정이 없으면 PPV는 미정이며 조건 충족으로 세지 않습니다. 정의된 등식은 반올림값이 아니라 정수 교차곱으로 판단합니다.

Equalized odds와 결정률 일치를 연결한다

공통 t,f로 equalized odds가 성립하면 집단의 양성 결정률은

$$s_g=\pi_g t+(1-\pi_g)f=f+(t-f)\pi_g$$

입니다. 두 집단을 빼면

$$s_1-s_0=(t-f)(\pi_1-\pi_0)$$

입니다. 기저율이 다른 상태에서 결정률까지 같으려면 t=f여야 합니다. 집단 내 실제 레이블이 양성이든 음성이든 양성 결정을 내리는 확률이 같아집니다. 결정은 여전히 무작위일 수 있지만 레이블에 따른 구분 능력은 사라집니다.

이는 명시한 동시 제약의 결론입니다. 어떤 기준이 언제나 우월하다는 뜻도 아니고, 결정률 격차가 작은 모든 분류기가 무정보적이라는 뜻도 아닙니다. 공통 오류율이라는 가정이 유도에 들어갔습니다.

PPV의 엄격 증가와 가정을 확인한다

양성 결정에 조건을 걸면

$$PPV(\pi)=\frac{t\pi}{t\pi+f(1-\pi)} =\frac{t\pi}{f+(t-f)\pi}$$

입니다. 공통 t>0,f>0에서 미분하면

$$\frac{d\,PPV}{d\pi}=\frac{tf}{[f+(t-f)\pi]^2}>0$$

입니다. 따라서 내부 기저율이 서로 다르면 공통의 양의 t,f 아래 PPV도 다릅니다. 이 비퇴화 영역에서는 equalized odds와 PPV parity가 동시에 성립할 수 없습니다.

‘t와 f가 양수’라는 표현이 중요합니다. 경계에서는 도함수가 엄격히 양수라는 주장이 깨지고 분모가 0이면 PPV 자체가 없습니다. 유용한 정리는 이런 가정을 적으며 ‘공정성은 불가능하다’는 일반 문장으로 대체하지 않습니다.

서로 다른 기저율 예제를 계산한다

기저율을 0.2,0.6으로, 두 집단의 t=0.8,f=0.2로 두면

$$G_0:(1600,1600,400,6400),\qquad G_1:(4800,800,1200,3200)$$

입니다. TPR=0.8,FPR=0.2로 equalized odds는 성립합니다. PPV는 1/2와 6/7,양성 결정률은 0.32와 0.56,NPV는 16/17과 8/11입니다.

여기서는 t=1−f=0.8의 대칭 때문에 정확도도 0.8로 같습니다. 이것은 equalized odds의 일반 결론이 아닙니다. 같은 기저율에서 공통 t=0.8,f=0.1이면 정확도는 0.88과 0.84입니다. 어떤 사건에 평균하는지를 확인해야 합니다.

같은 기저율은 양립을 허용한다

둘째 예제는 두 기저율을 0.5로 두고 공통 t=0.8,f=0.2를 유지합니다. 두 표가 모두 (4000,1000,1000,4000)이고 결정률 0.5,PPV와 NPV 0.8,두 오류율이 모두 같습니다.

두 종류의 오류가 남아 완벽하지 않지만 이 설정에서는 여러 등식이 함께 성립합니다. 같은 기저율은 양립을 허용할 뿐 집단별 t,f를 다르게 정해도 자동으로 지표가 같게 만들지는 않습니다.

또한 이는 알려진 분포의 설정입니다. 실제 특징을 사용하는 학습 모형이 원하는 t,f를 달성할 수 있는지는 별도의 실현 가능성 문제이며 이 조절 입력만으로 해결하지 않습니다.

거짓 양성률 0은 실제 불완전 예외다

셋째 예제는 기저율 0.2,0.6과 t=0.8을 유지하고 두 f를 0으로 둡니다.

$$G_0:(1600,0,400,8000),\qquad G_1:(4800,0,1200,4000)$$

PPV는 두 집단 모두 1이고 equalized odds도 성립하지만 실제 양성의 20%를 놓칩니다. 따라서 이 두 조건의 일치가 언제나 완벽한 예측을 요구한다는 주장은 틀립니다. 앞 유도의 양의 f 가정이 성립하지 않습니다.

결정률은 0.16과 0.48이고 NPV는 20/21과 10/13입니다. 특정 두 조건의 예외이지 모든 조건이 함께 성립하는 예외가 아닙니다.

다른 경계도 직접 확인한다

t=0,f>0이면 모든 양성 결정이 거짓 양성이어서 PPV=0이 같을 수 있습니다. t=f=0이면 양성 결정이 없어 PPV는 미정입니다. t=f=1이면 모두 양성으로 결정하고 PPV는 기저율,NPV는 미정입니다.

완벽한 결정 t=1,f=0은 두 예측값을 1로 만들지만 양성 결정률은 기저율이므로 다른 기저율에서 demographic parity는 여전히 실패합니다. 완전히 뒤집힌 결정 t=0,f=1은 두 예측값 0과 equalized odds를 함께 가질 수 있어도 결정률은 다릅니다.

따라서 여러 기준의 정리는 정확한 조건과 예외를 명시해야 합니다. ‘완벽한 예측만 가능’이라는 결론은 확률 점수 보정과 두 클래스 평균을 요구하는 다른 정리의 결론일 수 있지만 이진 PPV 계산을 대신하지는 않습니다.

정확한 등식과 가상의 곡선을 읽는다

첫 그림은 결합 셀과 정확한 예측값 분수를, 둘째는 현재의 등식과 충돌 정리의 가정을 나눕니다. 가정이 없다는 사실만으로 현재 점의 모든 조건이 양립한다고 인증하지 않습니다.

마지막 그림은 각 집단의 t,f를 고정하고 가상의 기저율을 바꿉니다. 파랑은 G₀,주황은 G₁의 모수이고 점은 실제 기저율입니다. 같은 모수이면 곡선은 같아도 서로 다른 기저율의 점 높이는 다를 수 있습니다. 빈 끝점은 양성 결정 조건이 비어 있음을 뜻합니다. 곡선이 아예 없으면 그 t,f에서는 어떤 기저율에서도 양성 결정이 없습니다.

그림은 정확한 비율을 부동소수점 좌표로 보여 주며 모든 학습 모형이나 임계 정책을 탐색한 결과가 아닙니다. 등식 판정은 정수 셀을 사용하고 소수는 반올림합니다.

이진 PPV와 확률 점수 보정은 다르다

PPV parity는 Pr(Y=1|Ŷ=1,G)의 집단 일치이며 값이 1일 필요는 없습니다. 점수 R의 집단별 calibration은 E[Y|R,G]=R로, 양성 결정만이 아니라 모든 점유 점수 수준에 적용됩니다.

불완전한 거짓 양성 0 결정을 확률 점수 0/1로 해석하면 점수 1의 구간은 보정되지만 점수 0의 구간은 아닙니다. G₀에서 Pr(Y=1|R=0)=400/8400=1/21로 0이 아닙니다. 따라서 짝 단원의 점수 정리와 모순되지 않습니다.

보정된 점수의 임계값 후처리는 이진 오류율을 바꿀 수도 있습니다. 점수 수준의 보장을 모든 이진 임계값의 지표 일치와 동일하게 해석하지 마세요.

연습 문제와 해설

1. 공통 t=0.8,f=0.2,기저율 0.2와 0.6의 결정률 격차는? 0.6×0.4=0.24로 0.56−0.32와 같습니다.
2. 다른 기저율에서 공통 오류율과 결정률 일치를 모두 원하면? t=f가 필요합니다. t=f=0.5여도 PPV는 각 기저율이라 일치하지 않습니다.
3. f=0,t=0.8이면 오류가 전혀 없나요? 아닙니다. 거짓 음성률 0.2가 남으며 PPV만 1입니다.
4. 양성 결정이 없으면 PPV parity는 참인가요? 이 비율 비교에서는 조건 사건이 없어 미정입니다.
5. equalized odds에서 정확도가 다를 수 있는 이유는? tπ+(1−f)(1−π)가 t=1−f 등의 추가 조건이 없으면 π에 의존하기 때문입니다.
6. 한 설정의 실패가 일반 불가능성 정리인가요? 아닙니다. 의도한 가능한 모형 집합 전체에 대한 유도와 가정이 필요합니다.
7. 완전히 뒤집힌 결정을 확률 0/1 점수로 보면 보정되나요? 점수 1에서 실제 양성 비율이 0이므로 보정되지 않습니다.

확률 점수 정리로 연결한다

다음 단원은 집단별 확률 점수의 보정과 양성·음성 클래스 점수 평균의 동시 균형이라는 다른 요구를 다룹니다. 완벽한 점수라는 결론은 유계 점수의 기대값 논증에서 나옵니다. 이진 경계 사례와 구분해야 가정을 누락한 모순을 만들지 않습니다.