확률 점수 보정·클래스 균형의 양립

확률 점수와 이진 결정은 다른 대상이다

이진 결정은 0 또는 1입니다. 확률 점수 R∈[0,1]은 믿음의 정도를 나타내며, 보정은 각 점수 수준과 실제 목표의 관계입니다. 임계값으로 만든 결정은 점수에 다시 적용한 함수입니다.

앞 단원은 거짓 양성률 0인 불완전 분류기에서도 equalized odds와 PPV parity가 양립할 수 있음을 보였습니다. 여기서는 집단별 점수 보정과 두 클래스 조건부 점수 평균 균형이라는 다른 정리를 다룹니다. 가정이 다르므로 예외도 그대로 옮겨 붙일 수 없습니다.

두 집단의 양성 기저율은 모두 내부에 있다고 가정합니다. 따라서 양성과 음성 클래스가 각 집단에 존재하고 두 조건부 평균을 빈 사건의 임의 버전 없이 정의할 수 있습니다.

점유 점수 수준에서 calibration을 정의한다

집단별 보정은

$$\mathbb E[Y\mid R,G]=R$$

이 거의 확실하게 성립한다는 뜻입니다. 양의 질량을 갖는 이산 점수 r에서는 Pr(Y=1|R=r,G)=r입니다. 질량 0인 구간에는 비교할 조건부 비율이 없으며 잘못 보정된 점으로 세지 않습니다.

보정은 모든 예측이 맞거나 구분 능력이 높다는 뜻이 아닙니다. 집단 전체에 실제 기저율 π라는 상수 점수를 주어도 보정됩니다. 그러나 집단 안에서 개체를 순위화하는 정보는 없습니다.

신뢰도 그림은 점유 구간만 실제 양성 비율과 비교합니다. 이 명시적 모형은 증명과 정수 비교로 모든 점이 대각선에 놓입니다. 실제 표본으로 추정한 그림에는 별도 불확실성 분석이 필요합니다.

두 클래스 평균 균형을 적는다

양성 클래스 균형은

$$\mathbb E[R\mid Y=1,G=0]=\mathbb E[R\mid Y=1,G=1]=\mu_+$$

입니다. 음성 클래스 균형은 Y=0에서 공통 μ₋를 갖는 것입니다. 이는 확률 점수의 평균이며 임계값 뒤의 TPR,FPR과 일반적으로 같지 않습니다.

Kleinberg·Mullainathan·Raghavan은 점수 보정과 클래스 균형의 제약을 분석합니다. 아래 기대값 유도는 관련 양립 원리를 직접 설명합니다. 이 점수 제약들을 이진 PPV 조건 하나와 같은 것으로 사용하지 않습니다.

일반적인 양립 정리를 증명한다

보정의 집단별 기대값을 취하면

$$\mathbb E[R\mid G=g]=\mathbb E[Y\mid G=g]=\pi_g$$

입니다. 두 클래스 평균이 집단 사이에서 공통이면 같은 평균을 Y로 나누어

$$\pi_g=\pi_g\mu_+ +(1-\pi_g)\mu_-$$

를 얻습니다. 즉 π_g(1−μ₊+μ₋)=μ₋입니다. 서로 다른 기저율의 두 식을 빼면 1−μ₊+μ₋=0이고 원래 식에 넣으면 μ₋=0,μ₊=1입니다.

0≤R≤1이므로 음성에서 조건부 평균 0이면 R=0이 거의 확실하게 성립합니다. 양성에서 평균 1이면 비음수인 1−R의 평균이 0이므로 R=1이 거의 확실합니다. 따라서 두 집단에서 R=Y입니다.

점수의 유계성과 각 클래스의 양의 질량이 중요합니다. 이 대수와 기대값 끝점 논증이 증명입니다. 제한된 모수 격자나 신뢰도 그림만으로 임의의 점수 분포에 관한 정리가 증명되는 것은 아닙니다.

같은 기저율의 예외를 이해한다

π₀=π₁이면 평균 식을 빼도 새로운 제한이 나오지 않습니다. 이 경우 불완전한 보정 점수도 두 클래스 평균을 일치시킬 수 있습니다. 공통 기저율의 상수 점수가 가장 간단한 예입니다.

셋째 안내 예제는 공통 기저율 0.5에서 더 정보 있는 모형을 사용합니다. 양성 평균은 3/4,음성 평균은 1/4이고 Brier 위험은 두 집단 모두 1/8입니다. 보정과 두 균형이 성립하지만 완벽하지 않습니다.

정리는 서로 다른 내부 기저율과 모든 요구가 동시에 있으면 완벽해야 한다는 뜻입니다. 보정 하나가 완벽성을 강제한다거나 같은 기저율에서도 양립하려면 완벽해야 한다는 뜻이 아닙니다.

투명한 특징 생성 모형을 만든다

집단 기저율이 π인 Y를 생성하고 Y와 독립인 정보 플래그 A가 확률 ρ로 1이 된다고 합시다. A=1이면 관측 특징이 Y를 알려 주고 그렇지 않으면 ⊥입니다. 그 관측 특징과 집단의 Bayes 확률은

$$R=\begin{cases}Y,&A=1,\\\pi_g,&A=0.\end{cases}$$

입니다. 이것은 이상화된 특징·목표 결합 모형입니다. 배포 예측기가 숨겨진 목표를 직접 입력받는다고 가정하지 않습니다. 보정과 정리의 예외를 정확히 열거할 수 있는 가족을 만드는 사고실험입니다.

점수 0,π,1에서 양성·음성 질량은 각각

$$(0,\rho(1-\pi)),\quad ((1-\rho)\pi,(1-\rho)(1-\pi)),\quad (\rho\pi,0)$$

입니다. 중간 점수의 실제 양성 비율은 π이고 양 끝은 각각 0과 1입니다. 따라서 실제로 점유된 모든 점수 구간이 보정됩니다.

클래스 평균과 균형 곡선을 계산한다

Y에 조건을 걸면

$$\mu_{+,g}=\rho+(1-\rho)\pi_g,\qquad \mu_{-,g}=(1-\rho)\pi_g$$

입니다. 두 집단의 두 평균 격차는 모두

$$(1-\rho)(\pi_1-\pi_0)$$

입니다. 이 가족에서는 기저율이 같거나 ρ=1일 때 격차가 없어집니다. 일반 정리와 맞지만 이 곡선이 모든 보정 점수 분포를 매개화하는 것은 아닙니다.

실습은 클래스 평균 분수를 보존하고 정수 교차곱으로 균형 여부를 판단합니다. 소수 막대와 격차는 표시 근삿값이지 등식을 판정하는 원래 수치가 아닙니다.

정보 없는 특징 예제를 계산한다

기저율 0.2,0.6과 ρ=0이면 각 집단의 점수는 기저율 자체입니다. 모두 보정됩니다. G₀의 양성·음성 평균은 각각 0.2,G₁은 각각 0.6이므로 두 균형 격차가 모두 0.4입니다.

τ=0.5에서는 G₀가 전부 음성,G₁이 전부 양성입니다. TPR,FPR 쌍은 (0,0)과 (1,1)로 임계값 뒤 equalized odds는 실패합니다. 점수의 보정 자체가 이진 오류율을 일치시키지는 않습니다.

집단 평균 점수는 보정 항등식대로 각 기저율을 유지합니다. 전체 자료의 신뢰도 그림만 보는 것과 집단별 보정·다른 제약을 구분하는 중요성도 확인할 수 있습니다.

완전 정보 예제를 계산한다

기저율 0.2,0.6을 유지하고 ρ=1로 두면 점수는 R=Y입니다. 양성 평균은 두 집단 모두 1,음성 평균은 0,Brier 위험은 0입니다. 중간 점수 구간의 질량은 0이라 그림에서 제외합니다.

빈 구간은 보정 실패가 아닙니다. 점수 0과 1만 발생하고 실제 양성 비율도 각각 같습니다. 모든 내부 임계값이 같은 완벽한 이진 결정을 만듭니다.

이는 서로 다른 기저율에서 정리가 허용하는 이상적 끝점입니다. 특정 연구 자료의 실제 관측 특징으로 이런 예측기가 가능하다는 증거는 아닙니다.

확률 점수의 오차를 따로 계산한다

Brier 위험은 평균 제곱 확률 오차 E[(R−Y)²]입니다. 정보 있는 가지는 오차 0이고 나머지는 π를 예측하므로

$$\mathbb E[(R-Y)^2\mid G]=(1-\rho)\pi_g(1-\pi_g)$$

입니다. ρ=0의 기저율 0.2,0.6에서 위험은 0.16,0.24입니다. 공통 기저율 0.5와 ρ=0.5에서는 둘 다 0.125=1/8입니다. 보정만으로 위험이 0이 되거나 집단별 위험이 같아지는 것은 아닙니다.

이 위험은 이진 결정의 0-1 오류와 다릅니다. 임계값을 바꾸면 이진 결정이 바뀔 수 있지만 원래 점수의 위험·평균·보정은 변하지 않습니다.

임계값 동률 규칙을 명시한다

실습은 R≥τ일 때 양성으로 결정합니다. 기저율 0.5,ρ=0.5에서 점수 0.5에는 양의 질량이 있습니다. τ=0.5이면 이를 포함해 TPR=1,FPR=0.5이고 τ=0.51이면 제외해 TPR=0.5,FPR=0입니다.

두 경우의 점수 분포와 보정은 같습니다. 동률 처리는 이진 분류기 정의의 일부입니다. 구현은 정수 점수 분자를 임계값과 직접 비교하여 동률을 정확히 처리합니다.

기저율이 다르면 하나의 공통 임계값이 두 중간 점수를 다르게 처리할 수 있습니다. 그 결과의 오류율 격차를 점수 보정의 실패라고 해석하지 않습니다.

이진 예외와 연결한다

딱딱한 이진 결정을 확률 점수로 해석하면 PPV parity보다 더 강한 요구가 생깁니다. 보정된 0/1 점수는 점수 1의 실제 양성 비율이 1이고 점수 0에서는 0이어야 합니다. 점유 구간에서 두 결정 오류가 모두 없어집니다.

앞 단원의 불완전한 거짓 양성 0 분류기는 PPV가 1이지만 음성 결정에 거짓 음성이 들어 있습니다. 이를 점수 0으로 쓰면 실제 양성 비율이 0보다 커서 점수 보정을 위반합니다. 따라서 완벽한 점수 정리의 반례가 아닙니다.

이진 예측값, 확률 점수 보정, 클래스별 점수 평균, 임계값 뒤 오류율은 서로 다른 조건부 질문입니다. 가정을 삭제하여 겉보기 모순을 해결하지 말고 어떤 대상을 비교하는지 적으세요.

그림과 정확한 표를 읽는다

신뢰도 패널은 점유 구간만 그리며 표는 세 잠재 점수 수준과 빈 구간의 미정을 함께 표시합니다. 겹치는 집단은 파란 채운 점과 주황 윤곽점으로 구분합니다. 둘째 패널은 양성·음성 클래스 평균입니다.

마지막 그림은 이 모형의 ρ를 바꿉니다. 파란 선은 여기서 일치하는 두 평균 격차이고 주황은 0입니다. 현재 임계값은 이 곡선을 바꾸지 않으며 모든 모형을 탐색하는 optimizer가 아닙니다.

정수 입력의 결합 질량 분모는 10000입니다. 조건부 평균·전체 평균·Brier 위험은 정수 분수로도 보존하고 표시 좌표는 반올림합니다. 기저율을 내부로 제한하여 클래스 평균 정리의 지지 조건을 유지합니다.

연습 문제와 해설

1. 기저율 0.2,0.6과 ρ=0.5의 두 평균 격차는? 모두 0.5×0.4=0.2입니다. 점수 보정은 두 집단 모두 유지됩니다.
2. 같은 설정의 양성·음성 평균은? 양성은 0.6과 0.8,음성은 0.1과 0.3입니다. 임계값 뒤 TPR,FPR과 구분하세요.
3. 보정에서 E[R|G]=π가 나오는 이유는? E[Y|R,G]=R에 반복 기대값을 적용하기 때문입니다.
4. 다른 내부 기저율에서 보정과 두 균형이면 공통 평균은? 양성 1,음성 0이며 유계성을 통해 R=Y가 거의 확실합니다.
5. ρ=1에서 중간 구간이 비면 보정 실패인가요? 조건부 비율이 정의되지 않는 빈 구간으로 제외합니다.
6. τ를 바꾸어 원래 점수 평균의 격차를 없앨 수 있나요? 이진 결정만 바뀌며 점수 평균은 그대로입니다.
7. 같은 기저율에서 불완전한 양립 점수가 가능한 이유는? 두 평균 방정식이 같아 끝점 평균을 강제하지 않기 때문입니다. 공통 기저율 0.5,ρ=0.5의 위험은 1/8입니다.

연구에 연결한다

공정성 결과를 비교할 때 확률 대상·조건 사건·지지 조건·요구 등식을 정확히 적으세요. 불가능성 정리는 제약의 가능한 범위를 설명하지만 규범적 목적을 선택하거나 학습 알고리즘이 원하는 점에 도달함을 증명하지는 않습니다. 다음 원래 범위 주제는 robust statistics이며 오염이 추정에 주는 영향을 다룹니다.