평가 표본·미관측 집단·분포 이동의 보장

평가가 무엇을 보장한다는 뜻인지 먼저 정하기

테스트에서 오류를 하나도 발견하지 못했다는 문장은 관측 결과입니다. 실제 사용자가 경험할 오류 확률이 작다는 문장은 모집단에 관한 추론입니다. 모든 가능한 입력에서 항상 정확하다는 문장은 입력 전체에 대한 논리 명제입니다. 세 문장은 서로 바꿔 쓸 수 없습니다. 이 단원에서는 두 집단의 평가 표본을 이용하여 어떤 가정 아래 어떤 수준의 주장이 가능한지 계산합니다.

조작기는 표본을 무작위로 생성하지 않습니다. 집단별 표본 수와 조회할 오류 개수를 직접 지정합니다. 오류 개수가 표본 수보다 크면 유효 오류 수를 표본 수로 제한하며 요청값과 유효값을 함께 표시합니다. 참 위험 세계를 바꾸는 조작은 숨겨진 실제 위험을 가정하여 비교하는 장치입니다. 관측 데이터로 그 위험을 알아냈다는 뜻이 아닙니다.

평균 오류가 0이어도 전체 입력에서 옳지는 않다

모든 입력의 정답이 −1이라고 하겠습니다. 점수가 음수면 −1, 0 이상이면 +1을 예측하는 분류기를 생각합니다. 점수 함수를 다음처럼 정하면 오직 원점에서만 틀립니다.

입력이 연속 균등 분포에서 나오면 원점 하나의 확률은 0입니다. 따라서 평균 오분류 확률은 정확히 0입니다. 독립적으로 뽑은 유한 개의 평가 입력은 확률 1로 그 오류점을 놓칩니다. 그러나 원점은 실제 입력 공간에 속하므로 모든 입력에서 옳다는 주장은 거짓입니다. 이것은 표본 수가 작아서만 생기는 문제가 아니라 평균과 전칭 명제의 양화사가 다르기 때문에 생깁니다. 입력 집합 전체를 보장하려면 그 집합에서 함수의 성질을 직접 증명하는 별도의 논리가 필요합니다.

표본 설계와 목표 모집단을 분리하기

집단 g에서 평가한 표본 수를 n_g, 오류 수를 K_g, 그 집단의 실제 오류 확률을 p_g라고 하겠습니다. 집단 내부에서 오류 지표가 독립이고 동일한 베르누이 분포를 따른다는 가정 아래 다음 모형을 사용합니다.

목표 위험의 가중치 q_0는 배포 모집단에서 집단 0이 차지하는 비중입니다. 평가 표본에서 집단 0이 차지하는 비중과 같을 필요가 없습니다. 드문 집단을 의도적으로 많이 평가하는 것은 유용할 수 있지만, 그때 단순히 전체 오류 수를 전체 표본 수로 나누면 목표 모집단과 다른 비중을 사용하게 됩니다. 중복된 평가 항목, 시간적 의존성, 평가 데이터로 다시 학습하는 과정도 이항 모형의 정당성을 따로 점검해야 하는 이유입니다.

이항 누적분포를 뒤집어 상한 구하기

F_p(k)를 오류 확률 p에서 오류가 k개 이하일 확률이라고 정의합니다. 단측 Clopper–Pearson 상한은 관측 오류 수가 표본 수보다 작을 때 다음 방정식을 만족합니다.

오류가 0개이고 표본 수가 양수라면 상한은 1−β^(1/n)입니다. 오류 0개가 실제 위험 0을 의미하지 않는다는 사실을 이 식에서 바로 확인할 수 있습니다. 같은 오류 0개라도 표본이 많으면 상한이 줄어듭니다. 반대로 표본이 전혀 없으면 실제 위험이 1인 경우를 배제할 근거가 없으므로 상한 1을 유지합니다.

화면의 일반적인 끝점은 로그 영역에서 계산한 이항 누적확률과 이분법으로 구한 수치 근사입니다. 마지막 기계 비트까지 형식적으로 인증하는 구간 연산 구현은 아닙니다. 또한 신뢰수준은 표본을 반복해서 얻을 때 구간이 고정된 참값을 포함하는 빈도의 보장입니다. 이미 관측한 특정 구간 안에 참값이 있을 사후확률이라는 해석과는 다릅니다.

두 집단을 동시에 보장하기

전체 비포함 예산을 α라고 하고 각 집단에 β=α/2를 배분합니다. 각 상한이 유효하다면 합집합 부등식으로 다음 동시 보장을 얻습니다.

이 단계에는 집단 사이의 독립성이 필요하지 않습니다. 각 집단의 주변 신뢰구간이 유효하면 두 실패 사건의 확률을 더하면 됩니다. 다만 집단 내부의 이항 표본 모형은 여전히 필요합니다. 두 참 위험이 모두 상한 이하인 사건 위에서는 어떤 비음수 혼합 가중치를 사용하더라도 실제 혼합 위험은 같은 가중치로 섞은 상한 이하입니다. 따라서 이 동시 직사각형을 얻은 뒤 여러 혼합 가중치를 살펴보는 것 자체에는 추가 신뢰 예산을 소모하지 않습니다.

표본이 없는 집단은 추정했다고 표시하지 않기

첫 예제에서는 집단 0에 40개 표본과 오류 0개가 있고 집단 1에는 표본이 없습니다. α=0.05일 때 집단별 상한은 약 0.0880973과 1입니다. 목표 가중치가 반반이면 혼합 위험 상한은 약 0.544049입니다. 관측 표본을 통합한 오류 비율은 0이지만, 목표 모집단의 경험 추정값은 정의되지 않습니다. 양의 목표 비중을 가진 집단 1의 오류율을 계산할 수 없기 때문입니다.

이제 참 위험 세계를 바꿔 보세요. 첫 세계의 집단별 위험은 (0.01, 0.01), 둘째 세계는 (0.01, 0.4)입니다. 집단 1을 전혀 관측하지 않으면 두 세계의 관측 데이터 분포 전체가 동일합니다. 그러나 반반 혼합의 목표 위험은 0.01과 0.205로 다릅니다. 같은 관측 법칙에서 서로 다른 목표값이 가능하므로 그 데이터만으로 목표 위험을 식별할 수 없습니다. 화면의 주황 표시는 이 반례를 설명하는 가정된 참값이지 학습된 추정값이 아닙니다.

혼합 비중의 불확실성을 최적화하기

두 집단 혼합에서는 가중치 분포 사이의 총변동 거리가 집단 0 비중 차이의 절댓값과 같습니다. 중심 가중치 q_0와 반경 t가 주어지면 가능한 가중치는 다음 구간입니다.

목적함수는 w에 대한 일차함수이므로 구간 양 끝만 비교하면 됩니다. 첫 예제에서 중심이 0.5이고 반경이 0.3이면 가중치 구간은 [0.2, 0.8]이고 최악 상한은 약 0.817619입니다. 그래프의 초록 선분은 이 선택한 구간에서의 상한입니다. 구간 바깥의 모든 가중치까지 보장한다는 뜻은 아닙니다.

이 결과를 배포에 적용하려면 집단별 조건부 오류 확률이 유지되고 실제 혼합 비중이 설정한 집합에 들어간다는 가정이 추가로 필요합니다. 집단 내부의 과제나 라벨 생성 과정이 달라지면 비중만 바꾸는 모형으로는 부족합니다. 반경을 크게 입력했다는 사실 자체가 현실 분포의 포함을 입증하지는 않습니다.

풀이가 있는 연습 문제

1. 문제: 미관측 집단의 경험 오류를 왜 0으로 둘 수 없나요? 해설: 오류 0개를 표본 0개로 나누는 비율은 정의되지 않습니다. 양의 배포 가중치를 가지면 목표 경험 추정값도 미정입니다.
2. 문제: 미관측 집단의 목표 가중치가 0이면 어떻게 하나요? 해설: 그 항은 기여가 0입니다. 정의되지 않은 비율을 실제로 계산하지 않고 나머지 집단만 사용합니다.
3. 문제: 집단 1에 표본 40개와 오류 16개를 추가하세요. 해설: 반반 혼합 경험 추정값은 0.2, 알려진 혼합의 수치 상한은 약 0.327415, 반경 0.3의 상한은 약 0.471006입니다. 미관측으로 인한 문제는 줄지만 표본 오차는 남습니다.
4. 문제: 오류 없는 표본을 두 배로 늘리면 모든 입력의 정확성이 증명되나요? 해설: 평균 위험의 통계 상한이 줄어들 뿐입니다. 원점 하나에서만 틀리는 고정 반례는 여전히 남습니다.
5. 문제: 왜 가중치 구간을 아주 촘촘하게 탐색하지 않아도 되나요? 해설: 일차함수의 닫힌 구간 최댓값은 끝점에서 얻어집니다. 기울기가 0이면 모든 지점이 최적입니다.
6. 문제: 한 조회 결과에서 상한이 주황 참값보다 작으면 방법 전체가 틀렸나요? 해설: 유효한 신뢰 절차도 일부 표본에서 실패할 수 있습니다. 한 결과가 아니라 전체 표본 법칙에 대한 포함률을 판단해야 합니다.

출처와 연구 확장

NIST의 정확 이항 신뢰구간 설명은 이항분포 역산의 배경입니다. 두 집단 합집합 보정과 혼합 최적화는 이 단원의 모형에서 직접 유도한 계산입니다. 순차적으로 표본을 늘리는 설계, 의존적인 오류, 별도 데이터로 정한 배포 불확실성 집합은 가능한 연구 확장입니다. 각 확장에서는 기존 식에 신뢰수준 숫자만 덧붙이는 대신 어떤 표본 설계가 유효한지 다시 증명해야 합니다.