모델 선택 이후의 신뢰 보장과 벤치마크 재사용

평가로 모델을 고르면 질문이 달라진다

평가 전에 고정한 한 모델에 유효한 신뢰구간을 평가 결과로 선택한 모델에 그대로 붙여도 유효할까요? 여러 후보 가운데 관측 오류가 가장 적은 모델을 고르면 우연히 유리한 결과를 받은 후보가 보고될 가능성이 커집니다. 모든 후보의 실제 오류 확률이 완전히 같아도 이 현상은 생깁니다. 이 단원은 그 선택 효과를 계산 가능한 유한 실험으로 분리합니다.

조작기는 후보별 표본 수 n, 공통으로 가정한 실제 오류 확률 p, 비포함 예산 α, 미리 정한 후보 수 M을 설정합니다. 마지막 조작값은 선택된 오류 수를 조회합니다. 이 값은 무작위 실험으로 방금 얻은 관측값이 아닙니다. 표본 수를 넘는 요청은 표본 수로 제한되며, 현재 p에서 확률이 0인 불가능한 사건인지도 따로 표시합니다.

합성 실험의 독립 가정을 명시하기

각 후보를 서로 독립적인 평가 표본으로 검사한다고 가정합니다. 모든 후보의 오류 확률은 p이고, 각 후보의 오류 수는 동일한 이항분포를 따릅니다. 그중 오류 수가 최소인 후보를 선택합니다.

동점 처리 규칙은 미리 고정하면 되며 모든 참 위험이 같으므로 아래 포함률 계산에는 영향을 주지 않습니다. 실제로는 같은 벤치마크 항목을 여러 모델이 공유하므로 오류가 상관될 수 있습니다. 따라서 이 실험의 거듭제곱 공식을 실제 공유 평가 결과에 그대로 대입할 수 없습니다. 이 모형은 선택 편향의 명확한 반례와 직관을 제공하는 장치입니다.

단일 모델의 신뢰 상한을 정확히 해석하기

평가 표본과 독립적으로 고정한 모델에 대해 단측 Clopper–Pearson 상한 U_α(K)는 적어도 1−α의 포함률을 가집니다. k가 n보다 작으면 이항 누적분포 F_U(k)=α를 역산하며, k=n이거나 표본이 전혀 없으면 상한은 1입니다.

고정된 실제 p에서 상한이 p를 놓치는 사건은 F_p(K)<α와 같습니다. 등호는 실패가 아닙니다. 이항분포에서는 경계값에 양의 확률이 있을 수 있으므로 엄격한 부등호를 반올림된 소수 비교로 바꾸면 포함률을 잘못 셀 수 있습니다. 한편 유효한 절차라고 해서 가능한 모든 관측 결과의 구간이 참값을 포함하는 것은 아닙니다. 보장은 전체 반복 실험에서 실패하는 확률에 관한 것입니다.

선택된 상한의 포함률을 유도하기

단일 후보에서 F_p(K)<α가 되는 확률을 b_α라고 합시다. 오류 수가 작을수록 상한도 작아지므로 최소 오류 후보의 상한이 참값을 포함하려면 모든 후보가 이 하위 꼬리 실패 집합을 피해야 합니다. 독립 가정 아래 다음 식을 얻습니다.

이산성 때문에 한 후보의 실제 실패 확률은 α보다 작을 수 있습니다. 그래도 후보 수가 커지면 한 번쯤 낮은 오류 수가 나올 가능성이 커지므로 선택 후 포함률이 크게 떨어질 수 있습니다. 파란 곡선은 후보 수에 따른 이 값을 보여줍니다. 참 위험 p 자체가 후보를 더 비교했다고 바뀌는 것은 아닙니다. 달라지는 것은 선택하여 보고하는 관측값의 분포입니다.

기본 예제를 숫자로 따라가기

n=40, p=0.1, α=0.05를 설정하면 한 후보의 포함률은 약 0.985219입니다. 오류 0개를 조회했을 때 보정하지 않은 수치 상한은 약 0.0721575로 실제 위험 0.1보다 작습니다. 이것은 유효한 신뢰 절차에서 일어날 수 있는 실패 표본입니다.

후보 수를 1에서 20으로 늘리면 선택 후 포함률은 약 0.742432가 됩니다. 개별 구간에 명목 95%라고 적혀 있어도 선택 절차 전체가 95%를 유지하는 것은 아닙니다. 평가 결과를 이용한 후보 선택이 낮은 오류 수를 훨씬 자주 보고하게 만들기 때문입니다. 그러나 이 수치를 특정 한 구간이 틀렸을 사후확률로 해석해서도 안 됩니다. 여기서 계산한 것은 고정된 p 아래의 반복 표본 실험입니다.

미리 정한 유한 후보를 동시에 보정하기

각 후보의 비포함 예산을 α/M으로 줄여 신뢰 상한을 구성하면 합집합 부등식으로 모든 후보의 동시 포함을 보장할 수 있습니다.

이 정리 자체에는 후보 사이의 독립성이나 동일한 참 위험이 필요하지 않습니다. 각 후보의 주변 구간이 유효하고 유한 후보군의 예산을 올바르게 계산하면 됩니다. 반면 화면에서 주황 곡선의 정확한 포함률을 거듭제곱으로 계산하는 부분은 앞서 정한 독립·동일 위험 합성 실험을 사용합니다. 일반적인 합집합 보정 정리와 특정 예제의 수치 평가를 구분해야 합니다.

기본 20후보 예제에서 오류 0개의 보정 상한은 약 0.139108입니다. 이 p에서는 보정된 실패 집합이 비어 있어 선택 후 포함률이 1입니다. 이산적인 특정 설계에서 나온 결과이지 모든 p에서 보정 포함률이 언제나 1이라는 뜻은 아닙니다. 더 넓어진 구간은 동시에 많은 후보를 보호하는 대가를 반영합니다.

새 홀드아웃은 다른 실험이다

후보 선택을 끝낸 뒤 그 선택과 독립적인 새로운 평가 기록으로 최종 모델을 검사하는 설계도 가능합니다. 동일 위험 실험에서는 새 오류 수가 원래 이항분포를 따르므로 기본 설정의 포함률은 약 0.985219입니다. 화면의 새 홀드아웃 포함률은 이 별도 설계를 뜻합니다. 기존 표에서 오류 수를 다시 조회하는 행동은 새로운 데이터를 확보하는 것과 다릅니다.

홀드아웃을 확인하고 다시 모델을 고치고, 또 확인하면서 중단 시점을 정하면 독립적인 최종 평가라는 역할이 무너질 수 있습니다. 미리 정한 유한 후보에 대한 이 보정은 무제한 적응적 질의나 임의의 중단 규칙을 보장하지 않습니다. 재사용 가능한 평가 방법에는 별도의 알고리즘과 증명이 필요하며 후보 수 조작값만 늘린다고 그런 방법이 구현되는 것은 아닙니다.

최소 오류 수의 분포와 경계 읽기

S_k를 단일 후보의 오류 수가 k 이상일 확률이라고 두면 최소 오류 수의 확률질량은 다음과 같습니다.

파란 막대는 단일 후보, 주황 막대는 선택된 최소 오류 수의 분포입니다. 후보 수를 늘리면 주황 질량이 작은 오류 수 쪽으로 이동합니다. n이 양수일 때 이 분포로 k/n을 평균하면 선택된 경험 오류의 기댓값을 얻습니다. 표본이 0이면 경험 오류 비율은 정의되지 않으며 상한은 1입니다. 관측이 없다는 것을 오류가 없다는 증거로 바꾸지 않습니다.

구현은 백분율로 지정한 유리수 p에 대해 큰 정수 이항 가중치를 사용합니다. 실패 사건과 명목 포함률 충족 여부는 정확한 정수 비교로 판정합니다. 그래프 확률, 기댓값, 신뢰 끝점은 수치 근사입니다. 이렇게 구분하면 반올림이 엄격한 경계를 바꾸는 문제를 피할 수 있지만, 실제 데이터의 독립성이나 표본 설계까지 프로그램이 인증하는 것은 아닙니다.

풀이가 있는 연습 문제

1. 문제: n=1, p=0.9, α=0.1, M=1에서 오류 0개는 실패인가요? 해설: 누적확률이 정확히 α이고 상한도 0.9이므로 참값을 포함합니다. 실패 조건은 엄격한 <입니다.
2. 문제: 조회 오류 수만 바꾸면 왜 포함률 곡선은 그대로인가요? 해설: 포함률은 가능한 모든 표본 결과를 합산한 절차의 성질입니다. 조회는 한 끝점을 살펴볼 뿐 표본 법칙을 바꾸지 않습니다.
3. 문제: 후보의 오류가 상관되면 합집합 보정도 무효인가요? 해설: 그 이유만으로 무효가 되지는 않습니다. 주변 구간의 유효성은 필요하지만 합집합 부등식에는 독립성이 필요하지 않습니다. 독립 거듭제곱 공식은 별개입니다.
4. 문제: p=0이고 표본이 양수일 때 오류 1개를 조회하면 무엇을 뜻하나요? 해설: 현재 생성 법칙에서 불가능한 조회라고 표시해야 합니다. 끝점을 계산할 수 있다는 것과 관측 가능성은 다릅니다.
5. 문제: 참 위험과 포함률을 구분하세요. 해설: 참 위험은 새 입력에서 오류가 날 확률인 고정 매개변수입니다. 포함률은 반복해서 만든 구간이 그 고정 매개변수를 포함하는 확률입니다.
6. 문제: 그림의 난수 시드나 조회값을 바꾸면 새 홀드아웃인가요? 해설: 아닙니다. 선택 과정과 독립적인 새 평가 기록을 표본 설계에 맞게 확보해야 합니다.

출처와 연구 방향

NIST의 이항 신뢰구간 설명은 끝점 역산의 배경입니다. Dwork 등의 재사용 가능한 홀드아웃 연구는 더 넓은 적응적 데이터 분석 문제를 다룹니다. 여기의 유한 Bonferroni 실험은 그 논문의 알고리즘을 구현한 것이 아닙니다. 상관된 후보 오류, 서로 다른 위험, 순차적 신뢰 절차, 배포 분포 이동을 연구하려면 먼저 각 설계에서 어떤 확률 사건을 보장할지 명시해야 합니다.