영향함수·유한 오염 편향·붕괴점

강건성의 세 가지 질문을 나눈다

아주 적은 오염이 추정량에 주는 영향은 얼마나 큰가요? 유한한 오염 비율은 모집단의 목표를 얼마나 움직이나요? 표본의 몇 개를 바꾸면 추정값을 무한히 크게 만들 수 있나요? 세 질문은 각각 국소 영향함수와 유한 오염 편향과 교체 붕괴점입니다. 서로 관련되지만 같은 숫자로 대체할 수는 없습니다.

이 단원은 모집단 분포를 명시합니다. 앞 단원의 고정 표본 교체와 같은 실험이라고 가정하지 않습니다. 깨끗한 기준 분포는 마이너스 일부터 일까지의 균등분포이며 원래 위치는 영이고 척도는 알려져 있습니다.

혼합 오염 모형을 정의한다

오염 위치에 점 질량을 놓고 다음처럼 혼합합니다.

$$F_\epsilon=(1-\epsilon)U[-1,1]+\epsilon\delta_z.$$

조작 범위에서 엡실론은 영부터 영 점 사구까지입니다. 원래 분포의 모집단 비중은 절반보다 크게 유지되지만 실제 독립 표본에 깨끗한 관측값이 과반수로 들어온다는 뜻은 아닙니다. 혼합 확률과 실현된 교체 개수는 다른 대상입니다.

관심 대상은 오염된 분포에서 위치 함수가 깨끗한 위치로부터 이동한 양입니다. 이 예제에서는 기준 위치가 영이므로 오염 후 위치가 곧 편향입니다. 오염된 목표 주변의 표본 오차나 신뢰구간으로 읽지 마세요.

평균과 중앙값의 유한 편향을 구한다

혼합 분포의 평균은 엡실론과 오염 위치의 곱입니다. 작은 양의 오염 비율도 오염 위치가 무한히 커지면 평균 편향을 제한하지 못합니다. 유한한 슬라이더가 그 무한 경로를 증명하는 것은 아니므로 식의 극한으로 설명해야 합니다.

중앙값은 누적분포의 왼쪽 극한과 해당 점까지의 확률을 함께 비교해야 합니다. 점 질량의 도약을 포함하면 다음 식을 얻습니다.

$$T_{\rm med}(F_\epsilon)=\operatorname{clip}\left(z,-\frac{\epsilon}{1-\epsilon},\frac{\epsilon}{1-\epsilon}\right).$$

오염 위치가 두 경계 사이에 있으면 그 점에서 확률이 절반을 가로질러 뛰므로 중앙값은 오염 위치에 고정됩니다. 밖에 있으면 깨끗한 연속 부분에서 중앙값을 찾습니다. 점 질량을 무시하고 매끄러운 역누적함수만 사용하면 가운데 경우를 놓칩니다.

영에서의 미분으로 영향함수를 정의한다

기준 분포에서 위치 함수의 영향함수는 다음 극한입니다.

$$IF(z;T,F)=\lim_{\epsilon\downarrow0}\frac{T((1-\epsilon)F+\epsilon\delta_z)-T(F)}{\epsilon}.$$

현재 균등 기준에서 평균의 영향은 오염 위치이고 중앙값의 영향은 그 부호입니다. 오염 위치가 영이면 영향도 영입니다. 일반적인 연속 기준에서는 중앙값에서 양의 밀도가 존재할 때 부호를 중앙값 밀도의 두 배로 나눈 식이 나옵니다. 원자나 밀도 영인 점에서는 같은 미분 가정을 그대로 적용할 수 없습니다.

영향함수가 유계라는 말은 이 기준에서의 일차 미분을 제한한다는 뜻입니다. 모든 유한 오염의 편향이 영이라는 뜻도 아니고 모든 유한 표본이 안정적이라는 뜻도 아니며 다른 오염 문제를 자동으로 해결한다는 뜻도 아닙니다.

Huber 영향함수의 분모를 유도한다

알려진 척도 일에서 Huber 위치는 잘린 잔차 점수의 기대값이 영인 점입니다. 오염 경로를 따라 이 방정식을 미분하면 위치의 변화에 점수 미분의 기대값이 곱해집니다. 따라서 영향함수에는 다음 분모가 필요합니다.

$$IF_H(z)=\frac{\operatorname{clip}(z,-c,c)}{\mathbb P_U(|X|<c)} =\frac{\operatorname{clip}(z,-c,c)}{\min(c,1)}.$$

임계값이 영 점 오일 때 먼 오염점의 잘린 점수는 영 점 오이지만 영향함수는 일입니다. 분모는 방정식 자체가 위치 변화에 얼마나 민감한지를 나타냅니다. 잘린 점수만 그려 놓고 영향함수라고 부르면 위치 변화의 척도가 틀립니다.

유한 오염의 모집단 점수를 적분한다

앞 단원의 Huber 손실을 이용하면 균등분포에서의 깨끗한 점수 적분은 다음과 같습니다.

$$S_U(\theta)=\frac{\rho_c(1-\theta)-\rho_c(1+\theta)}{2}.$$

오염을 섞은 점수 방정식은 다음 식입니다.

$$(1-\epsilon)S_U(\theta)+\epsilon\operatorname{clip}(z-\theta,-c,c)=0.$$

구현은 이 해석적 적분을 계산하고 단조 방정식의 영점을 수치적으로 찾습니다. 깨끗한 분포를 무작위 표본으로 대신하는 계산이 아닙니다. 원래 분포의 비중이 절반보다 크므로 충분히 먼 양쪽 경계에서 깨끗한 점수가 오염의 최대 점수보다 우세합니다. 가능한 영점 구간에서는 깨끗한 균등 점수가 엄격히 감소하여 해가 하나로 정해집니다.

작은 오염의 안내 예제를 계산한다

오염 비율을 백분의 일로 두고 위치를 백으로 두며 임계값을 영 점 오로 둡니다. 평균 편향은 일이고 중앙값 편향은 구십구 분의 일입니다. Huber 해도 같은 값입니다. 이 구간에서는 깨끗한 점수가 임계값과 위치의 곱의 음수이고 오염 점수는 임계값으로 잘리기 때문입니다.

중앙값과 Huber의 영향함수는 모두 일이므로 일차 근사는 영 점 영일입니다. 구십구 분의 일과 가깝지만 같지는 않습니다. 오염 비율을 영으로 보낼 때 차이가 더 작은 차수가 된다는 성질을 임의의 유한 비율에서 정확히 같다는 주장으로 바꾸지 마세요.

오염과 임계값을 늘려 비교한다

오염 비율을 사분의 일로 늘리면 평균 편향은 이십오이고 중앙값과 Huber 편향은 삼분의 일입니다. 일차 근사는 사분의 일이므로 차이가 뚜렷해집니다. 영향이 제한되더라도 유한한 편향은 남습니다.

같은 오염에서 임계값을 이로 늘리면 Huber 영향은 이이고 일차 근사는 이분의 일이며 유한 편향은 삼분의 이입니다. 이 경우에는 깨끗한 잔차가 모두 제곱 구간 안에 들어가 간단한 선형 방정식으로 풀 수 있습니다. 다른 임계값과 오염 위치에도 이 단순식을 무조건 적용하지 말고 잔차 구간의 조건을 확인하세요.

기준 분포의 효율 계수를 계산한다

적절한 정칙성 아래 영향함수의 분산은 표본 수로 나누어 추정량의 점근 분산을 나타내는 계수입니다. 현재 균등 기준에서는 직접 적분하여 다음을 얻습니다.

$$\operatorname{Var}(IF_{\rm mean})=1/3,\qquad \operatorname{Var}(IF_{\rm med})=1.$$

Huber 계수는 다음과 같습니다.

$$\operatorname{Var}(IF_H)=\begin{cases}1-2c/3,&0<c\le1,\\1/3,&c\ge1.\end{cases}$$

임계값이 일보다 작으면 내부와 외부에서 잘린 점수의 제곱을 따로 적분한 뒤 분모의 제곱으로 나눕니다. 일 이상이면 깨끗한 지지 구간 전체에서 점수가 선형입니다. 이 계수들은 현재 기준 분포에 종속됩니다. 정규분포에서 효율을 맞춘 임계값을 모든 기준 분포의 보편 상수로 가져오지 마세요.

국소 영향과 전역 붕괴를 연결한다

앞의 스물한 개 표본에서 평균 붕괴점은 이십일 분의 일이고 중앙값 붕괴점은 이십일 분의 십일이었습니다. 매끄러운 모집단 기준에서 영향함수가 유계라는 사실만으로 그 유한 표본 붕괴점을 증명할 수는 없습니다. 높은 붕괴점도 모든 분포에서 작은 분산과 작은 편향을 보장하지 않습니다.

척도를 오염된 자료에서 추정하면 함수 자체가 달라져 영향함수도 달라집니다. 회귀에서는 잔차뿐 아니라 설명변수의 위치가 극단적인 leverage 오염이 가능합니다. 잔차 점수만 제한하는 것으로 설명변수 오염까지 통제한다고 결론 내리지 않습니다. 이러한 차이가 다음에 필요한 이론을 알려 줍니다.

연습 문제와 해설

1. 오염 비율 사분의 일과 큰 양의 오염에서 중앙값 편향이 사분의 일이 아닌 이유는 무엇인가요? 해설: 깨끗한 비중이 사분의 삼이므로 그 비중으로 다시 나눈 삼분의 일이 됩니다.
2. 같은 비율에서 오염 위치가 영 점 일이면 중앙값은 무엇인가요? 해설: 두 제한 경계 안에 있으므로 점 질량의 도약에서 중앙값이 정해져 영 점 일입니다.
3. 임계값 영 점 이오에서 먼 점의 Huber 영향은 무엇인가요? 해설: 잘린 점수와 분모가 모두 영 점 이오이므로 일입니다.
4. 깨끗한 점근 분산 계수가 같으면 오염 편향도 같나요? 해설: 아닙니다. 임계값 이인 Huber와 평균은 계수가 같아도 먼 오염점의 편향이 다릅니다.
5. 마지막 그래프는 학습 궤적인가요? 해설: 아닙니다. 가로축은 혼합 확률이며 다른 모형 입력을 고정해 모집단 함수를 다시 계산한 결과입니다.
6. 모집단 오염 비율만으로 실제 표본에 깨끗한 과반수가 있다고 인증할 수 있나요? 해설: 혼합 확률과 실현된 표본 개수는 다르므로 인증할 수 없습니다.

연구와 다음 주제로 연결한다

Chen·Gao·Ren은 모집단 혼합 오염을 명시한 일반 추론 문제를 다룹니다. 이 교재의 균등 위치 모형은 식을 직접 유도하고 반례를 비교하는 입문 실험이며 그 일반 minimax 이론 전체의 재현은 아닙니다. 다음 원래 범위 주제인 adversarial perturbation은 다시 다른 위협 모형을 사용합니다.