오염된 표본의 평균·중앙값·Huber 추정

이상치보다 먼저 목표를 정한다

센서가 원점 부근의 위치를 측정하지만 기록 오류로 일부 값이 백으로 바뀌었다고 생각해 봅시다. 우리가 알고 싶은 것은 오염된 기록 자체의 평균인지, 오류가 생기기 전 과정의 위치인지 먼저 정해야 합니다. 오염된 평균도 그 자료의 올바른 요약일 수 있지만 원래 위치의 좋은 추정은 아닐 수 있습니다. 강건성은 목표와 자료 생성 가정을 함께 명시하는 문제입니다.

이 실험의 깨끗한 목표는 영이며 원래 관측값은 스물한 개입니다. 난수로 표본을 새로 뽑지 않고 고정된 표본을 사용합니다. 그림에 신뢰수준이나 자동 이상치 탐지기가 숨어 있다고 해석하지 마세요. 깨끗한 자료는 좌우 대칭이므로 평균과 중앙값이 모두 영입니다.

교체 규칙과 관측값을 구분한다

원래 자료는 다음 격자입니다.

$$x_i=(i-10)/5,\qquad i=0,\ldots,20.$$

원래 가장 큰 관측값부터 엠 개를 같은 위치 제트로 교체합니다. 제트를 음수로 바꾸어도 원래 가장 큰 값을 교체한다는 규칙은 바뀌지 않습니다. 따라서 양의 이상치와 음의 이상치가 중앙값에 주는 영향이 서로 다를 수 있습니다.

주황 표시는 교체 연산을 받은 관측값입니다. 새 값이 원래 값과 우연히 같더라도 교체 여부는 남습니다. 교체라는 메커니즘과 실제 숫자 차이는 별개입니다. 교체 수를 전체 표본 수로 나눈 값은 유한 표본의 교체 비율이며 독립 동일 분포 혼합 모형의 오염 확률이 아닙니다.

네 가지 위치 추정량을 비교한다

표본 평균은 제곱 잔차 손실의 합을 최소화합니다. 각 관측값이 선형으로 기여하므로 아주 큰 값 하나가 평균을 멀리 움직일 수 있습니다. 중앙값은 정렬된 자료의 열한 번째 값이며 절대 잔차 손실을 최소화합니다. 양쪽 절사평균은 정렬 후 작은 쪽과 큰 쪽에서 각각 케이 개를 제거하고 남은 값을 평균합니다.

절사는 오염 표시를 보고 지우는 정답 알고리즘이 아닙니다. 관측된 순서를 사용하므로 중앙에 놓인 오염은 남을 수 있습니다. 큰 이상치가 여러 개인데 큰 쪽에서 하나만 지우면 나머지가 평균에 영향을 줍니다. 목표가 알려진 교육용 예제라고 해서 추정량에 교체 표시를 정답으로 제공하지는 않습니다.

Huber 손실과 점수 방정식을 유도한다

양의 임계값 씨를 고정하고 잔차의 손실을 다음과 같이 정의합니다.

$$\rho_c(r)=\begin{cases}r^2/2,&|r|\le c,\\c|r|-c^2/2,&|r|>c.\end{cases}$$

작은 잔차에서는 제곱 손실이고 큰 잔차에서는 선형으로 증가합니다. 위치에 대해 목적함수를 미분하면 잔차 점수 합의 음수가 되므로 최소점은 다음 식을 만족합니다.

$$\sum_i\operatorname{clip}(x_i-\theta,-c,c)=0.$$

큰 잔차 하나가 방정식에 주는 힘은 씨로 제한됩니다. 그러나 해당 관측값을 삭제하거나 오염임을 식별하는 것은 아닙니다. 같은 방향의 오염 관측값이 많아지면 제한된 힘도 합쳐져 추정량을 움직입니다.

척도와 유일성의 가정을 확인한다

임계값은 자료와 같은 물리 단위를 가집니다. 이 실험에서는 알려진 척도를 사용하며 오염된 자료에서 척도를 다시 추정하지 않습니다. 모든 측정값을 일정한 양의 배수로 바꾸면 임계값도 같은 배수로 바꾸어야 같은 절차를 다른 단위로 표현한 것이 됩니다.

일반 계산 함수는 최소점 구간의 양 끝을 보존합니다. 관측값이 마이너스 삼과 삼이고 임계값이 일이면 마이너스 이부터 이까지 모든 위치가 최소점입니다. 이는 수치 계산 실패가 아니라 목적함수의 실제 평평한 구간입니다. 현재처럼 홀수 개 관측값에서는 모든 점수가 잘린 구간에 양수와 음수 기여가 같은 개수로 존재할 수 없어 이런 영점 구간이 생기지 않습니다.

한 개 이상치의 안내 예제를 계산한다

원래 가장 큰 값 이 하나를 백으로 바꾸고 양쪽에서 각각 하나를 절사하며 임계값을 이 점 오로 둡니다. 남은 깨끗한 스무 값의 합은 마이너스 이입니다. 따라서 평균은 다음과 같습니다.

$$\overline x=(100-2)/21=14/3.$$

열한 번째 관측값은 여전히 영입니다. 양쪽 절사는 마이너스 이와 백을 제거하므로 남은 자료의 평균도 영입니다. Huber 방정식에서는 큰 이상치가 이 점 오를 기여하고 남은 잔차는 모두 제곱 구간 안에 있습니다. 따라서 마이너스 이에서 위치의 스무 배를 빼고 이 점 오를 더한 식이 영이며 해는 사십 분의 일입니다. 해를 구한 뒤 잔차가 정말 임계값 안에 있는지도 확인해야 합니다.

과반수 직전과 이후를 비교한다

열 개를 백으로 교체하면 중앙값은 영이고 Huber 위치는 오 분의 팔입니다. 이 위치에서 남은 깨끗한 잔차 여섯 개는 마이너스 이 점 오로 잘리고 나머지 다섯 개의 합은 마이너스 십입니다. 전체 마이너스 이십오가 이상치 열 개의 양의 기여와 균형을 이룹니다.

열한 개를 교체하면 중앙값은 백이 됩니다. 깨끗한 값 열 개는 모두 음의 잘린 점수를 주고 이상치 열한 개는 백에서 위치를 뺀 잔차를 줍니다. 이를 풀면 Huber 위치는 십일 분의 천칠십오입니다. 개별 점수가 제한되어도 오염된 과반수의 영향을 막을 수는 없습니다.

붕괴점을 유한 그림과 구분해 증명한다

교체 붕괴점은 추정량을 무한히 크게 만들 수 있는 최소 교체 비율입니다. 평균은 하나만 양의 무한대로 보내도 발산하므로 이십일 분의 일입니다. 중앙값은 최대 열 개 교체까지 남은 깨끗한 순서 통계량 사이에 머물고 열한 개를 같은 방향으로 보내면 함께 이동하므로 이십일 분의 십일입니다.

양쪽에서 각각 케이 개를 절사하는 평균은 케이 더하기 일 개를 같은 방향의 무한대로 보낼 때 하나가 남아 발산합니다. 그보다 적은 교체에서는 남은 오염값이 깨끗한 순서 통계량 사이에 제한됩니다. 고정 척도의 Huber 추정량도 홀수 표본에서 오염된 과반수가 있어야 먼 위치의 깨끗한 다수 점수와 균형을 이룰 수 있습니다. 제한된 슬라이더는 이 증명을 보여 주는 예시이지 무한 발산의 증거 자체는 아닙니다.

그림과 수치 표를 읽는다

관측점 그림의 선은 원래 값에서 현재 값으로의 이동입니다. 네 추정량은 같은 위치 축에 표시하며 축은 현재 범위에 맞추어 조정됩니다. 마지막 그래프는 교체 수와 절사 수와 임계값을 고정하고 교체 위치만 바꾼 경로입니다. 파랑은 평균이고 주황은 Huber 위치입니다. 시간 경로나 학습 최적화 궤적으로 해석하지 마세요.

평균과 절사평균은 정수 격자에서 합한 뒤 나누어 정확한 분수를 보존합니다. 진짜 영을 미세한 음수로 표시하지 않으며 작은 실제 값까지 임의로 영으로 지우지도 않습니다. Huber 해는 수치 해이며 점수 잔차와 함께 확인합니다. 독립 검사는 잔차가 잘리는 경계 사이의 선형식을 풀어 계산합니다.

연습 문제와 해설

1. 양쪽에서 세 개씩 제거하면 몇 개가 남나요? 해설: 스물한 개에서 여섯 개를 빼므로 열다섯 개입니다.
2. 하나를 백으로 바꾼 평균의 분자가 백이 아닌 이유는 무엇인가요? 해설: 원래 값 이도 제거되므로 합의 변화는 구십팔입니다.
3. 음의 큰 값 열 개를 넣으면 중앙값이 항상 영인가요? 해설: 현재 교체 규칙에서는 마이너스 이가 됩니다. 발산하지 않는 것과 편향이 없는 것은 다릅니다.
4. 임계값을 늘리면 항상 더 강건한가요? 해설: 큰 값이 주는 점수도 커지며 고정된 유계 표본에서는 제곱 손실에 가까워집니다.
5. 한쪽에서 하나씩 절사하는 평균의 붕괴점은 무엇인가요? 해설: 큰 값 두 개 중 하나가 남을 수 있으므로 이십일 분의 이입니다.
6. Huber 해가 구간이면 계산 오류인가요? 해설: 짝수 표본에서는 실제 최소점 구간이 존재할 수 있습니다.

연구와 연결한다

Chen·Gao·Ren의 오염 모형 연구는 분포 클래스와 손실과 표집 실험을 명시합니다. 현재의 일차원 고정 표본 예제로 그 일반적인 minimax 보장을 증명하지는 않습니다. 미지 척도와 회귀의 leverage와 고차원 구조는 추가 이론이 필요합니다. 다음 단원에서는 국소 영향함수와 유한 모집단 편향을 구분합니다.