KL 모호 집합과 최악 분포 위험

입력 하나 대신 확률을 바꾼다

어떤 모형이 한 분포에서 낮은 평균 손실을 보이더라도 어려운 결과가 더 자주 발생하면 평균 손실이 커질 수 있습니다. 분포적 강건성은 지정한 대안 분포 집합 안에서 기대 손실이 얼마나 커질 수 있는지 묻습니다. 따라서 불확실성의 대상은 입력마다 따로 적용하는 섭동이 아니라 결과의 확률입니다.

이 실습은 세 결과의 손실과 기준 확률을 고정합니다. 기준 확률은 영 점 이와 영 점 삼과 영 점 오입니다. 실제 강건 학습에서는 이 내부 최악 위험을 모형 매개변수에 대해 다시 최소화할 수 있지만 현재 조작값은 모형을 몰래 학습하지 않습니다. 고정 손실에서 확률 재가중의 효과를 정확하게 비교하는 것이 목표입니다.

KL 모호 집합의 방향과 단위를 정한다

대안 확률의 합은 일이고 각 성분은 음이 아니며 다음 제약을 만족합니다.

$$\mathcal Q_\rho=\{q\ge0:\sum_iq_i=1,\ D_{KL}(q\Vert p)\le\rho\},\qquad D_{KL}(q\Vert p)=\sum_iq_i\log(q_i/p_i).$$

케이엘의 두 인자 순서는 중요합니다. 순서를 바꾸면 가능한 확률 집합과 지지집합의 성질이 달라집니다. 현재 기준 확률은 모두 양수이므로 세 결과 어디에도 유한한 비용으로 대안 질량을 놓을 수 있습니다. 대안 확률이 영인 항은 극한 규칙에 따라 기여를 영으로 둡니다.

자연로그를 사용하므로 반경 단위는 냇입니다. 운송 거리와 입력 섭동 반경과 차등 프라이버시 매개변수와 같은 단위가 아닙니다. 다른 모호 집합에 같은 숫자를 넣었다고 같은 불확실성이 되는 것은 아닙니다.

최악 기대 위험을 정의한다

고정 손실 벡터에서 위험 포락선은 다음 최적값입니다.

$$R_\rho(l)=\sup_{q\in\mathcal Q_\rho}\sum_iq_il_i.$$

기준 분포 자체가 실행 가능하므로 최악 위험은 명목 위험보다 작을 수 없습니다. 반경이 커지면 실행 가능한 집합이 넓어지므로 위험이 감소할 수 없습니다. 기대값은 최대 손실보다 클 수 없습니다. 계산기를 실행하기 전에도 확인할 수 있는 중요한 불변량입니다.

모호 집합의 타당성은 별도 질문입니다. 반경을 손으로 골랐다고 미래 분포가 그 안에 있다는 사실이나 특정 신뢰수준이 생기지는 않습니다. 통계적 포함 보장에는 표집 실험과 추가 가정이 필요합니다.

KL 비음성으로 쌍대 상계를 유도한다

양의 온도를 선택하고 지수 재가중 확률을 정의합니다.

$$q_{\eta,i}=\frac{p_i\exp(l_i/\eta)}{Z_\eta},\qquad Z_\eta=\sum_ip_i\exp(l_i/\eta).$$

임의의 대안 분포와 이 확률 사이의 케이엘이 음이 아니라는 사실을 전개하면 다음과 같습니다.

$$0\le D_{KL}(q\Vert q_\eta)=D_{KL}(q\Vert p)-\frac{q^\top l}{\eta}+\log Z_\eta.$$

정리한 뒤 모호 집합의 예산을 적용하면 모든 실행 가능한 위험에 대한 상계를 얻습니다.

$$q^\top l\le\eta\rho+\eta\log Z_\eta.$$

모든 양의 온도가 유효한 상계를 주며 그 목적을 최소화하는 것이 엔트로피 쌍대입니다. 지수 재가중 분포의 케이엘이 반경과 정확히 같으면 두 부등식에 등호가 생겨 원시 분포와 쌍대 값이 일치합니다.

중간 반경의 단조 방정식을 푼다

온도의 역수를 새로운 변수로 쓰면 재가중 확률은 기준 확률과 손실의 지수의 곱에 비례합니다. 그 경로에서 케이엘의 미분은 다음 식입니다.

$$\frac{d}{d\tau}D_{KL}(q_\tau\Vert p)=\tau\operatorname{Var}_{q_\tau}(l).$$

손실이 상수가 아니고 양의 유한 역온도에서는 분산이 양수이므로 케이엘이 엄격하게 증가합니다. 따라서 중간 반경은 모든 확률 벡터를 임의로 탐색하는 대신 단조 일차원 방정식으로 찾을 수 있습니다.

구현은 최대 손실을 빼고 지수를 계산해 불필요하게 큰 값을 피합니다. 정규화한 확률은 바뀌지 않지만 로그와 영점은 부동소수 수치 계산입니다. 작은 수치 차이를 정확한 기계적 인증이라고 바꾸지 않고 원시와 쌍대의 원래 차이를 표시합니다.

영 반경은 무한 온도 극한으로 읽는다

반경이 영이면 케이엘이 영인 분포는 기준 분포뿐입니다. 수학적으로 최악 위험은 명목 기대값과 같습니다. 상수가 아닌 손실에서는 쌍대 하한값에 온도를 무한히 크게 보내면서 접근할 수 있으며 유한한 최소 온도가 존재한다고 가정하면 안 됩니다.

첫 안내 예제의 손실은 영과 일과 삼입니다. 기준 확률을 곱해 더하면 위험은 일 점 팔입니다. 막대 그림은 기준 분포에 그대로 머물고 쌍대 그림에는 무한 온도를 유한한 최소점처럼 표시하지 않습니다.

작은 반경의 재가중을 손계산과 연결한다

반경 영 점 일 냇에서 수치적으로 계산한 최악 확률은 다음과 같습니다.

$$q\approx(0.08878080,\ 0.19664092,\ 0.71457829).$$

기대 손실은 약 이 점 삼사공삼칠오칠팔입니다. 큰 손실 결과의 질량이 늘고 다른 두 결과의 질량은 줄어듭니다. 기준 분포와 손실은 고정되므로 명목 위험은 계속 일 점 팔입니다.

계산된 케이엘과 원시·쌍대 차이를 함께 확인하세요. 매우 작은 차이는 선택한 수치 검사의 범위에서 좋은 계산의 근거이지만 구간 산술이나 통계적 신뢰수준은 아닙니다. 부동소수 연산 때문에 미세한 음의 차이가 생겨도 이를 가공하여 가짜 영 인증으로 만들지 않습니다.

최대 손실 집합의 포화를 유도한다

최대 손실을 갖는 결과들을 한 집합으로 묶고 기준 확률을 그 집합에 제한하여 다시 정규화합니다. 이 분포의 케이엘 비용은 다음과 같습니다.

$$\rho_{sat}=-\log p(A).$$

그 이상의 반경에서는 최대 손실을 달성할 수 있어 위험이 포화합니다. 현재 최대 손실 결과의 기준 질량은 이분의 일이므로 임계 반경은 로그 이입니다. 반경 일에서는 그 결과에 질량을 모두 놓아 위험 삼을 얻습니다.

최대 손실이 여러 결과에서 동률이면 정규화한 기준 분포는 편리한 최소 케이엘의 최적 분포입니다. 임계값보다 큰 반경에서는 다른 최적 분포도 가능할 수 있습니다. 화면은 한 선택을 제공하며 전체 최적해를 열거하거나 유일성을 증명하지 않습니다. 모든 손실이 같으면 모든 실행 가능한 분포가 같은 위험을 주므로 기준 분포를 계속 선택할 수 있습니다.

세 그림을 읽는다

첫 그림의 파랑과 주황 막대는 기준 확률과 선택한 대안 확률입니다. 두 번째 그림은 온도에 따른 쌍대 상계를 그리며 유한한 선택 온도가 있을 때 표시합니다. 영 온도는 나눗셈을 직접 수행하는 대신 최대 손실 극한으로 해석합니다.

마지막 그림은 손실과 기준 분포를 고정하고 모호 집합 반경만 바꿉니다. 파랑은 수치 최악 위험이고 주황은 명목 위험입니다. 학습 궤적이나 오류가 생길 확률이 아니라 기대 손실의 포락선입니다. 계산한 점 사이의 곡선 연결은 시각적 근사입니다.

연습 문제와 해설

1. 최악 위험이 명목 위험보다 작을 수 없는 이유는 무엇인가요? 해설: 기준 분포가 항상 실행 가능합니다.
2. 영 반경에서 큰 손실 결과에 추가 질량을 놓을 수 있나요? 해설: 케이엘 영은 기준 분포만 허용합니다.
3. 최대 손실 집합의 기준 질량이 영 점 칠이면 포화 반경은 무엇인가요? 해설: 영 점 칠의 로그의 음수이며 그 집합에서 기준 질량을 정규화하면 증인이 됩니다.
4. 최적 분포 하나를 표시하면 유일성이 증명되나요? 해설: 상수 손실이나 포화 문제에서는 여러 최적해가 가능하므로 아닙니다.
5. 반경 영 점 일이 각 확률 변화가 영 점 일 이하라는 뜻인가요? 해설: 케이엘은 전체 확률의 비선형 제약이며 좌표별 제한이 아닙니다.
6. 손실에 모두 이를 더하면 무엇이 변하나요? 해설: 모든 기대값과 최악 위험이 이만큼 증가하며 최적 확률은 유지될 수 있습니다.
7. 실제 배포 분포의 포함을 주장하려면 무엇이 필요한가요? 해설: 자료 생성과 관심 있는 이동을 모호 집합에 연결하는 근거와 통계적 가정이 추가로 필요합니다.

연구와 연결한다

Duchi·Namkoong은 분포 이동 아래 강건 학습을 연구합니다. 여기의 유한 엔트로피 유도는 고정 손실의 내부 위험을 설명하며 그 학습과 유한 표본 이론 전체의 재현이 아닙니다. 다음 단원은 운송 비용의 기하와 정확한 유한 모형 쌍대 인증을 다룹니다.