노름·쌍대 노름과 선형 분류기의 최악 섭동

공격보다 먼저 질문을 정한다

입력의 허용된 변화가 모두 정확한 예측을 유지하는지 알고 싶다고 생각해 봅시다. 이 질문은 선택한 공격 하나가 성공하는지 묻는 것과 다릅니다. 선형 분류기에서는 모든 허용 섭동에 대한 질문을 정확히 풀 수 있으므로 뒤의 비선형 예제를 이해하는 기준이 됩니다.

점수는 가중치와 입력의 내적에 편향을 더한 값입니다. 점수가 영 이상이면 양성이고 음수이면 음성으로 예측합니다. 목표 레이블은 위협 집합 안에서 유지된다고 가정합니다. 수치적 거리가 작다는 사실만으로 이미지나 센서 상태의 실제 의미가 유지된다고 증명되는 것은 아닙니다.

위협 집합과 측정 단위를 명시한다

허용 섭동은 다음 노름 제한을 만족합니다.

$$\|\delta\|_p\le\epsilon.$$

이 실습은 실수 이차원 공간의 노름 공을 사용하며 별도의 픽셀 상자에 잘라 넣지 않습니다. 입력 상자를 추가하면 다른 제약 최적화 문제가 되어 최악의 섭동이 달라질 수 있으므로 몰래 도입하면 안 됩니다.

같은 숫자의 반경이어도 일 노름은 마름모이고 이 노름은 원판이며 무한 노름은 정사각형입니다. 이차원에서는 같은 반경의 일 노름 공이 이 노름 공 안에 있고 이 노름 공은 무한 노름 공 안에 있습니다. 좌표의 단위와 전처리도 중요합니다. 특징 하나의 단위를 바꾸면 위협 집합도 함께 변환하지 않는 한 허용 변화의 의미가 달라집니다.

부호 마진으로 정확성을 표현한다

목표 레이블을 곱한 부호 마진은 다음과 같습니다.

$$m=y(w^\top x+b).$$

양수 마진은 경계에서 떨어진 정확한 예측이고 음수 마진은 오류입니다. 영점에서는 선언한 동률 규칙이 필요합니다. 현재 점수 영은 양성으로 예측하므로 양성 목표에서는 정확하고 음성 목표에서는 오류입니다.

섭동 후 마진은 원래 마진에 목표 레이블과 가중치와 섭동의 내적을 더한 값입니다. 내부 최소화 동안 가중치와 편향과 원래 입력과 목표는 고정됩니다. 바뀌는 것은 허용된 섭동뿐입니다.

쌍대 노름의 하계와 달성 방향을 증명한다

Hölder 부등식은 내적의 절댓값을 쌍대 노름의 곱으로 제한합니다. 지수의 역수 합이 일인 쌍대 지수를 쓰면 다음을 얻습니다.

$$yw^\top\delta\ge-\|w\|_q\|\delta\|_p\ge-\epsilon\|w\|_q.$$

각 노름에서 이 하계를 실제로 달성하는 허용 방향을 만들 수 있으므로 다음은 단순한 충분 하계가 아니라 정확한 최소값입니다.

$$\min_{\|\delta\|_p\le\epsilon}y f(x+\delta)=m-\epsilon\|w\|_q.$$

무한 노름에서는 각 좌표를 가중치 부호의 반대 방향으로 반경만큼 이동하며 목표 레이블 부호를 함께 반영합니다. 쌍대 노름은 일 노름입니다. 이 노름에서는 정규화한 가중치 반대 방향을 사용합니다. 일 노름에서는 절댓값이 가장 큰 가중치 좌표 하나에 예산을 집중하며 쌍대 노름은 무한 노름입니다.

최대 절댓값 좌표가 여러 개이면 최적 섭동은 유일하지 않을 수 있습니다. 구현은 그중 첫 좌표를 선택한 하나의 달성 예를 보여 줍니다. 가중치가 모두 영이면 모든 허용 입력에서 점수가 같으므로 영인 노름으로 나누지 않습니다.

다른 공에서의 안내 예제를 계산한다

가중치를 삼과 사로 두고 입력은 원점이며 편향은 사이고 목표는 양성이라고 합시다. 깨끗한 마진은 사입니다. 반경 일이 무한 노름 제한이면 두 좌표를 각각 마이너스 일로 바꿀 수 있어 최악 마진은 마이너스 삼입니다.

이 노름 제한이면 쌍대 노름은 오이고 최악 방향은 마이너스 오 분의 삼과 마이너스 오 분의 사입니다. 최악 마진은 마이너스 일입니다. 일 노름 제한이면 쌍대 노름은 사이고 두 번째 좌표만 마이너스 일로 바꾸어 최악 마진 영을 얻습니다. 이는 같은 집합에서 공격 알고리즘의 성능이 다른 것이 아니라 허용 집합 자체가 다른 결과입니다.

닫힌 경계의 동률을 정확하게 읽는다

두 번째 안내 예제는 위의 일 노름 경우입니다. 닫힌 공의 모든 점에서 점수가 영 이상이므로 양성 목표는 동률 규칙에 따라 정확하게 분류됩니다. 그러나 모든 점의 부호 마진이 엄격히 양수라는 인증은 성립하지 않습니다.

세 번째 안내 예제는 편향을 마이너스 사로 하고 목표를 음성으로 바꿉니다. 깨끗한 부호 마진은 다시 사이지만 두 번째 좌표를 일만큼 바꾸면 점수가 영이 됩니다. 영점은 양성으로 예측하므로 음성 목표에서는 오류입니다. 같은 최악 부호 마진 영도 목표와 동률 규칙에 따라 실제 정확성이 다릅니다.

엄격한 양의 마진은 두 레이블에 공통으로 충분합니다. 실제 닫힌 공에서의 강건성은 양성 목표에서는 최악 마진 영을 포함하고 음성 목표에서는 포함하지 않습니다. 표시 소수점을 임의로 반올림하여 경계를 결정하지 않습니다.

제곱근 비교를 정수 비교로 바꾼다

이 노름의 좌표와 노름에는 제곱근이 들어갈 수 있습니다. 그림은 소수 근사를 쓰지만 논리 플래그는 반올림한 값을 비교하지 않습니다. 제어 입력은 유계 정수 또는 사분의 일 격자입니다.

마진과 반경의 분모를 제거하면 음이 아닌 정수와 반경 정수에 가중치 제곱합의 제곱근을 곱한 값을 비교하는 문제가 됩니다. 양변을 제곱하여 정확한 정수 곱으로 비교할 수 있습니다. 원래 마진이 음수이면 이미 최악 마진도 음수입니다. 허용 범위의 정수 곱은 안전하게 정확히 표현되며 동률도 구분됩니다.

수학적 최적 좌표가 대수적 수여도 화면 좌표는 반올림됩니다. 그 반올림 좌표로 내적을 다시 계산하면 경계에서 가짜 미세 부호가 생길 수 있습니다. 경계 판단은 대수적 마진 관계를 사용합니다.

인증 반경과 특수 사례를 해석한다

원래 정확한 비상수 분류기에서는 임계 반경이 마진을 쌍대 노름으로 나눈 값입니다. 양성 목표에서는 유한 경계를 포함하고 음성 목표에서는 제외합니다. 반경은 상한을 나타내므로 끝점의 포함 여부를 별도로 말해야 합니다.

올바른 상수 분류기에는 유한한 입력 변화 경계가 없어 반경이 무한합니다. 이를 영인 가짜 반경이나 그래프의 무한 숫자로 표시하지 않고 명시적인 플래그로 구분합니다. 원래부터 틀린 입력에서는 정확한 근방을 인증할 수 없으므로 반경이 음수인 거리가 아니라 미정입니다.

고정 선형 모형의 보장은 실제 학습한 비선형 모형의 보장으로 확장되지 않습니다. 목표 레이블의 의미 보존과 실제 데이터의 타당성도 따로 평가해야 합니다.

그림과 수치를 연결한다

첫 그림은 선택한 공과 결정 경계와 원래 입력과 최악 섭동의 도착점을 보여 줍니다. 상수 분류기에는 결정선을 그리지 않고 반경 영인 공은 입력 하나로 붕괴합니다. 선택한 최적 섭동이 유일한 해라고 가정하지 않습니다.

두 번째 그림은 깨끗한 정확성·정확한 최악 부호·엄격 인증·동률을 포함한 실제 강건성을 구분합니다. 마지막 그래프는 다른 입력을 고정하고 반경만 바꾼 직선 마진입니다. 학습 궤적이나 오류 확률이 아닙니다. 원판의 그림도 근사이며 결과는 식과 정확한 부호 비교로 결정합니다.

연습 문제와 해설

1. 가중치 삼과 사에서 일·이·무한 노름 위협의 쌍대 노름은 무엇인가요? 해설: 각각 사와 오와 칠입니다.
2. 일 노름 반경 일에서 두 좌표를 각각 마이너스 일로 바꿀 수 있나요? 해설: 일 노름이 이가 되어 제약을 위반합니다.
3. 최악 점수가 영이면 엄격 인증이 성립하나요? 해설: 아닙니다. 실제 정확성은 목표와 동률 규칙에 따라 달라집니다.
4. 가중치가 영이고 편향이 양수이면 입력으로 예측을 뒤집을 수 있나요? 해설: 없습니다. 양성 목표의 반경은 무한하고 음성 목표는 원래부터 오류입니다.
5. 최대 가중치 좌표의 동률에서 하나를 선택하면 유일성이 증명되나요? 해설: 달성 예 하나를 제공할 뿐입니다.
6. 픽셀 범위에 잘라 넣으면 왜 다른 문제인가요? 해설: 원래 공에 없던 제약을 추가하여 최적 섭동을 제거할 수 있습니다.

연구와 연결한다

Goodfellow·Shlens·Szegedy는 적대적 예제의 선형적 원인을 논의합니다. 여기서는 고정 선형 분류기의 쌍대 노름 계산을 직접 유도했습니다. 다음 단원은 작은 ReLU 모형에서 공격과 충분 인증이 전역 최소화와 어떻게 다른지 비교합니다.