ReLU 공격·정확 최소값·충분 인증

하나의 반례와 전체 보장을 구분한다

적대적 공격은 허용 입력 하나에서 오류를 찾는 절차입니다. 안전성 인증은 허용 입력 전체에 대한 명제를 증명합니다. 공격이 반례를 찾지 못한 것은 반례가 없다는 증명이 아니며 충분 인증이 실패한 것도 반례가 존재한다는 증명이 아닙니다.

이 실습은 이차원 입력과 한 은닉층을 가진 세 고정 ReLU 네트워크를 사용합니다. 충분히 작기 때문에 전역 최소값을 정확히 구하여 공격 결과와 보수적인 하계를 비교할 수 있습니다. 일반적인 깊은 네트워크 검증기를 구현했다고 해석하지 않습니다.

네트워크와 닫힌 위협 상자를 정한다

점수 함수는 다음과 같습니다.

$$f(u)=b+\sum_j a_j\max(0,w_j^\top u-h_j).$$

목표는 양성이고 점수 영은 양성으로 예측합니다. 위협 집합은 중심 입력에서 각 좌표가 반경만큼 변할 수 있는 닫힌 무한 노름 공입니다. 목표가 그 집합에서 유지된다고 가정합니다. 조작값은 네트워크 종류·중심·반경·공격 시작점·반복 수·단계 크기입니다.

현재 고정 가중치는 영 또는 일의 부호를 가진 성분을 쓰고 임계값은 사분의 일 격자입니다. 허용 입력과 활성 교점은 이 범위에서 정확한 이진 분수로 표현됩니다. 임의의 다른 가중치에서도 같은 산술 성질이 성립한다고 확대하면 안 됩니다.

정확한 최소값의 후보가 어디에 있는지 증명한다

각 은닉 유닛은 활성 경계선에서 선형식이 바뀝니다. 경계선은 입력 상자를 볼록 다각형 영역들로 나눕니다. 각 영역에서 네트워크 전체 점수는 선형이며 경계에서도 연속입니다.

비어 있지 않은 콤팩트 다각형 위의 선형 함수는 꼭짓점에서 최소값을 달성합니다. 함수가 상수이면 다른 모든 점도 최소점일 수 있지만 꼭짓점에서도 달성한다는 사실은 유지됩니다. 후보는 상자 꼭짓점과 활성선과 상자 변의 교점과 활성선끼리의 교점입니다. 모든 실행 가능한 후보를 열거하면 이 작은 문제의 정확한 전역 최소값을 얻습니다.

평행하거나 같은 활성선은 영인 행렬식으로 나누지 않고 처리합니다. 반경 영에서는 입력 집합이 한 점입니다. 초록 표시는 최소값을 달성하는 후보 꼭짓점이지 전체 최소점 집합이 아닙니다. 상수 네트워크는 상자 내부 전체에서 같은 최소값을 가질 수 있습니다.

독립 구간의 하계를 유도한다

은닉 유닛의 활성 전 값은 중심 값에서 반경과 가중치 일 노름의 곱만큼 위아래로 변합니다. ReLU를 적용하면 아래쪽을 영으로 자른 구간이 됩니다. 출력 계수가 양수이면 은닉 구간의 아래 끝을, 음수이면 위 끝을 선택해 출력 하계를 계산합니다.

이 독립 구간은 실제 가능한 활성값을 모두 포함하지만 동시에 달성할 수 없는 조합까지 허용할 수 있습니다. 따라서 결과는 보수적인 하계이며 다음 부등식을 만족합니다.

$$L\le M.$$

하계가 양수이면 상자 전체의 엄격한 양의 점수를 충분히 인증합니다. 하계가 음수인 경우는 이 충분 절차가 인증하지 못했다는 뜻입니다. 그 하계가 실제로 달성되거나 실제 최소값이 음수라는 뜻이 아닙니다.

투영 공격의 방향과 최선 방문점을 정한다

목표가 양성이므로 공격은 점수를 줄입니다. 매 반복에서 입력 경사의 부호에 단계 크기를 곱해 빼고 상자 밖의 좌표를 다시 허용 구간으로 투영합니다. ReLU 경계점에서 구현은 미분값 영을 선택합니다.

시작점도 방문점에 포함하며 마지막 점수만 쓰지 않고 지금까지 가장 낮은 점수를 보존합니다. 큰 단계에서는 지나치거나 왕복할 수 있어 마지막 값이 최선이라고 단정할 수 없기 때문입니다. 모든 방문 입력은 실행 가능하므로 최선 방문 점수는 전역 최소값의 상계입니다.

$$L\le M\le U.$$

공격 상계가 음수이면 실제 오류 반례를 제공합니다. 반복을 늘리거나 시작점을 바꾸면 상계가 개선될 수 있지만 그것만으로 정확한 최소값으로의 수렴을 증명하지는 않습니다.

평평한 경사에서 실패하는 공격을 계산한다

첫 네트워크는 다음 점수입니다.

$$f(u)=1-3\operatorname{ReLU}(u_0-1/4)+3\operatorname{ReLU}(u_0-3/4).$$

두 번째 좌표에는 의존하지 않습니다. 원점에서는 두 유닛이 모두 비활성이고 점수는 일이면서 선택한 입력 경사는 영입니다. 중심에서 시작한 공격은 반복 수와 무관하게 그 자리에 머뭅니다.

그러나 첫 좌표가 사분의 삼 이상이면 점수는 마이너스 이분의 일입니다. 원점의 반경 일 상자는 그런 입력을 포함하므로 정확한 최소값은 마이너스 이분의 일입니다. 실패한 공격의 최선 점수는 일이지만 다른 활성 영역에는 실제 오류가 있습니다. 활성 영역 계산은 그 공격이 발견하지 못한 비강건성을 정확히 확인합니다.

시작점을 바꾸어도 문제 자체는 바뀌지 않는다

두 번째 안내 예제는 네트워크와 위협 상자를 유지하고 오른쪽 아래 꼭짓점에서 공격을 시작합니다. 그 점은 이미 점수가 마이너스 이분의 일이므로 시작 즉시 반례가 발견됩니다.

정확한 최소값과 구간 하계는 바뀌지 않습니다. 이들은 네트워크와 위협 집합에 의존하지 공격 시작점과 반복 수와 단계 크기에 의존하지 않기 때문입니다. 탐색 방법을 바꾸면서 보장의 대상 집합까지 몰래 바꾸지 않는 것이 중요한 실험 불변량입니다.

반례 하나는 실행 가능한 지점의 오류를 증명합니다. 특정 공격이 모든 오류를 언제나 찾는다거나 다른 시작점에서 공격이 실패하면 안전하다는 결론은 따라오지 않습니다.

같은 활성값의 상쇄와 느슨한 인증을 계산한다

세 번째 안내 예제는 다음 함수입니다.

$$f(u)=1+\operatorname{ReLU}(u_0)-\operatorname{ReLU}(u_0)=1.$$

원점의 반경 이 상자에서 각 은닉 활성값은 영부터 이까지입니다. 독립 출력 구간은 양수 항에는 영을 선택하고 음수 항에는 이를 선택하여 마이너스 일인 하계를 만들 수 있습니다. 하지만 두 항은 같은 입력의 같은 활성값이므로 그 선택은 동시에 실현될 수 없습니다.

정확한 최소값과 최대값은 모두 일이고 상자 전체에서 정확합니다. 음수인 충분 하계는 실제 반례 때문에 실패한 것이 아니라 의존성을 잃어서 느슨해진 것입니다. 실패한 공격과 실패한 인증을 모두 근거 없는 반대 방향의 명제로 뒤집지 마세요.

동률과 정확한 산술을 해석한다

화면은 엄격한 양수 여부와 양성 동률을 포함한 실제 정확성을 따로 표시합니다. 정확한 최소값이 영이면 고정 양성 목표에서는 여전히 모든 예측이 정확하지만 엄격한 양의 마진은 아닙니다. 하계 영도 엄격 인증이 아닙니다.

현재 허용 격자의 활성 배치 값은 정확히 계산됩니다. 독립 검사는 모든 활성 패턴의 다각형을 차례로 잘라 최소값과 최대값을 비교합니다. 생산 코드의 두 선 교점 열거를 그대로 반복한 검사가 아닙니다. 별도의 유리수 계산도 작은 예제를 확인했습니다. 촘촘한 격자만으로는 얇은 영역을 놓칠 수 있어 전역 최소값의 증명을 대신하지 않습니다.

그림과 상하계 그래프를 읽는다

첫 그림의 상자와 점선은 위협 집합과 활성 경계입니다. 후보 꼭짓점과 투영 공격의 방문점이 함께 표시됩니다. 주황 경로는 탐색 궤적이며 물리 계의 시간 흐름이나 보편적 최적화 보장이 아닙니다.

비교 패널은 하계·정확한 작은 모형의 최소값·공격 상계를 구분합니다. 마지막 그래프는 반복 수에 따른 최선 방문 점수와 변하지 않는 정확 최소값과 구간 하계를 보여 줍니다. 최선 방문 곡선은 증가하지 않지만 평평한 시작점에서는 정확 최소값 위에 계속 머물 수 있습니다.

연습 문제와 해설

1. 실행 가능한 공격 점수가 마이너스 영 점 이이면 무엇이 증명되나요? 해설: 양성 목표의 실제 오류가 존재하며 전역 최소값은 그보다 크지 않습니다.
2. 공격이 양수 점수만 방문하면 무엇을 말할 수 있나요? 해설: 방문한 점에 대해서만 양수였으며 미방문 영역의 오류를 배제할 수 없습니다.
3. 구간 하계가 마이너스 일인데 정확 최소값이 일이면 모순인가요? 해설: 하계가 실제 달성될 필요는 없으므로 모순이 아닙니다.
4. 시작점을 왜 보존하나요? 해설: 그 자체가 실행 가능하며 이미 최선 반례일 수 있습니다.
5. 최소 후보 꼭짓점이 왜 전체 최소점 집합은 아닌가요? 해설: 한 영역이 상수이면 변이나 내부도 최소값을 달성합니다.
6. 반복 수를 늘리면 정확 최소값이 바뀌나요? 해설: 바뀌지 않습니다. 탐색 상계만 달라질 수 있습니다.
7. 정확 최소값이 영이면 음수 점수 오류가 있나요? 해설: 양성 목표와 양성 동률 규칙에서는 없지만 엄격한 양수 조건은 실패합니다.

연구와 연결한다

Madry 등은 강건 최적화 관점에서 적대적 강건성을 연구하며 Wong·Kolter는 볼록 외부 근사로 보장 경계를 연구합니다. 여기의 독립 구간과 꼭짓점 열거는 그 전체 방법의 재현이 아닌 직접적인 교육용 구성입니다. 큰 모형으로 넘어가기 전에 공격과 인증이 제공하는 근거의 방향과 한계를 명확히 합니다.