보편 근사의 조건과 ReLU 구성

보편 근사는 존재 명제다

전형적인 보편 근사 결과는 compact 영역 K의 연속 함수 f와 ε>0에 대해, 적절한 활성화·bias·충분한 폭을 허용하면 균등 오차가 ε보다 작은 유한 네트워크가 존재한다는 내용입니다. 연속 비다항 활성화인 ReLU는 적절한 bias와 폭을 허용하는 이론의 대표적인 예입니다. 정확한 정리를 사용할 때 활성화의 조건과 공간·노름을 함께 명시해야 합니다.

이는 고정한 폭 하나로 모든 f와 모든 ε를 처리한다는 말이 아닙니다. 필요한 크기나 계수, 이를 찾는 학습 알고리즘의 성공도 이 존재 명제만으로 얻지 못합니다.

ReLU hinge를 실제로 조립하기

[-1,1]을 n개 구간으로 나누고 x²의 선형 보간을 만듭니다. 처음 값은 1, 첫 기울기는 s₀=−2+2/n이며 내부 매듭 tⱼ=−1+2j/n에서 기울기가 4/n씩 증가합니다.

Affine skip과 n−1개 ReLU hinge를 쓰는 명시적 구성입니다. n=4이면 세 hinge로 균등 오차 1/16을 얻고 n=8이면 1/64입니다. 구간 길이 h=2/n에서 보간 오차 h²/4를 사용했습니다. 이는 x² 하나에 대한 구성이지 모든 연속 함수의 일반 정리를 증명한 것은 아닙니다.

선형 활성화가 실패하는 이유

Affine 사상을 아무리 합성하거나 넓게 합해도 결과는 affine입니다. [-1,1]의 x²에 대한 최선 균등 affine 근사는 상수 1/2이며 오차는 1/2입니다. 대칭점 −1과 1의 평균은 affine의 상수항이므로, 중앙 값과 양끝을 동시에 맞추려면 적어도 절반의 오차가 필요합니다.

실습의 선형 모드는 이 최선 기준을 보여줍니다. ReLU n=1 구성은 상수 1이라 오차가 1입니다. 모순이 아닙니다. 하나는 명시한 보간 구성, 다른 하나는 affine 족 전체의 최선 해입니다.

연구에서 분리해야 할 질문

표현 존재, 적은 수의 유닛으로 표현, 유한 표본에서 일반화, 유한 시간에 최적화는 서로 다른 질문입니다. 깊이가 효율을 바꿀 수 있다는 주장도 대상 함수족과 계산 비용의 정의를 필요로 합니다. 현재의 작은 실험에서 폭을 늘려 오차가 줄었다고 모든 실제 학습 문제의 효율을 결론 내리지 않습니다.

확인 문제와 해설

1. 정확한 x²를 ReLU 유한 spline으로 전 구간에서 표현하나요? 이 구성은 조각선형이므로 근사합니다. 폭을 늘려 오차를 줄입니다.
2. bias를 빼도 같은 정리를 자동 적용하나요? 아니요. 매듭의 위치를 옮기는 능력 등 가정이 바뀝니다.
3. 오차 ε를 얻으려면 이 구성의 n은? n>1/√ε를 택하면 됩니다. 이 특정 이차 함수 구성에 한정한 계산입니다.

추가 읽기: Leshno et al., Nonpolynomial Activation and Approximation.