연쇄법칙과 국소 변화

왜 합성함수의 미분이 필요한가

AI 모형은 입력에 연산 하나만 적용하지 않습니다. 입력을 정규화하고, 가중치를 곱하고, 활성화 함수를 통과시킨 뒤 목표와 비교합니다. 앞쪽의 가중치를 개선하려면 여러 단계 뒤에 있는 손실이 그 가중치에 얼마나 민감한지 알아야 합니다.

연쇄법칙은 각 단계의 국소 민감도를 연결하여 이 문제를 풉니다. 변위를 전압으로, 전압을 화면의 숫자로 바꾸는 측정기를 떠올려보세요. 첫 변환기의 배율과 두 번째 변환기의 배율을 곱하면 전체 배율입니다. 다만 비선형 변환기의 배율은 현재 작동점에 따라 달라집니다. 부호도 음수일 수 있습니다.

이 단원에서는 중간 변수를 찾고, 각 미분을 올바른 지점에서 평가하고, 미분과 유한한 변화량을 구분합니다. 손계산을 수치 검산과 연결하는 것이 목표입니다. 실험은 단위를 지정하지 않은 합성 스칼라 함수이며, 실제 물리 장치의 보정 모형은 아닙니다.

기호와 현재 작동점

기호	이 단원에서의 의미
$x$	변화를 가할 스칼라 입력
$a,b$	$x$로 미분할 때 고정하는 매개변수
$u=ax+b$	첫 연산을 통과한 중간값
$y=u^2$	최종 출력
$\delta$	근사의 정확도를 살펴볼 유한한 입력 변화
$\varepsilon>0$	중앙차분 검산에 사용하는 별도의 작은 간격

미분에는 반드시 평가 지점이 있습니다. $a=2,b=1,x=1$이면 중간값은 $u=3$입니다. 바깥 함수인 제곱의 미분은 원래 입력 1이 아니라 중간값 3에서 평가합니다. 순전파의 값을 먼저 표에 적으면 이 실수를 줄일 수 있습니다.

작은 변화에서 연쇄법칙 유도하기

$u=g(x)$, $y=f(u)$라고 놓읍시다. $g$가 $x$에서 미분 가능하면 작은 입력 변화는

$$\Delta u=g'(x)\delta+o(\delta)$$

로 표현됩니다. $o(\delta)$는 $\delta$로 나눈 비율이 0으로 가는 나머지입니다. $f$도 $g(x)$에서 미분 가능하면 $\Delta y=f'(u)\Delta u+o(\Delta u)$입니다. 두 일차 근사를 연결하면

$$\frac{dy}{dx}=f'(g(x))g'(x)$$

를 얻습니다. 즉, 첫 단계가 작은 변화를 몇 배로 만드는지, 다음 단계가 그 변화를 다시 몇 배로 만드는지 곱합니다. 각 함수가 해당 지점에서 미분 가능하다는 조건이 이 법칙을 적용하는 충분조건입니다.

$(dy/du)(du/dx)$ 표기는 기억에 유용하지만, 임의의 미분 기호를 분수처럼 약분해도 된다는 뜻은 아닙니다. 핵심은 일차 근사의 합성입니다. 또한 이 식은 유한한 이동이 항상 미분값에 정확히 비례한다고 말하지 않습니다.

기준 예제를 끝까지 손으로 계산하기

$a=2,b=1$을 고정하고 $x=1$을 넣습니다.

단계	순방향 값	그 단계의 국소 미분
입력	$x=1$	—
아핀 변환	$u=2(1)+1=3$	$du/dx=2$
제곱	$y=3^2=9$	$dy/du=2u=6$

두 국소 배율을 곱합니다.

$$\frac{dy}{dx}=6\times2=12.$$

입력을 충분히 작게 늘리면 출력이 그 변화의 약 12배만큼 증가한다는 뜻입니다. 출력 자체가 $12x$라는 뜻도 아니고, 모든 $x$에서 기울기가 12라는 뜻도 아닙니다. 값과 민감도를 분리해서 읽으세요.

실제 변화와 접선 예측의 차이

이 이차함수에서는 식을 전개하여 정확한 유한 변화량을 얻을 수 있습니다.

$$\Delta y=(a(x+\delta)+b)^2-(ax+b)^2 =2a(ax+b)\delta+a^2\delta^2.$$

첫 항은 접선의 일차 예측이고, 두 번째 항은 그 근사에서 빠진 나머지입니다. 기준점에서 $\delta=0.1$이면

$$\Delta y=12(0.1)+4(0.1)^2=1.24.$$

새 출력은 $10.24$, 이전 출력은 $9$, 출력의 변화는 $1.24$입니다. 새 값과 변화량을 혼동하지 마세요. 일차 예측 $1.2$와의 차이 $0.04$가 곡률 때문에 생긴 오차입니다.

입력 변화를 $0.01$로 줄이면 일차항은 $0.12$, 나머지는 $0.0004$입니다. 이동은 10분의 1이 되었지만 오차는 100분의 1이 됩니다. 이것이 이차 오차의 직관입니다. 다른 함수에서도 같은 정확한 나머지 식을 쓸 수 있다는 의미는 아닙니다.

인터랙티브 그림 읽는 방법

계산 그래프의 파랑은 입력에서 출력으로 값이 흐르는 방향입니다. 주황은 출력의 민감도를 앞쪽 변수까지 되짚는 방향입니다. 선 길이나 노드 위치는 값의 크기를 표현하지 않습니다. 단계 버튼은 설명을 나누어 보여주며 계산 자체는 항상 완전한 함수를 사용합니다.

곡선 그림의 가로축은 현재 점에서의 입력 변화, 세로축은 출력의 변화입니다. 파랑은 실제 함수, 주황 점선은 현재 점의 접선입니다. 두 곡선은 같은 축을 사용합니다. 축은 설정값에 맞춰 자동 조절되며 양의 표시 한계가 숫자로 나옵니다. 서로 다른 설정의 기울기는 화면의 각도만으로 비교하지 말고 수치를 함께 보세요.

안내 실험 세 가지를 먼저 확인한 후 $a,b,x,\delta$를 바꿔보세요. $\varepsilon$은 별도 역할입니다. $\delta$는 유한 변화에 대한 예측을, $\varepsilon$은 미분 공식을 수치로 검산합니다.

기울기가 0이거나 음수일 때

$x=-0.5,a=2,b=1$이면 중간값 $u=0$이므로 전체 미분도 0입니다. 하지만 주변에서 함수가 상수인 것은 아닙니다.

$$\Delta y=4\delta^2.$$

$\delta=0.1$이면 실제 변화는 여전히 $0.04$입니다. 정지점에서는 일차항만 사라집니다. 더 높은 차수의 영향까지 모두 사라지는 것은 아닙니다.

$x=-1$에서는 $u=-1$, $dy/du=-2$, 전체 미분은 $-4$입니다. 입력을 증가시켜도 출력이 감소할 수 있습니다. $\delta=0.1$일 때 일차 예측은 $-0.4$, 실제 변화는 $-0.36$입니다. 안쪽 배율이 양수여도 바깥 배율이 음수이면 전체 부호가 바뀝니다.

반면 $a=0$이면 모든 입력에서 $u=b$, $y=b^2$입니다. 이 경우에는 실제로 $x$와 무관한 상수 함수입니다. 한 점에서 기울기가 0인 경우와 모든 입력 의존성이 차단된 경우를 구분하세요.

중앙차분으로 미분 검산하기

입력을 양쪽으로 조금 움직여 미분을 추정합니다.

$$D_\varepsilon y(x)=\frac{y(x+\varepsilon)-y(x-\varepsilon)}{2\varepsilon}.$$

이 실험의 이차함수는 실수의 정확한 산술에서는 이차항이 서로 상쇄되어 분석적 미분과 정확히 일치합니다. 브라우저의 부동소수점 연산에서는 아주 작은 차이가 남을 수 있습니다. 일반적인 충분히 매끄러운 함수에서는 중앙차분의 절단 오차가 $\varepsilon^2$ 차수이며, 항상 정확한 것은 아닙니다.

$\varepsilon$을 지나치게 줄이면 거의 같은 두 수를 뺀 뒤 작은 수로 나누므로 반올림 오차가 증폭됩니다. 반대로 너무 크면 국소 영역을 벗어날 수 있습니다. 수치 검산은 유도 과정을 뒷받침하는 수단이지 증명을 대체하지 않습니다. 뒤의 ReLU 예제에서는 미분 불가능점도 따로 다룹니다.

AI에서는 무엇을 미분하는가

같은 계산 그래프라도 어떤 변수를 움직이는지에 따라 미분이 다릅니다. 이번에는 $x,b$를 고정하고 $a$를 바꾸면

$$\frac{\partial y}{\partial a}=2ux, \qquad \frac{\partial y}{\partial b}=2u$$

입니다. 기준점에서는 두 값이 모두 6이지만 $dy/dx$는 12입니다. 먼저 변화시킬 변수와 고정할 변수를 명확히 하세요. 신경망의 매개변수 미분은 고정된 표본에서 그 매개변수 변화가 손실에 미치는 영향을 나타냅니다. 입력 미분은 표본 자체에 대한 민감도를 나타낼 수 있습니다.

층을 여러 번 통과하면 한 경로의 국소 미분이 연속으로 곱해집니다. 작은 배율이 반복되면 신호가 약해지고 큰 배율이 반복되면 증폭될 수 있습니다. 그러나 여러 경로로 분기되면 곱셈뿐 아니라 합산도 필요합니다. 다음 Jacobian 단원이 이 구조를 다룹니다.

스스로 계산해보기

1. $x=0,a=3,b=-1$에서 $u,y,dy/dx$와 $\delta=0.1$의 실제 변화를 계산하세요. 확인: $u=-1,y=1$, 미분 $-6$, 변화 $-0.51$입니다.
2. 기준점에서 $\delta$를 $0.1$에서 $0.05$로 바꾸세요. 확인: 나머지는 $0.01$로, 이전의 4분의 1입니다.
3. 같은 순전파에서 $a$에 대한 미분과 $x$에 대한 미분이 다른 이유를 설명하세요.
4. 기울기가 0이지만 주변에서 상수가 아닌 함수를 그리고 어떤 고차항이 남는지 적어보세요.

더 공부하기

위 유도와 수치 예제는 이 교재의 직접 계산 예제입니다. 편미분·연쇄법칙·방향미분의 더 넓은 배경은 MIT OpenCourseWare의 Multivariable Calculus 중 Partial Derivatives의 Part B를 참고하세요. 다음 단원에서는 스칼라 배율을 행렬 형태의 국소 선형변환으로 확장합니다.