본문으로 건너뛰기
49 / ANALYSIS LAB
먼저 알아두면 좋아요 · 연결된 선수 단원의 극한·함수·미분·선형사상
단원 목록 (650) · 암묵함수·역함수 정리
이해하는 속도로 읽으세요.개념도이론실험확인 문제
BUILD YOUR INTUITION

먼저 그림으로 이해하기

한 번에 한 단계씩 살펴보세요.

해가 존재하는 것과 미분 가능한 국소 해를 얻는 조건을 구분합니다.

-111가로·세로의 단위 길이가 같습니다.
가로: x · 세로: 양의 원 가지 또는 세제곱과 그 역함수
함수·원래 모형

y(x₀) = 0.8

고정 기준 예제의 그림과 수치입니다. 각 단계에서 같은 그림의 의미를 차례로 살펴보세요. 고정된 기준 예제이며 아래 실험의 설정과 독립적입니다.
1 / 4

제약

x²+y²=1 위의 점 (0.6,0.8)을 봅니다.

F=0

실험에서 확인하기 →
이 단원 목차

식으로 주어진 곡선에서 함수 찾기

x²+y²=1은 원을 정의하지만 전체 원을 하나의 y=f(x)로 표현할 수는 없습니다. 같은 x에 두 y가 대응할 수 있기 때문입니다. 점 (0.6,0.8) 근처에서는 양의 가지 y=√(1−x²)를 미분 가능한 함수로 쓸 수 있습니다.

F(x,y)=x2+y2−1,Fx=2x,Fy=2y.F(x,y)=x^2+y^2-1,\qquad F_x=2x,\quad F_y=2y.

F가 충분히 연속 미분 가능하고 F(x₀,y₀)=0,F_y(x₀,y₀)≠0이면 근처에서 유일한 미분 가능 y(x)를 얻습니다. 이는 국소 정리입니다. 원 전체에서 가지 하나가 존재한다거나 해가 전역 유일하다고 주장하지 않습니다.

암묵 미분의 도출

F(x,y(x))=0을 연쇄법칙으로 미분하면 Fₓ+Fᵧy′=0입니다.

y′(x)=−FxFy=−xy.y'(x)=-\frac{F_x}{F_y}=-\frac xy.

기준점에서는 −0.6/0.8=−0.75입니다. x=1,y=0에서는 분모가 0이므로 정리를 쓸 수 없고 양의 가지의 유한 도함수도 없습니다. 그림은 이 수직 접선을 0 기울기로 바꾸지 않습니다.

여러 종속 변수 y에서 Fᵧ는 정방 Jacobian이고 조건은 가역성입니다. 도함수는 −(Fᵧ)⁻¹Fₓ입니다. 실제 계산에서는 역행렬을 명시적으로 만드는 대신 선형계를 푸는 것이 적절할 수 있습니다.

역함수 정리는 충분조건을 준다

C¹ 사상 f:Rⁿ→Rⁿ의 Jacobian이 한 점에서 가역이면 근처에서 C¹ 역함수가 있고

D(f−1)(f(x0))=[Df(x0)]−1.D(f^{-1})(f(x_0))=[Df(x_0)]^{-1}.

이 조건은 미분 가능한 국소 역에 대한 충분조건입니다. 단순히 역함수가 존재하는 데 필요한 조건이라고 뒤집으면 틀립니다. 스칼라 f(x)=x³은 전역 일대일이고 실수 세제곱근 역을 갖지만 f′(0)=0입니다. 역함수는 원점에서 유한 도함수가 없습니다.

특이점에서 무엇이 실패하는가

원의 끝점은 x의 함수로 쓰는 정칙성이 실패하지만, 해당 점에서 x를 y의 함수로 쓰는 것은 가능합니다. 어느 변수를 종속으로 선택하는지에 따라 Jacobian 블록이 달라집니다. 원래 곡선 자체가 사라졌다는 뜻이 아닙니다.

정리의 가정 실패는 결론의 자동 부정과 다릅니다. 정칙 조건이 없으면 해당 정리가 보장하지 못한다는 뜻이며 실제 존재 여부는 별도 분석해야 합니다.

고정점과 손실을 함께 미분하기

z∈Rᵈ, θ∈Rᵖ로 두겠습니다. 선택한 해 z*=f(z*,θ)의 열린 근방에서 f가 C¹이고 I−J_z f가 가역이라고 가정합니다. G=z−f로 놓고 G=0을 미분하면

(I−Jzf)dz∗dθ=Jθf.(I-J_z f)\frac{dz^*}{d\theta}=J_\theta f.

θ의 변화는 f를 직접 바꾸고, 바뀐 상태는 J_z f를 통해 다시 되먹임됩니다. 위 선형계는 선택한 평형점에서 이 되먹임을 반영합니다. 국소 도함수를 주는 식이며 해의 존재와 실제 계산 방법은 별도로 확인해야 합니다.

스칼라 손실 ℓ(z*,θ)에 대해 gradient를 열벡터로 쓰면 다음 수반 선형계를 한 번 풀 수 있습니다.

(I−Jzf)Tλ=∇zℓ,∇θℓ=∂θℓ+(Jθf)Tλ.(I-J_z f)^T\lambda=\nabla_z\ell,\qquad \nabla_\theta\ell=\partial_\theta\ell+(J_\theta f)^T\lambda.

직접 편미분은 z를 고정합니다. 민감도 식에 λᵀ를 곱하면 ∇_zℓᵀ dz*/dθ를 바꿔 쓸 수 있어 두 번째 항을 얻습니다. λ는 d차원이고 최종 매개변수 gradient는 p차원입니다.

유한 반복과 평형 민감도 비교

고정된 a≠1에 대해 z*=az*+b를 생각하면 해는 b/(1−a), 민감도 dz*/db는 1/(1−a)입니다. b와 독립인 z₀=0에서 zₜ₊₁=azₜ+b를 T번 실행해 보세요. 각 단계를 미분하면 p₀=0, pₜ₊₁=apₜ+1입니다.

zT=b∑j=0T−1aj,pT=∂zT∂b=1−aT1−a.z_T=b\sum_{j=0}^{T-1}a^j,\qquad p_T=\frac{\partial z_T}{\partial b}=\frac{1-a^T}{1-a}.

a=1/2, b=1에서 상태와 민감도는 모두 2에 접근합니다.

반복 횟수 T z_T와 p_T 2와의 절대 오차
1 1 1
4 1.875 0.125
16 1.999969482421875 0.000030517578125

오차는 정확히 2·(1/2)ᵀ입니다. |a|<1이면 기하급수 꼬리가 사라집니다. 하지만 a=6/5, b=1에서는 유일하고 미분 가능한 고정점과 민감도가 모두 −5인데도 0에서 시작한 반복은 발산합니다. 1−a의 가역성만으로 이 반복 알고리즘의 수렴이 보장되지는 않습니다. a=1, b=0이면 해가 무한히 많고 b≠0이면 해가 없습니다.

잔차 r(z)=z−az−b를 계산하면

∣z−z∗∣=∣r(z)∣∣1−a∣.|z-z^*|=\frac{|r(z)|}{|1-a|}.

a가 1에 가까우면 잔차가 작아도 상태 오차와 매개변수 민감도가 클 수 있습니다. a=19/20에서는 증폭률이 20이고 a=1/2에서는 2입니다. 종료 허용 오차를 조건수와 함께 해석해야 하는 이유입니다.

Python으로 반복과 민감도 재현

다음 표준 라이브러리 코드는 정확한 분수로 점화식·닫힌 식·잔차 항등식·도함수를 대조합니다. 네 기울기는 진동 수렴·느린 수렴·발산을 포함합니다. 위 대화형 그림은 기존 원·역함수 실습이며 아래 코드는 별도로 실행하는 연구 예제입니다.

from fractions import Fraction as Q

for a in [Q(1, 2), Q(-4, 5), Q(19, 20), Q(6, 5)]:
    b = Q(1)
    exact = b / (1 - a)
    sensitivity = 1 / (1 - a)
    for steps in [1, 4, 16]:
        z, p = Q(0), Q(0)
        for _ in range(steps):
            z, p = a * z + b, a * p + 1
        assert p == (1 - a**steps) / (1 - a)
        assert z == b * p
        residual = z - a * z - b
        assert abs(z - exact) == abs(residual) / abs(1 - a)
        h = Q(1, 1000)
        difference = ((b + h) / (1 - a) - (b - h) / (1 - a)) / (2 * h)
        assert difference == sensitivity
        print(a, steps, float(z), float(p), float(sensitivity))

연구 과제: 목표 상태 오차를 정하고 각 a에서 필요한 잔차 허용 오차를 유도한 뒤 고정 반복 예산과 비교하세요. 유한 알고리즘의 도함수 p_T와 평형 도함수를 각각 기록하세요. 비선형 문제에서는 근사 해의 오차가 암묵 미분 선형계에도 반영됩니다.

출처 연결: Deep Equilibrium Models v2의 §3.1, 정리 1, 식 (11), 부록 A에서 평형의 암묵 미분을 확인했습니다. 여기의 스칼라 비교와 조건 계산은 직접 구성했으며 논문의 신경망 학습 실험은 재현 범위에 포함하지 않습니다.

AI 연결과 수치 검산

최적화 문제의 정지 조건 G(θ,z)=0에서 θ를 해로 두고 데이터 z에 대한 민감도를 계산하는 암묵 미분에 이 원리가 쓰입니다. 해의 존재·선택·Jacobian 가역성·안정성을 확인해야 합니다. 신경망의 반복 실행을 길게 펼쳐 미분하는 방식과 암묵 함수 미분은 필요한 조건과 계산 방식이 다릅니다.

실습의 모드 0은 양의 원 가지, 모드 1은 세제곱과 역함수입니다. 두 축의 단위 길이는 같습니다. 도함수가 —인 경우를 함수값 부재와 구분하세요.

확인 문제와 답

  1. (0,1)에서 원의 y′는? 0입니다.
  2. x³의 x=1에서 역함수 도함수는? 1/3입니다.
  3. 가역 Jacobian이면 전역 역함수가 보장되나요? 국소 역만 보장됩니다.

추가 읽기: MIT 공식 강좌 안내. 강좌 범위를 확인해 보충 자료로 연결하며, 아래의 작은 예제와 논증은 직접 구성했습니다.

CHECK YOUR UNDERSTANDING

설명할 수 있나요?

실험 설정과 무관한 기준 예제를 묻습니다. 답을 고르고 설명을 확인해보세요.

1. 암묵 미분의 분모 조건은?
2. f′(0)=0이면 항상 역함수가 없나요?

선택한 답과 학습 표시는 이 브라우저에 저장됩니다. 다시 풀거나 표시를 해제할 수 있습니다.