본문으로 건너뛰기
SuanLab

재매개화와 확률적 경사

고정한 잡음을 통해 표본 손실을 미분하고 기대 경사와 구분합니다.

92 / PROBABILITY LAB
먼저 알아두면 좋아요 · 연결된 선수 절의 사건·분포·기대값·선형대수·미분
확률변수 변환과 Jacobian →기댓값·분산과 불확실성 →
단원 목록 (103) · 재매개화와 확률적 경사
이해하는 속도로 읽으세요.개념도이론실험확인 문제
BUILD YOUR INTUITION

먼저 그림으로 이해하기

한 번에 한 단계씩 살펴보세요.

고정한 잡음을 통해 표본 손실을 미분하고 기대 경사와 구분합니다.

ε fixed at 0; z=μ+σε; ℓ=½(z−1)²; noise law N(0,1) for expected readouts

-224.7250
가로: 고정 잡음 ε · 세로: 이차 표본 손실 · 표: 고정된 세 잡음 값
fixed εzloss∂loss/∂μ∂loss/∂σ
-1-12-22
000.5-10
11000

z = 0

고정 기준 예제의 그림과 수치입니다. 각 단계에서 같은 그림의 의미를 차례로 살펴보세요. 고정된 기준 예제이며 아래 실험의 설정과 독립적입니다.
1 / 4

분리

분포의 매개변수와 기초 잡음을 분리합니다.

z=μ+σε, ε~N(0,1)

실험에서 확인하기 →
이 단원 목차

분포 매개변수와 잡음을 분리하기

Gaussian 변수 z를 직접 불투명한 표본으로 다루는 대신 μ+σε로 씁니다. ε의 분포는 매개변수와 무관한 표준정규입니다. 미분할 때는 같은 ε를 고정하여 μ와 σ가 출력에 미치는 영향을 추적합니다. 실습 조절기는 ε를 새로 추출하지 않고 지정한 고정값으로 둡니다. 따라서 그림과 표는 무작위 표본 실험이 아닙니다.

z=μ+σϵ,ϵ∼N(0,1),ℓ(z)=12(z−1)2.z=\mu+\sigma\epsilon,\quad\epsilon\sim N(0,1),\qquad\ell(z)=\tfrac12(z-1)^2.

한 경로의 경사를 손으로 구하기

연쇄법칙으로 μ에 대한 도함수는 z−1이고 σ에 대해서는 (z−1)ε입니다. 기준 μ=0,σ=1,ε=0에서는 z=0, 손실 0.5, 경사는 (−1,0)입니다. ε=1로 바꾸면 z가 목표 1과 같아 표본 손실과 표본 경사가 모두 0이 됩니다. 그러나 이것만으로 분포 전체의 목적함수가 최소라고 결론낼 수 없습니다.

∂μℓ=z−1,∂σℓ=(z−1)ϵ.\partial_\mu\ell=z-1,\qquad\partial_\sigma\ell=(z-1)\epsilon.

기대 경사와 비교하기

Eε=0, Eε²=1을 이용하면 이차 손실의 기대값을 정확하게 계산할 수 있습니다. 기준 기대 손실은 1이고 기대 경사는 (−1,1)입니다. 중앙 잡음 ε=0에서의 σ 경사 0과 다릅니다. 표의 ε=−1과 1을 같은 가중치로 평균하면 첫 두 모멘트가 맞아 이 이차 예제의 기대 손실과 경사를 정확히 재현합니다. 이 두 점은 Gaussian 표본도, 일반 함수에 정확한 적분법도 아닙니다.

Eℓ=12[(μ−1)2+σ2],∇Eℓ=(μ−1,σ).E\ell=\tfrac12[(\mu-1)^2+\sigma^2],\qquad\nabla E\ell=(\mu-1,\sigma).

기대와 미분을 교환할 조건

재매개화만으로 기대와 미분의 교환이 자동으로 정당화되지는 않습니다. 적절한 미분 가능성과 적분 가능한 지배 조건 등을 확인해야 합니다. 이 예제는 다항식 손실과 Gaussian의 유한 모멘트로 교환을 정당화할 수 있습니다. σ=0이면 법칙이 한 점으로 붕괴하지만 경로 식과 이차 기대 손실은 여전히 계산됩니다. 척도를 음수로 확장한 매끄러운 식의 도함수로 읽거나 허용 영역의 한쪽 미분으로 해석할 수 있습니다.

∇θEϵ[ℓ(gθ(ϵ))]=Eϵ[∇θℓ(gθ(ϵ))]under suitable conditions.\nabla_\theta E_\epsilon[\ell(g_\theta(\epsilon))]=E_\epsilon[\nabla_\theta\ell(g_\theta(\epsilon))]\quad\text{under suitable conditions}.

AI 연결과 확인 문제

VAE 같은 연속 잠재변수 모델은 이런 경로 미분을 이용해 기대 목적함수의 경사를 추정합니다. 이 절은 이차 모형의 원리를 설명하며 VAE 학습이나 ELBO 전체를 실행하지 않습니다.

  1. ε=1에서 손실 0이면 기대 손실은? 기준 μ=0,σ=1에서 여전히 1입니다.
  2. 미분 중 잡음을 바꿔도 되나요? 같은 경로를 미분할 때는 고정해야 합니다.
  3. 두 노드 검산이 모든 함수에 정확한가요? 아니요. 사용한 모멘트 범위에 한정됩니다.

추가 읽기: Pishro-Nik, Introduction to Probability, Statistics, and Random Processes.

Kingma–Welling, Auto-Encoding Variational Bayes.

CHECK YOUR UNDERSTANDING

설명할 수 있나요?

실험 설정과 무관한 기준 예제를 묻습니다. 답을 고르고 설명을 확인해보세요.

1. 경사를 계산할 때 기초 잡음은?
2. ±1 두 점은 Gaussian 표본인가요?

선택한 답과 학습 표시는 이 브라우저에 저장됩니다. 다시 풀거나 표시를 해제할 수 있습니다.