확률변수 변환과 Jacobian

출력 사건의 역상을 구하기

확률변수 Y=g(X)의 분포를 구할 때 먼저 Y≤y가 입력 공간에서 어떤 사건인지 묻습니다. 이것은 역함수 공식보다 기본적인 방법이며 g가 일대일이 아니거나 상수여도 사용할 수 있습니다. 실습은 정수 배율 a에 대해 Y=aX와 Y=aX²를 비교합니다. 선형 모드의 X는 Uniform[0,1], 제곱 모드는 Uniform[−1,1]입니다. 그림은 출력 CDF입니다.

절댓값 Jacobian의 역할

미분 가능한 일대일 변환에서 작은 구간의 질량을 보존하면 출력 밀도에는 역변환 도함수의 절댓값이 곱해집니다. X가 Uniform[0,1]이고 Y=2X이면 폭은 두 배, 밀도는 절반입니다. a가 음수여도 밀도는 음수가 되지 않습니다. 방향 반전은 누적분포의 부등호 방향을 바꾸지만 질량은 양수입니다. 다차원에서는 같은 논리가 역 Jacobian 행렬식의 절댓값으로 확장됩니다.

제곱 변환은 두 역상을 갖는다

Y=X²에서 0<y<1이면 x=√y와 x=−√y가 같은 출력으로 갑니다. 각 분기의 입력 밀도는 1/2이고 역도함수 크기는 1/(2√y)이므로 두 기여를 합하면 1/(2√y)입니다. 기준 y=0.25에서는 밀도 1, CDF는 √0.25=0.5입니다. 한 분기만 쓰면 전체 질량의 절반을 잃습니다.

경계·상수 변환과 적용 범위

제곱 모드의 밀도는 0에 접근하며 발산하지만 적분은 유한합니다. y=0에서는 이 유한값 공식을 표시하지 않고 경계 발산 표식을 보여줍니다. 한 점에서 택하는 밀도값은 확률을 바꾸지 않습니다. a=0이면 출력이 항상 0이라 점 질량이 1이며 Lebesgue 밀도가 없습니다. 이런 경우 역 Jacobian으로 0을 나눠서는 안 됩니다. 생성 모델에서 가역 변환의 밀도 계산은 이 조건들을 전제로 하며, 모든 신경망에 그대로 적용되는 공식은 아닙니다.

확인 문제와 해설

1. 선형 모드 a=−2에서 밀도는? 지지구간 (−2,0)에서 1/2입니다.
2. 제곱 분기가 하나인가요? 아니요. 내부 양의 값에 두 개입니다.
3. 원점 밀도 발산은 원점 질량이 있다는 뜻인가요? 아니요. 비영 배율에서 점 확률은 여전히 0입니다.

추가 읽기: Pishro-Nik, Introduction to Probability, Statistics, and Random Processes.