Jensen 부등식과 로그의 볼록성

평균을 안에 넣을까, 밖에 놓을까

양수 u와 v를 확률 λ,1−λ로 선택한다고 합시다. f(E[X])는 입력을 먼저 평균한 값이고 E[f(X)]는 각 함숫값을 평균한 값입니다. 비선형 함수에서는 둘이 다릅니다. 볼록 함수의 Jensen 부등식은 앞의 값이 뒤의 값 이하라고 말합니다.

−log의 곡선과 현

여기서는 f(t)=−log₂t입니다. 양수 영역에서 f″(t)=1/(t²ln2)>0이므로 볼록합니다. 두 점을 잇는 주황 현은 파랑 곡선 위에 있습니다. 같은 평균 입력에서 현의 높이가 E[f(X)], 곡선의 높이가 f(E[X])입니다.

λ=.5,u=.5,v=2이면 f(u)=1,f(v)=−1이므로 E[f(X)]=0입니다. E[X]=1.25이므로 f(E[X])≈−0.32193, 간격은 약 0.32193입니다. 함수값이 음수여도 볼록성과 모순되지 않습니다. 이 그림의 입력은 양수이지만 확률로 제한하지 않습니다.

등호가 생기는 경우

엄밀한 볼록성 때문에 0<λ<1에서 u≠v이면 간격은 양수입니다. u=v이거나 λ=0 또는 1이면 활성 입력이 하나여서 등호가 성립합니다. 가중치가 음수이거나 합이 1이 아닌 경우에는 여기서 사용한 확률 평균의 논증을 그대로 적용할 수 없습니다.

KL의 비음수성을 설명하기

P가 양수인 지지에서 Q도 양수라면 X=Q(i)/P(i)를 P로 평균해 Jensen을 적용할 수 있습니다. P의 지지 밖에 Q 질량이 남아 있으면 이 평균은 1보다 작을 수도 있습니다. 따라서 다음 두 단계로 비음수성을 얻습니다.

P의 양의 지지에 Q=0이 있으면 KL은 ∞여서 별도로 다룹니다. 모든 항에 무조건 Q/P를 계산해 0/0을 만드는 방식은 피하세요. 이 논증은 수치 그래프 하나의 관찰이 아니라 정의역과 평균의 조건을 명시한 일반 논증입니다.

AI의 하한 목적과 연결하기

log는 오목해서 부등식 방향이 반대입니다. 잠재변수 모형의 로그 evidence에 Jensen을 적용할 때는 이 부호와 지지 조건이 중요합니다. 평균과 비선형 변환을 무조건 교환하면 잘못된 손실이나 확률을 얻게 됩니다. 앞서 다룬 ELBO의 KL 간격도 이런 맥락에서 다시 읽을 수 있습니다.

확인 문제와 해설

1. −log는 볼록인가요? 양수 영역에서 엄밀히 볼록합니다.
2. 같은 두 입력의 간격은? 0입니다.
3. f(t)<0인 점이 있으면 Jensen이 실패하나요? 아니요. 볼록성은 함수값의 부호가 아닙니다.

추가 읽기: MIT 6.441, Information Theory — lecture notes by Polyanskiy and Wu.