엔트로피·교차엔트로피·KL

불확실성과 모형 오차 구분하기

원천을 완벽히 모형화해도 결과 자체가 불확실할 수 있습니다. 반대로 예측하기 쉬운 원천에도 나쁜 모형을 쓸 수 있습니다. 엔트로피는 분포 자체의 불확실성, 교차엔트로피는 그 분포에서 다른 모형을 평가한 비용, KL은 추가 기대 로그 비용입니다. 이를 섞으면 학습 손실 해석이 어려워집니다.

같은 두 결과 위에서 $P=(p,1-p)$, $Q=(q,1-q)$를 씁니다. 자연로그 단위는 nat이며 $\log2$로 나누면 bit입니다.

세 양의 정의

연속 확장으로 $0\log0=0$을 씁니다. $P(x)>0$인데 $Q(x)=0$이면 교차엔트로피와 KL은 무한대입니다. 실험은 이를 명시합니다. 확률을 몰래 작은 양수로 자르면 목적함수가 달라지므로 실제 구현에서 사용했다면 기록해야 합니다.

분해와 비음수성

교차엔트로피에서 엔트로피를 빼고 로그를 모으면

입니다. 지원집합이 맞는 경우 $\log z\le z-1$을 $Q(x)/P(x)$에 적용해 합하면 KL의 비음수성을 얻습니다. 관련 지원집합에서 두 분포가 같으면 등호입니다. 일반적으로 대칭도 삼각부등식도 성립하지 않아 보통의 거리 함수는 아닙니다.

Bernoulli 손계산

$p=0.75,q=0.5$이면

이고 $H(P,Q)=\log2\approx0.693147$입니다. 차이는 약 0.130812 nat입니다. $q=0.75$로 맞추면 KL은 0이지만 원천 엔트로피는 그대로입니다. 모형이 맞는다고 원천의 불확실성이 사라지지는 않습니다.

$q=0$이면 확률 0.75로 생기는 성공에 모형 확률 0을 주어 비용이 무한대입니다. 유한 그림으로 무한값을 그릴 수 없어 엔트로피 곡선은 유지하고 비용 표와 경고에서 지원집합 오류를 표시합니다.

그림이 나타내는 대상

파랑은 참 확률에 따른 Bernoulli 엔트로피입니다. $p=1/2$에서 $\log2$로 최대이고 확정적인 양 끝에서 0입니다. 주황 표시는 현재 참 분포의 위치입니다. $q$를 바꾸면 교차엔트로피·KL만 바뀝니다. 모형 변경이 원천 자체의 엔트로피를 바꾼다고 그리지 않습니다.

AI 학습과 연결하기

데이터의 평균 음의 로그 예측 확률은 경험적 교차엔트로피 점수입니다. 적절한 표집 가정에서 데이터 생성분포의 기댓값을 추정합니다. 모든 허용 분포 위에서 그 기댓값을 최소화하면 참 분포를 맞추지만, 제한된 모형·유한 데이터·불완전 최적화에서는 달라질 수 있습니다.

로그 점수 개선은 같은 평가 절차와 결과 표현에서 비교해야 합니다. 연속 변수의 미분 엔트로피는 좌표에 의존하고 음수일 수 있습니다. 이산분포의 모든 설명을 밀도에 그대로 옮기지 말고 기준 측도와 변수 변환을 확인하세요.

정보 엔트로피를 자동으로 열역학 엔트로피라고 부를 수도 없습니다. 미시 상태·확률·에너지·온도·단위가 필요합니다. 통계역학 단원에서 구체적 평형 모형을 다루며 모든 학습 손실을 물리적 에너지로 취급하지 않습니다.

연구 검산과 연습

1. $P=Q=(1/2,1/2)$에서 세 값을 구하세요. 답: 엔트로피·교차엔트로피는 $\log2$, KL은 0입니다.
2. 한 방향 KL은 무한대, 반대는 유한한 지원집합 예를 만드세요.
3. 재사용한 학습 데이터의 낮은 손실이 보류 데이터 로그 점수 개선을 입증하지 않는 이유는?
4. epsilon으로 확률을 자를 때 무엇이 달라지는지 쓰고 민감도를 검사하세요.

역사적 배경은 Shannon의 A Mathematical Theory of Communication을 참고하세요. 위 수치와 지원집합 예는 교재의 직접 계산입니다.