이 단원 목차
실제 분포와 점수를 매기는 분포
실제 결과는 P에서 나오지만 예측자는 Q로 확률을 제시한다고 합시다. 관측 x에 −log₂ Q(x)의 비용을 주면 그 평균이 교차 엔트로피입니다. P 자체의 엔트로피와 달리 Q에도 의존합니다. 분류 학습에서는 정답의 로그 확률을 높이는 목적과 연결됩니다.
교차 엔트로피를 두 항으로 나누기
로그 비율을 두 로그의 차이로 전개하면 H(P,Q)=H(P)+KL(P||Q)입니다. 목표 P가 고정되어 있으면 Q를 바꾸는 동안 H(P)는 상수이므로 교차 엔트로피 최소화와 KL 최소화가 같습니다.
P=Bernoulli(.8), Q=Bernoulli(.5)이면 모든 관측의 비용이 1 bit라서 교차 엔트로피도 1입니다. H(P)≈0.72193이므로 추가 비용은 약 0.27807 bits입니다. Q=P로 맞추면 추가 비용은 0이지만 H(P) 자체는 남습니다.
0 확률을 다루는 두 규칙
P(x)=0인 항은 평균에 기여하지 않아 0으로 정의합니다. P(x)>0인데 Q(x)=0이면 교차 엔트로피와 KL은 수학적으로 ∞입니다. 작은 유한 수를 대신 넣은 clipping은 다른 점수와 목적함수를 계산하는 것이므로 여기서는 적용하지 않습니다.
예를 들어 p=.8,q=0은 양의 확률로 일어나는 성공을 예측자가 배제한 경우입니다. 반면 p=q=0이면 성공은 P에서도 불가능하여 KL은 0입니다. 같은 Q의 영 질량이어도 목표 지지를 함께 봐야 합니다.
그림과 전체 수치의 범위
파랑은 고정된 H(P), 주황은 q에 따른 교차 엔트로피입니다. 그림은 q=.005부터 .995까지만 그려 발산 끝점을 유한한 높이로 위장하지 않습니다. 입력 q가 그 범위 밖이면 선택 점을 그리지 않지만 전체 수치에서는 실제 입력의 값이나 ∞를 유지합니다. 분모를 임의의 작은 양수로 바꾸지 않습니다.
방향과 모형 가정
KL(P||Q)는 P로 평균하며, KL(Q||P)와 일반적으로 다릅니다. 대칭 거리나 삼각부등식을 만족하는 일반적인 metric으로 취급하지 마세요. 경험 데이터에서 계산한 로그 손실과 모집단 기대 교차 엔트로피도 구분해야 합니다. 일반화와 보정은 별도의 평가가 필요합니다.
확인 문제와 해설
- P가 고정이면 H(P)는 학습 중 변하나요? Q만 학습하면 변하지 않습니다.
- P=Q이면 교차 엔트로피도 0인가요? 아니요. H(P)가 남을 수 있습니다.
- KL의 ∞는 수치 오버플로인가요? 지지 조건 실패의 수학적 무한값일 수 있습니다.
추가 읽기: MIT 6.441, Information Theory — lecture notes by Polyanskiy and Wu.
설명할 수 있나요?
실험 설정과 무관한 기준 예제를 묻습니다. 답을 고르고 설명을 확인해보세요.
선택한 답과 학습 표시는 이 브라우저에 저장됩니다. 다시 풀거나 표시를 해제할 수 있습니다.