이 단원 목차
한 번의 놀라움과 분포의 평균
성공 확률이 1/4인 시행에서 성공을 보았다면, 공정한 동전의 성공보다 더 드문 결과를 본 것입니다. 자기정보는 이 드문 정도를 −log₂ p(x)로 측정합니다. 확률 1/4의 자기정보는 2 bits, 확률 1/2는 1 bit입니다. 결과의 의미나 가치가 아니라 선택한 확률 모형 아래의 드문 정도를 수치화합니다.
성공확률 1/4를 손으로 계산하기
성공의 자기정보는 2 bits지만 실패의 자기정보는 −log₂(3/4)≈0.415 bits입니다. 평균은 두 값을 같은 비율로 더하는 것이 아니라 관측 확률로 가중합니다. 따라서 엔트로피는 0.25×2+0.75×0.415≈0.811 bits입니다. 한 번의 관측이 가진 자기정보와 분포 전체의 평균 엔트로피를 구분하세요.
| 결과 | 확률 | 자기정보 bits | 평균에 주는 기여 |
|---|---|---|---|
| 실패 0 | 0.75 | 약 0.415 | 약 0.311 |
| 성공 1 | 0.25 | 2 | 0.5 |
불가능한 결과에서 ∞와 0이 함께 나오는 이유
p=0인데 성공을 선택하면 자기정보는 ∞입니다. 하지만 엔트로피의 그 항은 0입니다. 0×∞를 일반 곱셈으로 계산한 것이 아니라, t가 0으로 갈 때 −t log t가 0으로 간다는 연속 확장을 사용합니다. 모형이 배제한 결과가 실제로 관측되었다면 단순히 평균 엔트로피가 작은 것을 자랑하기보다 모형을 재검토해야 합니다.
그림에서 읽는 이진 엔트로피
파랑 곡선은 성공확률 전체에 대한 h₂(p)이고 점은 현재 p입니다. 관찰 결과 x 조절은 선택한 자기정보만 바꾸며 곡선과 엔트로피는 바꾸지 않습니다. p=.5에서 두 결과가 동등해 최대 1 bit이고, p=0 또는 1에서는 결과가 결정적이어서 0입니다.
AI와 압축에서의 해석
확률 예측의 로그 손실은 자기정보와 같은 형태를 가집니다. 예측 분포로 데이터를 부호화할 때도 이상적인 길이가 −log 확률로 연결됩니다. 실제 접두 부호 길이는 정수이고 블록·헤더 비용도 있으므로 이 값이 파일의 정확한 비트 수라는 뜻은 아닙니다. 이 단원은 유한 이산 확률에 관한 것으로, 밀도에 같은 식을 넣는 미분 엔트로피는 별도로 다룹니다.
확인 문제와 해설
- 확률 1/8의 자기정보는? 3 bits입니다.
- p를 .25로 두고 관찰 결과만 바꾸면 H가 변하나요? 아니요. 분포는 같습니다.
- 불가능한 결과의 가중 엔트로피 항은? 연속 확장으로 0입니다.
설명할 수 있나요?
실험 설정과 무관한 기준 예제를 묻습니다. 답을 고르고 설명을 확인해보세요.
선택한 답과 학습 표시는 이 브라우저에 저장됩니다. 다시 풀거나 표시를 해제할 수 있습니다.