조건부 엔트로피와 상호정보량

관측으로 줄어드는 불확실성

X의 엔트로피는 관측 전의 평균 불확실성입니다. Y를 알게 된 뒤에는 각 y에서 X의 조건부분포를 구하고, 그 엔트로피를 Y의 확률로 평균합니다. 이 조건부 엔트로피와 원래 엔트로피의 차이가 상호정보량입니다.

잡음이 있는 이진 관측

XBernoulli(p)에 독립 잡음 NBernoulli(ε)를 XOR해 Y=X⊕N을 만듭니다. ε는 관측이 뒤집히는 확률입니다. 표의 네 결합 질량은 입력 질량에 조건부 채널 확률을 곱한 값입니다. 열을 합하면 p(y), 각 열에서 나누면 p(x|y)입니다.

p=.5,ε=.1이면 결합 표는 대각 0.45씩, 비대각 0.05씩입니다. Y=1을 관측하면 X=1일 확률은 0.9입니다. H(X)=H(Y)=1, H(X|Y)=h₂(.1)≈0.469, 따라서 I≈0.531 bits입니다.

결합 엔트로피로 같은 값 검산하기

일반 p에서도 다음 관계가 성립합니다. Y의 성공확률은 p(1−ε)+(1−p)ε이고, X를 알면 남은 잡음의 엔트로피만 있으므로 H(Y|X)=h₂(ε)입니다. 조건부 엔트로피는 비대칭일 수 있지만 상호정보량은 대칭입니다.

완전 반전은 정보 소실이 아니다

ε=.5이면 출력이 입력과 독립이 되어 I=0입니다. ε=1이면 항상 뒤집히지만 X=1−Y로 정확히 복원할 수 있어 I=H(X)입니다. 라벨이 일치한 비율과 정보량은 다른 개념입니다. 파랑 곡선은 ε에 따른 상호정보량이고 주황은 입력 엔트로피 상한입니다.

p=0 또는 1처럼 입력 자체가 결정적이면 관측할 새 입력 정보가 없습니다. 잡음이 출력을 흔들어 H(Y)>0이어도 I(X;Y)=0일 수 있습니다. 출력 변동성만 보고 유용한 표현이라고 판단하지 마세요.

영확률 조건과 연구 해석

p(y)=0인 열의 조건부 비율은 0/0이므로 —로 표시합니다. 그 열은 평균 조건부 엔트로피에 가중치 0으로 기여합니다. 높은 상호정보량이 인과 관계나 목표 과제에 대한 유용성을 자동으로 보장하지도 않습니다. 어떤 변수·분포·관측 과정을 대상으로 계산했는지 명시해야 합니다.

확인 문제와 해설

1. 독립일 때 상호정보량은? 0입니다.
2. H(Y|X)와 H(X|Y)는 항상 같은가요? 아니요. 조건을 거는 방향이 다릅니다.
3. 입력이 결정적이면 관측 후 얻는 입력 정보는? 0입니다.

추가 읽기: MIT 6.441, Information Theory — lecture notes by Polyanskiy and Wu.