데이터 처리 부등식과 병목

후처리가 원본 정보를 새로 만들 수 있을까

입력 X에서 관측 Y를 만들고, Y만 보고 Z를 만드는 과정을 생각합니다. 핵심은 Z가 X에 별도로 접근하지 않는다는 조건입니다. 이를 X→Y→Z의 Markov 조건, 또는 X와 Z가 Y를 주었을 때 조건부 독립이라고 표현합니다.

두 반전 채널로 계산하기

실습은 X~Bernoulli(p)와 서로 독립인 두 잡음을 사용해 Y=X⊕N₁, Z=Y⊕N₂를 만듭니다. 한 번만 반전될 때 최종 결과가 달라지므로 유효 반전 확률은 ε₁(1−ε₂)+(1−ε₁)ε₂입니다.

p=.5,ε₁=.1,ε₂=.2이면 유효 반전은 .26입니다. 첫 상호정보량은 약 .531 bits이고 최종 정보량은 1−h₂(.26)≈.173 bits입니다. 표의 여덟 결합 질량은 P(x)P(y|x)P(z|y)의 곱이며 합은 1입니다.

연쇄법칙으로 이유 설명하기

결합 관측 (Y,Z)와 X 사이의 상호정보량을 두 순서로 전개합니다. Markov 조건은 첫 번째 전개에서 조건부 정보량 하나를 0으로 만듭니다. 두 번째 전개의 남은 조건부 상호정보량은 비음수입니다.

따라서 부등식을 얻습니다. 일반 분포에 대한 논증이며 대칭 잡음 예제에만 의존하지 않습니다. 여기서는 모든 변수가 유한하므로 엔트로피와 정보량의 무한값 차이 문제도 없습니다.

같은 정보와 잃은 정보

ε₂=1이면 Z=1−Y로 가역적이어서 정보 손실이 0입니다. ε₂=.5이면 Z가 원본과 독립이 되어 모든 입력 정보를 잃습니다. 파랑 곡선은 두 번째 반전 확률에 따른 최종 정보이고 주황은 첫 관측 정보의 상한입니다. 비가역 처리도 주어진 분포에서 관련 정보를 보존하는 경우에는 등호를 얻을 수 있습니다.

신경망 표현을 해석할 때

고정된 전처리나 표현의 후처리에 이 결과를 연결할 수 있지만, Z가 X 또는 추가 라벨·데이터를 다시 받는다면 같은 Markov 가정이 아닙니다. 예를 들어 Y는 잡음인데 Z=X로 원본을 직접 복사하면 I(X;Z)>I(X;Y)가 가능하며 부등식의 반례가 아니라 조건 위반입니다. 정보량 보존과 특정 과제의 예측 편의성·계산 비용도 서로 다른 질문입니다.

확인 문제와 해설

1. 두 번 모두 반전되면 최종 비트는? 원래 비트입니다.
2. 항상 뒤집는 후처리는 정보를 지우나요? 아니요. 가역적입니다.
3. 원본을 다시 입력받는 Z에도 같은 비교가 자동으로 적용되나요? 아니요. Markov 조건을 다시 확인해야 합니다.

추가 읽기: MIT 6.441, Information Theory — lecture notes by Polyanskiy and Wu.