Rate–Distortion과 손실 압축

오류를 허용하면 얼마나 압축할 수 있을까

무손실 압축은 원본을 정확히 복원해야 합니다. 손실 압축은 정해진 왜곡 척도와 예산 안에서 정보를 버립니다. 실습은 iid 공정 이진 정보원 X와 Hamming 비용 d(x,y)=1{x≠y}에 한정합니다. 왜곡은 평균적으로 다른 비트의 비율입니다. 다른 정보원이나 왜곡에는 같은 식을 그대로 사용할 수 없습니다.

이진 정보원의 정확한 경계

이 모형에서는 D≤.5에서 R(D)=1−h₂(D), D≥.5에서는 0입니다. D=.1이면 약 .531 bits/기호입니다. D=0에서는 공정 비트 하나당 1 bit를 보존해야 합니다. D=.5 이상은 언제나 0을 복원해도 평균 왜곡 .5를 달성하므로 정보를 보낼 필요가 없습니다.

왜 이 경계인가

오류 확률 d가 D 이하일 때 이진 Fano 관계로 H(X|Y)≤h₂(d)≤h₂(D)를 얻습니다. 따라서 I(X;Y)≥1−h₂(D)입니다. 반대로 반전 확률 D인 이진 대칭 시험 채널은 같은 왜곡과 정보량을 달성합니다. 이 정보량 최적화와 긴 블록의 실제 부호율을 연결하는 것은 rate–distortion 부호화 정리이며, 그림 자체가 블록 부호를 생성하는 것은 아닙니다.

예산과 선택 채널을 따로 조절하기

파랑은 모든 허용 시험 채널 중 최적인 R(D), 주황은 반전 확률 ε인 대칭 시험 채널의 정보량 1−h₂(ε)입니다. ε≤.5에서는 두 곡선이 맞지만 .5를 넘는 반전은 비효율적입니다. ε=.75의 정보량은 약 .189인데 같은 왜곡 예산의 최적 경계는 0입니다.

현재 채널의 실제 왜곡 ε가 예산 D 이하인지 별도 수치로 확인하세요. D=.1,ε=.25인 채널은 정보량이 더 작아도 허용 오류를 초과하므로 유효 후보가 아닙니다. 파랑 점과 주황 점은 서로 다른 역할을 가진 입력입니다.

AI의 표현 압축과 연결하기

잠재 표현의 정보량과 복원 비용을 함께 보는 직관을 얻을 수 있습니다. 다만 이 실습의 닫힌식이 이미지·텍스트의 의미 손실이나 임의의 신경망에 그대로 적용되지는 않습니다. 단위는 점근 bits/기호이며 한 기호 파일의 정확한 바이트 수나 모든 표본의 오류 보장이 아닙니다. 정보원, 복원 알파벳, 왜곡 척도와 평균·최악 조건을 먼저 정해야 합니다.

확인 문제와 해설

1. D=.5의 R(D)는? 0입니다.
2. ε=1의 대칭 채널은 정보량 0인가요? 아니요. 완전 반전은 가역적이라 1 bit입니다.
3. 왜곡 예산을 넘은 낮은 정보량 채널은 해인가요? 아니요. 제약을 만족해야 합니다.

추가 읽기: MIT 6.441, Information Theory — lecture notes by Polyanskiy and Wu.