이 단원 목차
채널은 입력과 출력 사이의 조건부 법칙
저장 장치의 비트가 손상되거나 여러 GPU 사이에 표현을 전송하는 상황을 생각해 봅시다. 입력 X를 보내도 출력 Y를 정확히 받는다는 보장은 없습니다. 채널 W(y|x)는 입력 하나를 고정했을 때 출력이 나올 확률입니다. 입력을 얼마나 자주 보내는지 나타내는 P(X)와는 다른 대상입니다.
이 단원은 알려진 정상 무기억 채널을 사용합니다. 각 사용의 잡음은 독립이고 입력 비용 제약은 없습니다. 수신자는 채널 법칙을 압니다. 시간에 따른 변화·연속 값·상관 잡음·유한 정밀도 신경망 표현은 추가 모델링이 필요합니다.
뒤집힘과 소거의 직관
Binary symmetric channel(BSC)은 확률 ε로 0과 1을 바꿉니다. 출력 1을 보고 실제 1인지, 0이 뒤집혔는지 바로 알 수 없습니다. Binary erasure channel(BEC)은 확률 ε로 출력에 물음표를 남깁니다. 값은 모르지만 잃어버린 위치는 압니다. 같은 ε여도 수신자가 가진 정보가 다릅니다.
| 채널 | 입력 0의 출력 | 입력 1의 출력 |
|---|---|---|
| BSC | 0: 1−ε, 1: ε | 0: ε, 1: 1−ε |
| BEC | 0: 1−ε, ?: ε | 1: 1−ε, ?: ε |
입력의 정보량과 채널의 용량
p=P(X=1)라고 합시다. 이진 엔트로피 h₂는 밑 2를 사용하며 0 log₂0=0으로 정의합니다. BSC의 출력 1 확률은 q=ε+(1−2ε)p입니다. 입력을 알 때 남은 출력 불확실성은 h₂(ε)이므로 다음을 얻습니다.
입력이 항상 0이면 수신자가 알아낼 새 메시지가 없어서 I=0입니다. 채널이 나쁘다는 뜻은 아닙니다. 용량은 입력 분포도 최적화한 값입니다. 두 대칭 채널은 p=.5에서 최대가 됩니다.
수치 예제와 곡선 읽기
p=.5, ε=.1의 BSC 결합 표는 P(0,0)=.45, P(0,1)=.05, P(1,0)=.05, P(1,1)=.45입니다. 출력은 균등하고 h₂(.1)≈.469이므로 I=C≈.531 bits/use입니다. 같은 ε의 BEC에서는 소거된 10%를 제외하면 값을 정확히 알아서 C=.9입니다.
입력 p를 .2로 바꾸면 BSC의 q=.26, I≈.358이지만 C≈.531은 그대로입니다. 파란 곡선은 p별 I, 주황 점선은 최댓값 C, 주황 점은 현재 설정입니다. 잡음이 고정되어도 입력 선택에 따라 이용한 정보량은 달라집니다.
긴 블록의 정리와 짧은 실험의 차이
무기억 채널 부호화 정리는 R<C에서 블록 길이를 늘리면 평균 오류 확률을 0으로 보내는 부호열이 존재한다는 뜻입니다. 아무 부호나 성공한다거나 짧은 블록의 오류가 0이라는 뜻은 아닙니다. 정보 bits/use와 실제 전송 bits/second도 다릅니다. 초당 채널 사용 수가 주어져야 환산할 수 있습니다.
AI 표현의 전송에서는 압축률·복원 손실·전송 잡음·지연을 구분해야 합니다. 연속 임베딩의 실수 차원 수를 이 이진 채널의 용량과 곧바로 같다고 할 수 없습니다. 다음 오류정정부호 단원에서 실제 부호의 길이와 오류율을 연결합니다.
확인 문제와 해설
- ε=1인 BSC의 용량은? 1입니다. 출력이 항상 반전되므로 다시 뒤집으면 정확히 복원됩니다. ε=.5일 때 입력과 출력이 독립이어서 용량이 0입니다.
- ε=1인 BEC도 같은가요? 아니요. 항상 물음표를 받으므로 입력에 관한 정보가 전혀 없어 용량은 0입니다.
- p=0에서 I=0이면 C도 0인가요? 아니요. 현재 입력 법칙이 상수일 뿐입니다. 용량은 가능한 모든 입력 분포를 비교합니다.
설명할 수 있나요?
실험 설정과 무관한 기준 예제를 묻습니다. 답을 고르고 설명을 확인해보세요.
선택한 답과 학습 표시는 이 브라우저에 저장됩니다. 다시 풀거나 표시를 해제할 수 있습니다.