잡음 거시 관측·사후 분포·상호정보

잡음이 있는 눈금은 새로운 확률변수다

계가 이름 붙은 두 상자 중 하나에 있다고 하자. 센서는 파란 램프나 주황 램프를 켠다. 때로는 상자를 올바르게 식별하지만 때로는 반대 색을 보고한다. 원래 계의 상태와 센서의 눈금은 이제 다른 확률변수다. 램프가 바뀌었다는 사실만으로 기반이 되는 계의 상태가 바뀌었다고 단정할 수 없다.

결정론적으로 묶는 관측에서는 같은 입력이 항상 같은 레이블을 낸다. 여기서는 같은 입력도 지정된 확률로 여러 레이블을 낼 수 있다. 관측 모형에 장치의 조건부 법칙이라는 요소가 추가된 것이다. 준비·관측·추론을 같은 확률 벡터처럼 취급하지 말고 각각 따라가보자.

핵심 질문은 램프가 얼마나 예측하기 어려운가에 그치지 않는다. 램프를 보았을 때 원래 상태를 얼마나 더 잘 알 수 있는가가 중요하다. 완전히 무작위인 램프는 아무것도 알려주지 않을 수 있다. 반면 언제나 반대 레이블을 내는 램프는 그 규칙을 알면 상태를 정확하게 식별할 수도 있다.

준비와 장치를 따로 지정하자

입력 상태에 비음수 가중치 w를 주고 총합은 양수라고 하자. 이 가중치가 준비 분포 p를 지정한다.

$$W=\sum_iw_i>0,\qquad p_i=P(X=i)=\frac{w_i}{W}.$$

입력 i마다 장치의 비음수 행 가중치 a를 지정하고 각 행의 합도 양수로 둔다. 행마다 따로 정규화하면 관측 채널을 얻는다.

$$A_i=\sum_ja_{ij}>0,\qquad K_{j\mid i}=P(Y=j\mid X=i)=\frac{a_{ij}}{A_i},\qquad \sum_jK_{j\mid i}=1.$$

각 행은 다른 가정 아래의 질문에 답한다. 입력0을 주었다면 무엇을 읽는가,입력1을 주었다면 무엇을 읽는가를 각각 설명한다. 행 자체는 그 입력이 준비될 확률이 아니다. 실제로 어느 행을 얼마나 자주 쓰는지는 준비가 결정한다.

행 전체에 같은 양의 수를 곱하면 그 행의 조건부 법칙은 변하지 않는다. 준비 가중치 전체에 공통 인자를 곱해도 p는 변하지 않는다. 하지만 한 원소만 바꾸면 일반적으로 해당 법칙이 달라진다. 두 종류의 조작을 분리하면 장치 설정을 바꾼 것을 원래 계의 준비를 바꾼 일로 오해하지 않을 수 있다.

행의 확률 질량을 출력 열까지 따라가자

결합 확률은 입력과 그때의 눈금을 함께 지정한다. 입력 확률에 해당 조건부 확률을 곱한다.

$$J_{ij}=P(X=i,Y=j)=p_iK_{j\mid i}.$$

결합 표의 한 행을 더하면 p가 되며 반드시1은 아니다. 채널 표의 행은1로 합쳐진다. 따라서 결합 표와 채널 표가 같은 모양이어도 서로 다른 양을 설명한다. 표의 제목과 분모를 먼저 읽는 습관이 필요하다.

출력은 각 열에 들어오는 결합 질량을 더해서 얻는다.

$$R_j=P(Y=j)=\sum_iJ_{ij}=\sum_ip_iK_{j\mid i}.$$

균등 입력과 레이블을.1 확률로 뒤집는 센서에서 결합 표를 그리면 흐름을 직접 볼 수 있다.

입력	눈금0	눈금1	행의 합
0	.45	.05	.50
1	.05	.45	.50
열의 합	.50	.50	1

각 입력 행은.5의 확률 질량에서 출발한다. 두 화살표는.45와.05를 나누어 운반한다. 세로 방향으로 합치면 눈금 확률이 된다. 화살표 하나의 너비는 결합 사건의 질량이다. 센서 규칙 위에 쓴 조건부.9 또는.1과 같은 숫자가 아니다. 같은 도형 안에서도 단계마다 분모와 의미가 다르다는 점을 기억하자.

눈금을 본 뒤 원래 상태를 추론하자

양의 확률을 갖는 출력을 읽었다면 그 결합 열을 출력의 총합으로 나눈다. 이것이 Bayes 조건화다.

$$B_{i\mid j}=P(X=i\mid Y=j)=\frac{J_{ij}}{R_j}=\frac{p_iK_{j\mid i}}{\sum_\ell p_\ell K_{j\mid\ell}}\qquad(R_j>0).$$

균등 입력 표에서는 눈금0의 사후가(.9,.1),눈금1의 사후가(.1,.9)다. 대칭적인 준비와 장치 때문에 우연히 채널 행과 비슷한 모양이 나온 것이다. 일반적으로 Bayes 조건화는 채널 행렬을 단순히 전치하는 계산이 아니다.

열을 거꾸로 읽어보자. 이 램프가 나온 시행 전체 중 각 상자에서 시작한 비율은 얼마인가? 답에는 사전 입력 빈도가 영향을 준다. 출력 확률이0이면 이 준비와 채널만으로 사후가 정해지지 않는다. 계산기는0인 열을 임의로 정규화하지 않고 미정이라고 표시한다.

장치 잡음과 숨은 상태 불확실성을 구분하자

자연로그와 nat을 사용하고0 ln0=0은 연속 확장으로 둔다. 결합 엔트로피는 입력과 눈금 쌍에 대한 불확실성이다.

$$H(X,Y)=-\sum_{i,j}J_{ij}\ln J_{ij}.$$

결합 법칙을 입력 다음 눈금,또는 눈금 다음 숨은 입력이라는 두 방식으로 분해할 수 있다. 각각 로그를 나누면 두 연쇄법칙을 얻는다.

$$H(X,Y)=H(X)+H(Y\mid X)=H(Y)+H(X\mid Y),\qquad H(Y\mid X)=\sum_ip_iH(K_i),\quad H(X\mid Y)=\sum_{j:R_j>0}R_jH(B_j).$$

첫째 조건부 엔트로피는 입력을 알고도 남는 장치의 무작위성을 평균한다. 둘째는 출력을 본 뒤에도 남는 입력 불확실성을 평균한다. 대칭적인 예제에서 수치가 같더라도 다른 질문에 답하는 양이다.

항등식을 옮겨 쓰면 입력과 출력 엔트로피를 올바르게 비교할 수 있다.

$$H(X)=H(Y)+H(X\mid Y)-H(Y\mid X).$$

결정론적 군 관측에서는 마지막 항이 사라진다. 잡음 관측에서는 그렇지 않아 H(Y)가 H(X)보다 클 수도 있다. 잡음 항을 빼먹으면 결정론적 정보 손실에 관한 주장을 확률적 눈금에 잘못 적용하게 된다. 무엇을 알고 있는 상태에서 어떤 불확실성을 평균했는지 구별하자.

눈금이 실제로 알려주는 정보를 재자

상호정보량은 결합 법칙을 입력과 눈금이 독립일 때의 곱 법칙과 비교한다. 어느 쪽에서 보아도 조건화에 따른 엔트로피 감소량과 같다.

$$I(X;Y)=D(J\Vert p\otimes R)=\sum_{i,j:J_{ij}>0}J_{ij}\ln\frac{J_{ij}}{p_iR_j} =H(X)-H(X\mid Y)=H(Y)-H(Y\mid X).$$

J가 양수인 곳에서는 입력과 출력의 주변 확률도 양수다. 따라서 이 유한 채널의 상호정보량에는 목표 지지집합 불일치에 따른 무한대가 생기지 않는다. 입력이나 출력이0인 좌표에는 일반적인0 기여를 적용하며 정의되지 않은 로그를 억지로 만들지 않는다. 경계와 독립 조건은 다음과 같다.

$$0\le I(X;Y)\le\min\{H(X),H(Y)\},\qquad I(X;Y)=0\iff J_{ij}=p_iR_j\ \text{for all }i,j.$$

높은 엔트로피의 램프는 그 변화가 입력과 연관된 만큼만 유용하다. 상호정보량이라는 수치는 대칭이지만,지정한 채널은 여전히 입력에서 출력으로 작동하는 장치를 설명한다. 대칭적인 정보 비교와 실제 장치의 방향을 혼동하지 말자.

일반적인 채널과 조건부 정보의 틀은 Polyanskiy·Wu의 MIT6.441,2장을 더 읽어보자. 여기의 표·준비·장치는 명시적으로 지정한 유한 예제이며,실제 물리적 구현은 추가 질문이다.

결정론적 군 관측을 특수한 경우로 되찾자

실제로 준비되는 각 입력이 언제나 하나의 출력 g(i)를 낸다고 하자. 그러면 다음과 같다.

$$K_{j\mid i}=\mathbf1\{j=g(i)\}\ \text{on the preparation support},\qquad H(Y\mid X)=0,\qquad I(X;Y)=H(Y).$$

준비 가중치(6,2,1,1)에서 앞 두 상태를 출력0,뒤 두 상태를 출력1로 보낸다. 출력 확률은(.8,.2)다. 출력 엔트로피는 약.500402424 nat이며,눈금을 본 뒤 남는 상태 엔트로피는.588497552 nat이다. 둘을 합치면 H(X)≈1.088899975를 되찾는다.

이것은 앞의 결정론적 분할을 더 큰 채널 모형 안에서 본 것이다. 입력마다 다른 출력을 주면 두 조건부 엔트로피가 모두0이고 H(X)를 전부 보존한다. 준비 질량이0인 입력의 행이 결정론적인지 여부는 이 수치에 영향을 주지 않는다. 실제 준비 지지집합에서 사용되는 행을 대상으로 조건을 읽어야 한다.

무작위 램프는 정보 없이 불확실성만 더할 수 있다

두 채널 행을 입력과 무관하게(.5,.5)로 두자. 입력이 반드시 상태0이라면 H(X)=0이지만 H(Y)=ln2다. 원래 상태를 알고 있어도 램프는 예측하기 어렵다. 출력 엔트로피 전부가 장치의 무작위성 H(Y|X)=ln2이며 상호정보량은0이다.

사전 분포를(.75,.25)로 바꾸어도 이 램프의 상호정보량은 여전히0이다. 양의 확률을 갖는 어느 출력을 보더라도 사후가(.75,.25)로 그대로다. 원래 모르던 정보를 더 알려주지 않는다. 이때 H(X|Y)=H(X)이고 전체 항등식은 출력에 더해진 독립 잡음을 함께 설명한다.

AI의 생성 시스템이나 측정 장치를 읽을 때도 유용한 예다. 출력이 다양하다는 사실만으로 선택한 잠재변수에 관해 유용한 정보를 갖는다고 볼 수 없다. 어느 입력 변수와 어떤 준비 아래의 정보를 비교하는지 먼저 지정하자. 출력의 다양성만으로 그 관계가 성립하지 않는다.

대칭 오류와 독립 잡음은 다르다

입력을 e 확률로 뒤집는 이진 센서의 채널 행렬은 다음과 같다.

$$K=\begin{pmatrix}1-e&e\\e&1-e\end{pmatrix},\qquad 0\le e\le1.$$

균등 입력에서는 출력도 균등하다. 이진 엔트로피 h가 두 조건부 엔트로피와 상호정보량을 결정한다.

$$h(e)=-e\ln e-(1-e)\ln(1-e),\qquad H(Y\mid X)=H(X\mid Y)=h(e),\qquad I(X;Y)=\ln2-h(e).$$

e=.1에서 각 조건부 엔트로피는 약.325082973 nat,상호정보량은.368064207 nat이다. 눈금은 상태 후보를 좁히지만 완전히 식별하지는 못한다. e=.5에서는 두 행이 같아져 출력이 독립이다. e=1에서는 레이블을 언제나 뒤집으므로 모든 정보를 보존한다.

따라서 오류율이라는 숫자가0에서1까지 커질수록 정보가 전 구간에서 감소한다고 설명하면 안 된다. 장치의 규칙이 중요하다. 항상 반대 레이블을 준다는 사실을 알면 정확하게 해독할 수 있지만,균등한 무작위 레이블은 그렇지 않다. 체계적인 부호화 규칙을 고치는 일과 확률적 불확실성을 줄이는 일은 다른 문제다.

지워짐 관측은 언제 정보를 잃었는지 알려준다

센서의 출력을0·1·?의 세 가지로 늘리자. 입력과 독립적으로 e 확률의 지워짐이 생기고,그 외에는 올바른 입력을 보고한다.

$$K=\begin{pmatrix}1-e&0&e\\0&1-e&e\end{pmatrix}.$$

균등 입력과 e=1/4의 결합 표는 대칭 오류와 다른 구조를 갖는다.

입력	눈금0	눈금1	눈금?
0	3/8	0	1/8
1	0	3/8	1/8
열의 합	3/8	3/8	1/4

눈금0이나1을 읽으면 입력을 정확히 식별한다. ?를 읽으면 원래 균등 사전 분포가 남는다. 평균한 정보량들은 다음과 같다.

$$H(Y)=h(e)+(1-e)\ln2,\qquad H(Y\mid X)=h(e),\qquad H(X\mid Y)=e\ln2,\qquad I(X;Y)=(1-e)\ln2.$$

e=1/4에서는 보존한 정보가.519860385 nat,숨은 정보가.173286795 nat이다. 세 번째 출력 때문에 H(Y)가 ln2보다 커질 수 있지만 상호정보량은 한 bit 입력의 엔트로피를 넘을 수 없다. 늘어난 출력 불확실성에는 어느 시행이 지워졌는지에 관한 불확실성도 들어 있다.

사전 분포가 바뀌면 같은 눈금의 뜻도 달라진다

뒤집힘 확률.1인 대칭 센서는 유지하고 준비를(.75,.25)로 바꾸자. 출력 확률은(.7,.3)이 된다. 눈금0의 사후는(27/28,1/28),눈금1의 사후는(1/4,3/4)다.

둘째 결과를 직접 구하려면 결합 질량.75×.1=.075와.25×.9=.225를 비교한 뒤 합.3으로 나눈다. 입력1을 주었을 때 센서가 눈금1을 낼 확률은.9지만,그 눈금을 본 뒤 원래 입력이1일 확률은.75다. 조건의 방향이 다르기 때문이다.

두 행의 엔트로피가 그대로이므로 H(Y|X)는 h(.1)로 유지된다. 그러나 준비가 H(Y)를 바꾸어 상호정보량은 약.285781329 nat으로 달라진다. 장치에 입력 준비와 무관한 하나의 상호정보량이 있다고 생각하지 말자. 허용된 준비 전체에서 최적화하는 채널 용량은 별도의 문제다. 이 단원에서는 명시적으로 주어진 준비를 평가한다.

불가능한 사건과 사용하지 않은 규칙을 구별하자

선언된 출력 열의 총합이0일 수 있다. 이 모형으로는 그 출력의 사후가 정해지지 않으며 가중 숨은 엔트로피 기여는0이다. 반면 binary64 표시 아래의 작은 양수 출력에도 사후는 잘 정의된다. 양의 부호와 로그를 지지집합의0으로 대체해서는 안 된다.

준비 확률0인 입력은 다른 경우다. 장치에는 그 가정적인 입력의 조건부 행이 지정되어 있고,그 행 자체의 엔트로피는 양수일 수 있다. 하지만 현재 실험의 평균에 대한 pH(K) 기여는 정확히0이다. 사용하지 않은 행을 바꾸면 행 자체의 엔트로피는 달라져도 결합·관측 정보는 변하지 않는다.

계산기는 사용하지 않는 입력에도 완전하고 양의 총합을 갖는 채널 행을 요구한다. 모두0인 행을 균등한 규칙으로 추측해 고치지 않는다. 이렇게 해야 장치의 정의와 실제로 준비한 입력의 선택을 분리할 수 있다.

작은 정보량을 수치 계산에서도 보존하자

행마다 정규화 분모가 다를 수 있다. 각 행을 반올림한 표시 확률로 먼저 바꾼 뒤 결합 법칙을 만들면 양수 경로가 사라지거나,독립 여부가 바뀌거나,작은 연관을 잃을 수 있다. 모델은 입력으로 주어진 유한 binary64 가중치에서 준비·채널·결합·출력·사후 법칙을 정확한 유리수로 유지한다.

로그는 근사다. 상호정보량은 거의 같은 엔트로피 표시값을 빼는 대신 비음수 Bregman 항을 더해 구한다. 근사 정보량 항을 만든 뒤 각각192개의 유효 이진 자리와 제한 없는 지수로 반올림하고,그 dyadic 합은 정확하게 계산한다. 항별 상대 반올림 오차 한계는 다음과 같다.

$$\left|\operatorname{round}_{192}(z)-z\right|\le2^{-192}z\qquad(z>0).$$

이 과정이 기반 초월함수 로그까지 정확하게 만드는 것은 아니다. 확률을 먼저 반올림하는 것도 아니다. 지수의 제한을 없애 고정 binary64 화면에 나타나지 않는 작은 양수 정보량도 유지한다. 정확한 독립 여부는 상호정보량에 허용치를 적용하지 않고 원래 유리수 결합 법칙으로 판단한다.

예를 들어 준비 가중치(MIN_VALUE,1024)와 항등 센서에서는 첫 상태의 확률이 binary64 최소 양수보다 작다. 하지만 엔트로피와 상호정보량은 여전히 최소 subnormal 양수로 반올림된다. 원래 양수 확률과 정보 인자를 표시 전에 곱해야 그 기여를 살릴 수 있다. 표시가 불가능한 확률을 미리0으로 바꾸면 이 결과를 잃는다.

풀이가 있는 연습

연습 1: 결합 표를 만들고 거꾸로 읽기

균등 입력과 채널 행(.9,.1),(.1,.9)를 사용한다. 결합 표와 출력 확률,눈금0을 본 뒤의 사후를 구하자.

해설: 결합 행은(.45,.05),(.05,.45)다. 각 출력의 확률은.5다. 첫 열을.5로 나누면 사후(.9,.1)이다. 채널 행은1로 합쳐지지만 결합 행은 각각 준비 확률.5로 합쳐진다.

연습 2: 예측하기 어렵지만 아무것도 알려주지 않는 눈금

입력0을 확실하게 준비하고 두 채널 행을(.5,.5)로 둔다. H(X),H(Y),H(Y|X),H(X|Y)와 상호정보량을 구하자.

해설: H(X)=H(X|Y)=I=0이다. H(Y)=H(Y|X)=ln2다. 출력 엔트로피는 전부 독립적인 장치의 무작위성이다. 두 조건부 항을 모두 연쇄 항등식에 넣으면 입력 엔트로피0을 되찾는다.

연습 3: 무작위 오류와 결정론적 반전 비교하기

균등 입력에서 뒤집힘 확률.1,.5,1의 상호정보량을 계산하자.

해설: .1에서는 ln2−h(.1)≈.368064207 nat,.5에서는0,1에서는ln2다. 마지막은 알려진 반전이라 가역적이다. 오류가 자주 난다는 사실만으로 눈금을 해독할 수 있는지 결정되지 않는다.

연습 4: 지워짐을 관측한 뒤 조건화하기

균등 입력과 지워짐 확률1/4를 사용한다. 출력 확률,?를 본 사후,평균 숨은 정보를 구하자.

해설: 출력 확률은(3/8,3/8,1/4)다. ?의 사후는(.5,.5)이고 다른 양수 눈금은 상태를 식별한다. 숨은 정보는(1/4)ln2≈.173286795 nat,보존한 정보는(3/4)ln2≈.519860385다.

연습 5: 편향된 사전 분포로 Bayes 계산하기

사전(.75,.25)와 대칭.1 뒤집힘 채널에서 P(X=1|Y=1)은 얼마인가? 왜.9가 아닌가?

해설: Y=1의 결합 질량은.075와.225이므로 사후는.225/.3=.75다. .9는 반대 방향의 조건부인 P(Y=1|X=1)이다. 관측된 눈금 중 각 입력에서 온 비율에는 사전 준비의 빈도가 영향을 준다.

연습 6: 없는 출력과 사용하지 않은 입력 구별하기

한 출력 열의 질량이0이고,준비 확률0인 입력에는 잡음이 있는 행이 지정되어 있다. 무엇이 정의되며 평균 엔트로피에는 어떻게 기여하는가?

해설: 없는 출력의 사후는 미정이고 가중 숨은 엔트로피 기여는0이다. 사용하지 않은 입력 행은 여전히 정의된 장치 규칙이며 자체 엔트로피가 양수일 수 있지만,가중 잡음 기여는0이다. 두 경우 모두 다른 곳의 아주 작은 양수 확률을 지워도 된다는 뜻은 아니다.

실험으로 확인하기

‘대칭 오류 .1’을 선택하고 채널·결합·사후 표를 순서대로 비교하자. 채널 행의 합은 1이지만 같은 입력의 결합 행 합은 준비 확률이다. 출력 1을 선택해 사후를 읽고, 채널 행을 역방향 규칙처럼 사용하지 말자.

예제	비교할 항목	고정하거나 바꾼 것
편향된 사전3:1	대칭 오류 .1과 Y=1의 사후 비교	채널은 고정하고 사전만 바꾸면 입력1 사후 확률은 .75가 된다.
지워짐1/4	Y=0·1·2 출력	Y=2는 ?이며 균등 사전을 남기고, 다른 눈금은 입력을 식별한다.
독립적인 램프	H(X)·H(Y)·H(Y	X)·I(X;Y)
언제나 반대 레이블	사후와 숨은 조건부 엔트로피	알려진 결정론적 반전도 준비된 입력을 정확히 식별한다.
사용하지 않은 입력·출력	행 엔트로피·가중 잡음·Y=2의 사후	사용하지 않은 행은 정의되어 있지만 불가능한 출력의 사후는 미정이다.
표시 아래의 양수 정보	입력 확률·H(X)·I(X;Y)의 값·상태·로그	선형 표시 범위 밖의 확률도 양수 정보 기여를 남길 수 있다.

준비 가중치와 채널 행의 가중치를 따로 바꿔보자. 각 행은 자기 총합으로 정규화한다. ‘확장 설정’에서 채널 행 수는 준비 길이와 같아야 하고, 모든 행의 출력 수가 같으며 각 행의 합이 양수여야 한다. 준비 가중치 0은 허용하지만 모두 0인 채널 행에 장치 규칙을 추측해 채워 넣지 않는다. 바꾼 뒤 출력을 선택해 전체 결합 열과 사후를 비교하자.

현재 읽기 화면에서 그림·안내 실험·퀴즈를 사용할 수 있다. 계산은 worker에서 실행하므로 비용이 큰 입력은 중단하거나 다른 준비로 바꿀 수 있다. 계산 중이거나 실패한 상태를 정보량 0으로 읽지 말자. 최소·최대 가중치를 섞은 전체 16×16 계산은 여전히 무거우며, 허용된 크기가 즉시 완료를 보장하지는 않는다. 예제 순회는 서로 다른 준비나 장치를 비교할 뿐 시계·열 수지·물리적 측정 비용을 제공하지 않는다. 이후 앙상블 단원은 저장고에 관한 구체적 가정을 추가하며, 고전적인 채널 정보만으로 그 가정을 얻을 수는 없다.