가중 미시분포·거시 관측·균등 재구성

계기 눈금은 무엇을 잊어버릴까

이름표가 붙은 네 상태를 네 개의 상자로 그려보자. 계기는 앞의 두 상자를 파란색, 뒤의 두 상자를 주황색으로 묶고 색깔만 알려준다. 계가 상태0에 있어도 상태1에 있어도 파란색이라는 같은 눈금이 나온다. 계기는 색을 정확하게 관측하면서도 원래 어느 상태였는지는 구별하지 못한다.

이제 상태0을 상태1보다 더 자주 준비해보자. 파란색이라는 관측값에 속하는 상태 수는 여전히 두 개다. 그러나 파란색을 안 뒤 두 상태의 조건부 확률은 같지 않다. 한 관측값과 양립하는 상태를 세는 일과 그 상태들을 어떤 확률로 준비하는 일은 다른 문제다. 이진 껍질의 균등 준비에서 한 걸음 더 나아가, 묶는 규칙은 유지하면서 준비 가중치를 일반화하자.

AI의 표현에서도 같은 구분이 필요하다. histogram, 군집 레이블, 추출한 특징은 어떤 차이는 보존하고 다른 차이는 버린다. 거친 표현만 주어졌다고 사라진 세부 정보를 복원하는 규칙까지 정해지지는 않는다. 여기서는 관측과, 별도로 선택한 하나의 재구성 규칙을 나누어 설명한다.

준비 분포와 관측 사상을 지정하자

서로 구별되는 미시상태가 n개 있다고 하자. 비음수 가중치 w는 준비를 지정하며 다른 벡터 v는 비교할 목표 분포를 지정한다. 두 벡터는 각각 양의 합을 가져야 한다. 서로 다른 총합으로 따로 정규화한다.

$$W=\sum_iw_i>0,\quad V=\sum_iv_i>0,\qquad p_i=\frac{w_i}{W},\quad q_i=\frac{v_i}{V}.$$

모든 준비 가중치에 같은 양의 수를 곱하면 p는 변하지 않는다. 한 가중치만 바꾸면 일반적으로 분포가 달라진다. 목표 q는 두 번째 확률 법칙일 뿐, 자동으로 열평형 분포가 되는 것은 아니다. 이 모형에는 에너지, 저장고 온도, 시계가 주어지지 않았다.

상태를 선언된 관측 레이블 m으로 보내는 결정론적 사상 g를 고르자. 한 군은 해당 레이블의 원상이다. 군의 크기와 두 준비에서의 관측 확률은 다음과 같다.

$$C_m=\{i:g(i)=m\},\qquad \Omega_m=|C_m|,\qquad P_m=\sum_{i\in C_m}p_i,\quad Q_m=\sum_{i\in C_m}q_i.$$

모든 미시상태는 정확히 한 군에 속한다. 개수는 사상을 설명하지만 P와 Q는 사상과 준비를 함께 설명한다. 선언된 레이블의 원상이 비어 있을 수 있다. 또 비어 있지 않은 군이라도 그 안의 준비 가중치가 모두0이면 확률이0이다. 관측 확률이 같다고 두 경우의 뜻까지 같은 것은 아니다.

관측값을 안 뒤 숨은 상태의 확률을 구하자

양의 확률로 관측되는 레이블을 알게 되면 양립하는 상태들만 다시 정규화한다. 준비 분포와 목표 분포에는 각각의 조건부 법칙이 있다.

$$r_{i\mid m}=\frac{p_i}{P_m}\quad(P_m>0),\qquad s_{i\mid m}=\frac{q_i}{Q_m}\quad(Q_m>0),\qquad i\in C_m.$$

이 식은 해당 군 안의 가중치가 균등하지 않은 한 상태 수로 나누는 식이 아니다. 확률0인 레이블에서는 준비만으로 조건부 분포가 정해지지 않는다. 추상적인 확률 공간에서는 그런 사건 위의 조건부 값을 임의로 정한 버전을 사용할 수 있지만, 이 계산기는 주어진 준비에서 결정되지 않았다는 사실을 표시한다.

양의 확률을 갖는 군에서 두 단계의 설명을 결합하면 원래 미시상태 확률을 되찾는다.

$$p_i=P_{g(i)}r_{i\mid g(i)}\qquad(P_{g(i)}>0).$$

먼저 색을 고르고, 그다음 그 색 안의 상자를 고르는 그림을 떠올려보자. 원래 무작위 상태를 다시 지정하려면 두 선택이 모두 필요하다. 첫 번째 선택이 두 번째를 자동으로 균등하게 만들지는 않는다.

네 상자에서 열 단위의 확률 질량을 따라가자

가중치를 w=(6,2,1,1)로 두고 군을{0,1}과{2,3}으로 나누자. 총합10은 손계산을 쉽게 하는 공통 분모다. 실제로 열 번의 실험을 했다는 뜻은 아니다.

상태	준비 확률	계기 눈금	해당 눈금 안의 조건부 확률
0	6/10	파란색	6/8 = 3/4
1	2/10	파란색	2/8 = 1/4
2	1/10	주황색	1/2
3	1/10	주황색	1/2

너비6과2인 화살표가 너비8의 파란 화살표로 합쳐지는 그림을 그려보자. 너비1과1인 주황 화살표는 너비2로 합쳐진다. 계기에서 읽는 확률은.8과.2다. 파란 화살표를 거꾸로 따라간다고 원래 갈라짐이6:2인지,4:4인지,8:0인지 결정할 수는 없다.

두 군의 크기는 모두2지만 파란 군과 주황 군의 조건부 엔트로피는 다르다. 같은 개수가 같은 불확실성을 뜻하지 않기 때문이다. 네 상태의 확률 막대와 두 관측 확률 막대를 나란히 놓으면 어떤 차이가 합쳐졌는지 직접 볼 수 있다. 관측 레이블에 도달한 뒤에도 원래 막대 높이를 기억하는 것이 핵심이다.

정보의 연쇄법칙을 직접 유도하자

자연로그를 사용하고 정보량을 nat으로 나타낸다.0 ln0=0은 연속 확장으로 정의한다. 상태 엔트로피와 관측 엔트로피를 각각 정의하자.

$$H(X)=-\sum_ip_i\ln p_i,\qquad H(M)=-\sum_mP_m\ln P_m.$$

P>0인 군마다 p=Pr을 대입하면 로그가 lnP와 lnr로 나뉜다. 조건부 확률의 합이1이므로 첫째 부분을 군 안에서 더하면−P lnP가 된다. 나머지는 해당 군의 엔트로피에 그 군이 관측될 확률을 곱한 값이다.

$$H(X)=H(M)+H(X\mid M),\qquad H(X\mid M)=\sum_{m:P_m>0}P_mH(r_m).$$

예제 준비에서는 H(X)≈1.088899975, H(M)≈.500402424, H(X|M)≈.588497552 nat이다. 반올림 전 값은 항등식을 만족한다. 조건부 항은 가능한 관측값 전체에 대한 평균이며 화면에서 지금 선택한 군 하나의 엔트로피와는 다르다.

결정론적 관측의 Shannon 엔트로피는 입력 엔트로피보다 클 수 없다. 숨은 조건부 정보가 비음수이기 때문이다. 이 주장은 무작위 관측값 M에 관한 것이다. 원래 상자 전체 위에 재구성한 다른 분포의 엔트로피까지 더 작아야 한다는 주장은 아니다. 어느 공간 위의 어떤 확률 법칙을 비교하는지 먼저 확인하자.

상태 수는 숨은 정보의 상한을 주지만 값을 정하지 않는다

준비 확률이 양수인 군에서는 양립하는 이름 붙은 상태들을 균등하게 고를 때 조건부 엔트로피가 최대다. 따라서 다음 상한을 얻는다.

$$0\le H(X\mid M)\le\sum_{m:P_m>0}P_m\ln\Omega_m.$$

상태가 하나뿐인 군은 두 경계가 모두0이다. 더 큰 군이라도 준비를 한 상태에 집중하면 조건부 엔트로피가0이 된다. 군 크기가1보다 크다는 사실만으로 불확실성이 반드시 양수가 되지는 않는다. 양의 준비 확률을 갖는 모든 군이 내부에서 균등할 때에만 이 상한을 달성한다.

즉 개수는 한 관측값이 최대 얼마나 많은 정보를 숨길 수 있는지 제한한다. 개수를 지정했다고 준비가 그 최대치를 달성한다고 가정해서는 안 된다. 네 상자 예제에서 주황 군은 ln2에 도달하지만 파란 군은 그렇지 않다. 시각화에서는 실제 내부 갈라짐을 먼저 보여준 뒤 균등한 비교 대상을 겹쳐야 두 뜻을 혼동하지 않는다.

같은 관측값이 서로 다른 준비를 숨길 수 있다

사상을 유지하면서 준비를 p'=(.8,0,.1,.1)로 바꾸자. 관측 확률은 여전히(.8,.2)다. 그러나 전체 엔트로피는.639031860 nat, 숨은 조건부 엔트로피는.138629436 nat으로 작아진다. 원래 준비와 관측 엔트로피는 같지만 내부 불확실성이 다르다.

다음 표에서 관측으로 결정되지 않는 부분을 직접 비교할 수 있다.

준비 분포	파란 질량	주황 질량	파란 군 내부의 갈라짐
(.6,.2,.1,.1)	.8	.2	3/4 대1/4
(.8,0,.1,.1)	.8	.2	1 대0
(.4,.4,.1,.1)	.8	.2	1/2 대1/2

이 계기에는 세 준비가 완전히 같아 보인다. 차이를 되찾으려면 더 세밀한 관측이나 내부 준비에 관한 추가 가정이 필요하다. 표현 학습에서도 집계한 histogram을 맞추는 것과 이름 붙은 사례·배치 전체의 분포를 맞추는 것은 다른 문제다. 같아 보이는 출력에서 역방향으로 하나의 미시 법칙을 단정하지 말자.

균등하게 재구성하는 것은 추가 규칙이다

군 확률만 남긴 뒤 각 군의 질량을 양립하는 상태에 균등하게 나누기로 선택했다고 하자. 재구성한 법칙을 원래 p와 다른 기호로 정의한다.

$$\bar p_i=\frac{P_{g(i)}}{\Omega_{g(i)}}.$$

실제 상태는 언제나 비어 있지 않은 군에 속하므로 이 좌표의 분모는 양수다. 비어 있지 않지만 질량0인 군에서는 모든 재구성 좌표가0이다. 빈 선언 군에는 재구성할 상태 좌표 자체가 없다.

예제에 규칙을 적용하면(.4,.4,.1,.1)이 된다. 관측 확률(.8,.2)는 보존되지만 내부 분포는 바뀐다. 재구성 엔트로피는 다음과 같다.

$$H(\bar p)=H(M)+\sum_{m:P_m>0}P_m\ln\Omega_m.$$

고정된 이름 붙은 상태 공간에서 이 군 확률을 보존하는 유한 분포 중 엔트로피가 가장 크다. 원래 준비의 연쇄법칙을 빼면 무엇을 채웠는지 더 구체적으로 드러난다.

$$H(\bar p)-H(p)=\sum_{m:P_m>0}P_mD(r_m\Vert u_m)\ge0,\qquad (u_m)_i=\Omega_m^{-1}\ (i\in C_m).$$

(.6,.2,.1,.1)에서의 증가량은 약.104649629 nat, (.8,0,.1,.1)에서는.554517744 nat이다. 같은 재구성이 서로 다른 양의 내부 구조를 지운다. 이를 실제 계가 시간에 따라 높은 엔트로피 상태로 움직였다고 설명해서는 안 된다. 동역학을 주지 않은 채 추가 규칙으로 설명에 사용한 분포를 바꾼 것이다.

관측 전후에 두 준비를 비교하자

유한 분포의 상대 엔트로피는 두 확률 법칙을 비교한다. 지지집합 조건을 함께 읽어야 한다.

$$D(p\Vert q)=\sum_{i:p_i>0}p_i\ln\frac{p_i}{q_i},\qquad p_i>0,\ q_i=0\ \Longrightarrow\ D(p\Vert q)=+\infty.$$

p가 양수인 모든 좌표에서 q도 양수이면 두 확률을 군 질량과 조건부 법칙으로 나눌 수 있다. 로그를 나누고 군별로 모으면 다음을 얻는다.

$$D(p\Vert q)=D(P\Vert Q)+\sum_{m:P_m>0}P_mD(r_m\Vert s_m),\qquad D(P\Vert Q)\le D(p\Vert q).$$

관측된 차이와 내부 조건부 차이는 각각 비음수인 총량이다. 하지만 개별 항 p ln(p/q)는 음수일 수 있으므로 그 항 하나하나를 비음수 거리라고 읽으면 안 된다. 계산기는 매우 작은 총량을 평가할 때 다른 양의 합 표현을 사용한다.

p=(.6,.2,.1,.1),q=(.4,.4,.1,.1)이면 거시 KL은0이다. 전체 차이.104649629 nat은 파란 군 안에 숨는다. 주황 군의 조건부는 일치한다. 색만 관측하면 두 준비의 차이가 모두 사라지지만 미시상태 법칙이 같아진 것은 아니다.

조건부 KL의 연쇄법칙과 데이터 처리의 일반 틀은 Polyanskiy·Wu의 MIT6.441,2장을 더 읽어보자. 여기의 군 선택과 균등 재구성 예제는 앞에서 명시한 유한 모형에 맞추어 직접 전개한 것이다.

어떤 관측은 비교를 그대로 보존한다

지지집합 조건을 만족하는 유한 KL 비교에서는 내부에 조건부 차이를 숨기지 않을 때, 그리고 그때에만 관측이 KL을 보존한다.

$$D(p\Vert q)=D(P\Vert Q)\quad\Longleftrightarrow\quad r_m=s_m\ \text{for every }m\text{ with }P_m>0.$$

이는 지정한 p,q 한 쌍에 관한 주장이다. 통계 모형 전체에 대한 충분성을 자동으로 뜻하지 않는다. H(M)=H(X)의 조건과도 다르다. 엔트로피의 동등성은 p 아래에서 관측값으로 숨은 상태가 결정되어야 하지만, 이 KL의 동등성은 두 조건부 법칙이 같으면 된다.

예를 들어 p=(.4,.4,.1,.1),q=(.1,.1,.4,.4)는 두 군 안에서 각각 균등하다. 군 확률은 서로 다르므로 KL은 양수지만 색 계기가 비교에 필요한 KL 전부를 보존한다. 그런데 p 아래에서 어느 상자인지에 대한 ln2 nat은 여전히 숨는다. 특정 비교를 보존하는 것과 상태를 식별하는 것은 다른 질문이다.

숨은 갈라짐을 추측하는 대신 관측을 세분하자

F를 더 세밀한 결정론적 관측이라 하고, 일부 F 레이블을 합쳐 M을 만들었다고 하자. 세밀한 관측값에서 거친 관측값을 계산할 수 있다. 같은 두 단계 논리를 적용하면 다음과 같다.

$$H(F)=H(M)+H(F\mid M),\qquad H(X\mid M)=H(F\mid M)+H(X\mid F).$$

관측을 세분하면 숨은 항의 정보가 관측 항으로 옮겨간다. 준비 자체나 H(X)가 바뀌는 것은 아니다. 각 상태에 다른 레이블을 주면 X를 완전히 드러낸다. 모든 상태를 한 레이블로 합치면 관측값은 상수가 되고 H(X) 전체가 숨는다.

균등 재구성도 선택한 분할에 의존한다. 네 상태 예제에서 파란 군을 두 개의 개별 레이블로 나누면 재구성이 원래6:2 불균형을 지우지 못한다. 이것은 관측 분해능의 선택이다. 기반이 되는 물리계가 바뀌었다는 증거가 아니다. 두 그림을 비교할 때 고정한 준비와 바꾼 사상을 서로 다른 표시로 보여주자.

질량0·미정 조건부·무한 KL을 나누어 읽자

p=(1,0,0),레이블(0,1,1),선언 군 수3을 생각하자. 군1에는 두 상태가 있지만 준비 질량은0이다. 군2는 상태가 아예 없다. 관측 확률은 둘 다0이지만 첫째에만 양립하는 상태가 있다. 두 군 모두 준비로 정해지는 조건부 법칙은 없으며 평균 조건부 엔트로피에 대한 기여는0이다.

다음으로 p=(1/2,1/2),q=(1,0)를 생각하자. 두 상태를 같은 군으로 묶으면 거시 KL은0, 미시·숨은 KL은 무한대다. 서로 다른 레이블을 주면 거시 KL 자체가 무한대다. 이때 둘째 목표 군에는 조건부 법칙이 정의되지 않는다. 계산기는 무한대 두 개를 빼지 않고 해당 조건부 분해가 미정임을 남긴다.

표시 범위 아래의 양수 확률은 또 다른 경우다. 그 상태는 지지집합에 남으며 양의 부호와 로그 증거를 갖는다. 무한대라는 말은 수학적인 지지집합 불일치에 사용한다. 값이 유한하지만 화면의 선형 숫자로 나타내지 못한다는 사실과 구별하자.

작은 정보 차이를 표시값끼리 빼서 계산하지 말자

각 가중치가 유한해도 총합은 binary64 최대값을 넘을 수 있다. 반대로 가장 작은 양수 입력과 가장 큰 입력의 비는 underflow할 수 있다. 계산기는 관측값으로 투영하기 전까지 정확한 이진 유리수 합과 곱을 보존한다.

유한 KL은 비음수 Bregman 형태로 평가하고 동등성 근처에서는 급수를 사용한다.

$$D(p\Vert q)=\sum_{i:q_i>0}q_i\,\phi\!\left(\frac{p_i-q_i}{q_i}\right),\qquad \phi(t)=(1+t)\ln(1+t)-t,\quad \phi(-1)=1,\quad \phi(t)=\tfrac12t^2+O(t^3).$$

이 식에는 앞의 유한 지지집합 조건을 전제한다. 준비와 목표가 모두0인 좌표는 기여하지 않는다. 입력의 한 ULP 차이가 두 엔트로피 표시의 반올림 오차보다 훨씬 작은 양수 KL을 만들 수 있다. 표시값을 빼거나 차이가 작다고0으로 자르는 대신 그 양수 측도를 직접 유지해야 한다.

관측으로 묶은 뒤에는 더 작은 차이도 생긴다. 양수 a,b에 대해δ=a/b가0으로 간다고 하자. 준비 가중치(0,b,a),목표(a,b,a)를 주고 앞의 두 좌표를 합친다. 두 군 분포는 아주 조금 다르다.

$$P=\left(\frac1{1+\delta},\frac\delta{1+\delta}\right),\quad Q=\left(\frac{1+\delta}{1+2\delta},\frac\delta{1+2\delta}\right),\qquad D(P\Vert Q)\sim\tfrac12\delta^3\quad(\delta\to0^+).$$

binary64 최소·최대 양수 가중치의 비를 쓰면 이 KL은 약10⁻¹⁸⁹⁵다. 선형 표시값이 없더라도 유한한 양수다. 독립 참조는4096자리 계산으로 이를 분해한다. 정확한 정규화가 로그까지 정확하게 만들지는 않는다. 초월함수 값은 별도로 정확도를 검사하는 근사이며, 이 점을 정수 계수나 유리수 합의 정확성과 혼동하지 않는다.

풀이가 있는 연습

연습 1: 조건부 준비 되찾기

가중치(6,2,1,1)에서 앞 두 상태와 뒤 두 상태를 각각 묶는다. 군 확률과 두 조건부 법칙을 구하자.

해설: 총합은10이므로 P=(.8,.2)다. 파란 군의 조건부는(6/8,2/8)=(.75,.25),주황 군은(.5,.5)다. 각 군의 상태 수가2라는 사실만으로 파란 군이 균등해지지는 않는다.

연습 2: 관측 정보와 숨은 정보 합치기

같은 준비에서 H(M)≈.500402424,H(X|M)≈.588497552를 합쳐보자. 관측이 같은 준비(.8,0,.1,.1)와 비교하자.

해설: 반올림 전 값을 합치면 원래 H(X)≈1.088899975 nat이다. 둘째 준비에서는 H(X)≈.639031860,숨은 정보≈.138629436이다. 관측 histogram이 같아도 숨은 정보량은 결정되지 않는다.

연습 3: 재구성에 들어간 가정 찾기

첫 준비의 두 군 확률에서 균등 재구성을 구하자. 그 엔트로피와 원래 준비보다 커진 양은 얼마인가?

해설: 재구성은(.4,.4,.1,.1)이다. 엔트로피는 약1.193549604 nat,증가량은.104649629다. 군 내부를 균등하게 두는 것은 추가 규칙이다. 원래 파란 군의 내부 확률은.75와.25였다.

연습 4: 확률0인 두 군 구별하기

p=(1,0,0),레이블(0,1,1),군 수3이다. 어느 군의 조건부가 미정이며 가중 기여는 얼마인가?

해설: 군1에는 가중치0인 상태 둘이 있고 군2는 비었다. 둘 다 관측 확률0이라 지정된 조건부 법칙이 없다. 가중 조건부 엔트로피 기여는 정확히0이다. 군1의 조건부를(.5,.5)로 채우면 이 준비의 조건부 계산이 아니라 추가 선택이 된다.

연습 5: 지지집합 불일치를 숨기거나 드러내기

p=(1/2,1/2),q=(1,0)일 때 한 레이블 관측과 상태별 레이블 관측을 비교하자.

해설: 두 경우 모두 미시 KL은 무한대다. 한 레이블에서는 거시 KL이0이고 숨은 KL은 무한대다. 상태별 레이블에서는 거시 KL도 무한대이고 둘째 목표 조건부는 미정이다. 미정 분해를 무한대 빼기 무한대로 대체하면 안 된다.

연습 6: KL을 보존해도 상태는 숨을 수 있다

p=(.4,.4,.1,.1),q=(.1,.1,.4,.4)를 쌍으로 묶는다. 관측은 KL을 보존하는가? 원래 상태를 식별하는가?

해설: 두 준비의 군 내부 조건부가 모두 균등하므로 KL을 보존한다. 값은.8ln4+.2ln(1/4)=.6ln4≈.831776617 nat이다. 그러나 p에서 각 군의 두 상태가 같은 확률이므로 계기 눈금은 ln2≈.693147181 nat을 여전히 숨긴다. 이 비교의 보존은 상태 식별이 아니다.

실험으로 확인하기

‘숨은 편향’에서 시작하자. 준비 가중치 (6,2,1,1), 목표 가중치 (4,4,1,1)는 사상 (0,0,1,1)을 사용한다. 네 미시상태 막대와 두 군 확률을 비교한 뒤 ‘조건부를 볼 군’을 선택하자. 선택 군 내부 엔트로피는 그 군 하나의 값이며, 정보 표의 H(X|M)은 군 확률로 가중한 전체 평균이다.

예제	읽을 항목	해석
같은 관측·다른 준비	숨은 편향과 H(M)·H(X)·H(X	M) 비교
KL 보존·상태는 숨음	가중 숨은 KL과 H(X	M)
숨은·드러난 지지집합 불일치	미시 KL·군 KL·선택한 목표 조건부	사상에 따라 무한대가 숨거나 드러난다. 미정 분해는 무한대끼리 뺀 값이 아니다.
확률0 군과 빈 군	M=1·M=2의 크기와 실제 조건부	상태가 있지만 사용하지 않은 군과 빈 레이블 모두 준비로 정해지는 조건부가 없다.
한 ULP의 양수 증가량	재구성 증가량의 값·부호·로그	반올림한 두 엔트로피가 같다고 증가량이 0임을 증명하지 않는다.

읽기 화면에서는 최대 32상태·32선언 레이블을 지원한다. 이는 이 실험의 계산 한도다.

개별 값은 가중치 입력으로 바꾸자. 상태 수·사상·선언 군 수를 함께 바꾸려면 ‘확장 설정’의 JSON을 사용한다. 준비·목표·사상은 같은 상태 수를 가져야 하고 모든 사상 레이블은 선언 범위 안에 있어야 한다. 군 수 입력을 줄이면 기존 레이블이 새 범위 안으로 줄어들어 군이 합쳐질 수 있다. 가중치는 유지하고 관측을 바꾸는 조작이다. 반면 JSON 편집에서는 지정한 군 수에 맞는 유효한 사상을 명시해야 한다. 유효하지 않은 제안은 이전의 유효한 준비를 유지한다.

그림과 비교 순회는 따로 지정한 준비와 사상을 보여준다. 균등 재구성은 추가 규칙이지 모의 완화가 아니다. 정보량은 nat 단위이며 물리적 엔트로피로 바꾸려면 적절한 물리 모형과 kB가 필요하다. 다음 잡음 관측 단원에서 장치가 더하는 불확실성과 결정론적 관측이 숨기는 정보를 나누어보자.