유한 저장고와 정준 근사의 오차

저장고에도 유한한 예산이 있다

이름이 붙은 스위치 네 개 중 정확히 두 개가 켜져 있다고 생각해봅시다. 앞의 두 개는 우리가 보는 부분계이고 뒤의 두 개는 저장고입니다. 보이는 두 개가 모두 켜졌다면 뒤의 두 개는 반드시 꺼져 있습니다. 저장고는 무한한 여기 수를 공급할 수 없으며, 앞쪽에서 무엇을 관측했는지에 따라 뒤쪽에 가능한 배치의 수가 달라집니다.

앙상블은 같은 계를 여러 번 준비했을 때의 확률법칙과 제약 조건을 지정하는 방법입니다. 이 모형의 미시정준 준비는 전체 에너지를 고정하고 허용된 전체 미시상태를 균등하게 준비합니다. 정준 준비는 역온도를 매개변수로 부분계 에너지의 확률분포를 지정합니다. 보이지 않는 블록에 저장고라는 이름을 붙였다는 사실만으로 보이는 부분계가 정확히 정준 분포를 따르지는 않습니다.

이 단원에서는 먼저 경우의 수로 부분계의 정확한 분포를 유도합니다. 그 뒤 평균을 맞춘 정준 비교 분포를 만들고, 평균만 맞추었을 때 놓치는 차이를 측정합니다. 앞의 이진 껍질과 블록 조건부 단원을 먼저 읽어두면 좋습니다. 실제 시간, 전이율, 평형 도달의 증명은 이 확률 준비에 포함되어 있지 않습니다.

계와 제약 조건부터 명시하기

부분계에는 서로 구별되는 자리 n개, 저장고에는 서로 구별되는 자리 b개가 있습니다. 각 자리는 에너지 0 또는 같은 양의 에너지 간격 ε를 가지며, ε의 단위는 J입니다. 에너지 모형에 자리 사이 상호작용은 없습니다. 전체 자리 수 N=n+b를 정하고, 전체 여기 수인 정수 K를 고정합니다.

$$x\in\{0,1\}^{N},\qquad A(x)=\sum_{i=1}^{n}x_i,\qquad \sum_{i=1}^{N}x_i=K,\qquad E_{\rm s}=\varepsilon A,\quad E_{\rm tot}=\varepsilon K.$$

균등하게 준비하는 대상은 K가 고정된 이름 있는 전체 배치들입니다. 가능한 A의 값들을 균등하게 고르는 준비가 아닙니다. 저장고의 여기 수는 K−A이므로, 상호작용 에너지 항이 없어도 전체 제약이 두 블록의 여기 수를 연결합니다. 비상호작용과 통계적 독립은 서로 다른 가정입니다.

유한 계산기는 비음수 정수인 블록 크기, 1≤N≤4096, 0≤K≤N을 지원합니다. 부분계가 비었거나 저장고가 비어 있는 경우는 의미 있는 경계 사례입니다. 전체가 빈 경우는 이 계산기의 계약에 포함하지 않습니다. 자리 수 한도는 계산 자원 제한이며 물리적인 한계나 열역학 극한의 정리가 아닙니다. 앙상블의 용어와 일반적인 저장고 논증은 Tong의 1.2–1.3절을 참고할 수 있습니다. 아래의 유한 비교는 여기서 지정한 조합 실험에서 직접 전개합니다.

근사하기 전에 주변 분포 유도하기

부분계의 특정 이진 배치가 여기 a개를 갖는다고 합시다. 이를 전체 여기 수 K인 배치로 완성하려면 저장고에 K−a개의 여기가 필요합니다. 가능한 저장고 완성은 C(b,K−a)개입니다. 한편 부분계에서 여기 수만 a로 고정하면 서로 다른 이름 있는 배치가 C(n,a)개 있습니다.

$$a_{\min}=\max(0,K-b),\qquad a_{\max}=\min(n,K),\qquad c_a=\binom n a\binom b{K-a},\qquad \sum_{a=0}^{n}c_a=\binom NK.$$

허용되는 정수 범위를 벗어난 이항 계수는 0으로 정의합니다. 마지막 항등식은 전체 고정-K 배치를 관측값 A에 따라 겹치지 않게 나눈 결과입니다. 같은 전체 분모로 나누면 서로 관련되지만 다른 두 확률이 나옵니다.

$$p(x_{\rm s})=\frac{\binom b{K-a}}{\binom NK},\qquad P(A=a)=\frac{c_a}{\binom NK},\qquad a=A(x_{\rm s}).$$

첫 식의 표본공간은 부분계의 이름 있는 이진 배치입니다. 둘째 식의 표본공간은 여기 수라는 계기판의 읽기 값입니다. 같은 a 안에서는 부분계 배치가 균등하지만 서로 다른 a의 배치까지 모두 균등할 필요는 없습니다. 두 확률을 같은 막대 이름으로 표시하면 나중에 엔트로피를 비교할 때도 혼동하게 됩니다.

가장 작은 유익한 사례를 직접 나열하기

n=2,b=2,K=2로 둡니다. 가능한 전체 배치는 여섯 개입니다. 전체 0011은 보이는 부분계 00을, 전체 1100은 부분계 11을 만듭니다. 나머지 네 개는 부분계에 여기를 하나씩 남깁니다. 부분계 01과 10에는 각각 두 가지 저장고 완성이 있습니다.

보이는 부분계 배치	가능한 저장고 완성	이 부분계 배치의 확률
00	11	1/6
01	01, 10	2/6
10	01, 10	2/6
11	00	1/6

따라서 A=0,1,2의 확률은 각각 1/6,4/6,1/6입니다. A=1인 막대에는 서로 다른 두 부분계 배치가 합쳐집니다. 시각화에서는 이 합쳐짐을 보여주어야 하며, 부분계 배치 네 개를 모두 같은 확률이라고 그리면 안 됩니다.

같은 준비를 독립 비트에 조건을 거는 방식으로도 이해할 수 있습니다. 전체 N개 비트가 공통 성공확률 r을 가진 독립 준비에서 출발합시다. 단, r은 0과 1 사이입니다. 여기 수 K가 같은 전체 배치들은 모두 같은 곱확률을 가집니다. 전체 여기 수가 K라는 조건을 걸면 공통 인자가 약분됩니다.

$$\Pr_r(X=x\mid\textstyle\sum_iX_i=K)=\frac{1}{\binom NK}\quad\text{for }\sum_i x_i=K,\qquad 0<r<1.$$

즉, 전체 여기 수를 고정한 준비는 곱분포를 조건부로 만든 준비와 정확히 같습니다. 하지만 그 조건을 제거하면 준비 자체가 달라집니다. 부분계 밖의 블록을 열저장고라고 불렀다는 이유로 조건부와 무조건부가 같은 법칙이 되는 것은 아닙니다.

평균을 맞춘 정준 비교 분포 만들기

ρ=K/N으로 놓습니다. 비교 준비에서는 보이는 n개 자리를 각각 성공확률 ρ인 독립 비트로 준비합니다. 0<ρ<1이면 t=βε=ln[(1−ρ)/ρ]인 정준 형태로 쓸 수 있습니다. 이름 있는 배치의 확률과 여기 수의 확률은 다음과 같습니다.

$$q(x_{\rm s})=\rho^a(1-\rho)^{n-a},\qquad Q(A=a)=\binom n a\rho^a(1-\rho)^{n-a},\qquad \rho=K/N.$$

이 비교는 한 자리의 평균 점유와 부분계 평균 에너지를 맞추도록 선택했습니다. 유한 저장고의 모든 특징에 맞추어 만든 분포는 아닙니다. ρ<1/2이면 t>0이고 ε>0에서 양의 온도에 대응합니다. 절반 점유에서는 t=0이며, 이는 무한 온도 극한이지 온도가 0이라는 뜻이 아닙니다.

ρ>1/2이면 t<0입니다. 에너지 위쪽이 유계인 두 준위 스펙트럼에서는 이처럼 높은 준위에 더 많이 준비된 분포를 수학적으로 정의할 수 있습니다. 이를 보통의 양의 온도 운동에너지 기체에 그대로 적용하면 안 됩니다. 물리적 음의 온도 해석에는 스펙트럼의 유계성과 해당 준비 조건이 필요합니다.

ρ=0 또는 1에서는 해당하는 확정 분포를 직접 사용합니다. 이것은 유한한 β의 값이라기보다 정준 준비의 극한입니다. 끝점에서 정의되지 않는 로그를 계산하거나, 실제 지지집합의 0을 작은 양수로 바꾸지 않습니다.

평균과 빠진 상관을 유도하기

전체 N개 이름 있는 자리는 같은 대칭성을 가지므로 각 자리의 평균 점유는 ρ입니다. 보이는 n개 자리의 점유를 더하면 두 준비에서 같은 여기 수 평균을 얻습니다.

$$\mathbb E_P[A]=\mathbb E_Q[A]=n\rho,\qquad \mathbb E_P[E_{\rm s}]=\mathbb E_Q[E_{\rm s}]=\varepsilon n\rho.$$

서로 다른 자리 i,j가 동시에 켜질 확률은 고정 총량 준비에서 K(K−1)/[N(N−1)]입니다. 여기에 두 평균의 곱 ρ²을 빼면 0<ρ<1에서 음의 공분산이 나옵니다. A의 분산을 각 자리의 분산과 모든 교차 공분산으로 전개하면 N≥2에서 다음 식을 얻습니다.

$$\operatorname{Cov}_P(X_i,X_j)=-\frac{\rho(1-\rho)}{N-1},\qquad \operatorname{Var}_P(A)=n\rho(1-\rho)\frac{b}{N-1},\qquad \operatorname{Var}_Q(A)=n\rho(1-\rho).$$

유한 모집단 보정 b/(N−1)은 정해진 여기 예산을 함께 쓰는 효과입니다. 부분계가 한 자리이면 보정은 1입니다. 부분계가 더 크면 이미 분산이 0인 경우를 제외하고 정준 비교보다 분산이 작습니다. Q에서의 독립성은 추가한 준비 가정이며, 에너지가 비상호작용이라는 말에서 저절로 나오지 않습니다.

예를 들어 한 자리가 켜졌음을 알게 되면 다른 자리들이 나누어 가질 남은 여기 수가 줄어듭니다. 이 정보만으로 조건부 확률이 달라질 수 있습니다. N=1일 때는 식의 N−1로 나누지 않고 실제 확정 분포에서 분산 0을 직접 계산합니다.

평균만 보지 말고 분포 전체 비교하기

앞의 네 자리 사례에서 정준 비교는 공정한 독립 비트 두 개를 준비합니다.

$$(P_0,P_1,P_2)=(1,4,1)/6,\qquad (Q_0,Q_1,Q_2)=(1,2,1)/4,\qquad \mathbb E[A]=1.$$

유한 저장고의 분포는 A=1 근처에 더 많은 질량을 모읍니다. 분산은 1/3이고 정준 비교의 분산은 1/2입니다. 따라서 평균 에너지만 재현하는 실험은 이 차이를 발견하지 못합니다. 평균값이 일치한다는 검증은 분포 전체의 검증이 아닙니다.

다른 손계산으로 n=2,b=4,K=2를 봅시다. ρ=1/3이며 정확한 A의 분포는 (6,8,1)/15, 정준 비교는 (4,4,1)/9입니다. 평균은 모두 2/3이지만 분산은 각각 16/45와 4/9입니다. 이번 비교는 유한한 양의 역온도 매개변수 t=ln 2를 가집니다.

두 정규화된 이산 막대그림을 나란히 놓고, 같은 평균선과 서로 다른 분산을 별도로 표시하면 차이를 직관적으로 볼 수 있습니다. 에너지 축은 여기 수에 ε를 곱한 것입니다. 에너지 단위만 바꾸었을 때 확률 막대까지 바뀌어서는 안 됩니다. 막대 사이를 매끄럽게 연결해도 실제로 분수 개의 여기가 생기는 것은 아닙니다.

저장고의 기울기를 국소적으로 살펴보기

여기 수가 하나 다른 특정 부분계 배치의 정확한 확률비는 저장고에 남은 여기 예산에 따라 달라집니다. 인접한 두 a가 모두 허용되는 경우, a+1인 배치 하나와 a인 배치 하나를 비교하면 다음과 같습니다.

$$\frac{p(x_{\rm s}^{(a+1)})}{p(x_{\rm s}^{(a)})}=\frac{K-a}{b-K+a+1},\qquad \frac{P_{a+1}}{P_a}=\frac{n-a}{a+1}\frac{K-a}{b-K+a+1}.$$

여기 수 자체의 확률비에는 부분계 다중도 인자가 더 들어갑니다. 두 비를 섞으면 상태 계수의 효과를 다른 Boltzmann 가중치로 오해할 수 있습니다. 양의 온도 손계산 사례에서 특정 배치의 인접 확률비는 2/3과 1/4입니다. 정준 비교의 일정한 특정 배치 확률비 1/2와 두 단계 모두에서 같지 않습니다.

유한 저장고는 일반적으로 가능한 에너지 교환 전체에 하나의 정확한 지수 가중치를 주지 못합니다. 저장고 엔트로피의 유한 차분은 어느 에너지 부근에서 비교하는지에 따라 달라집니다. 충분히 크고 매끄러운 저장고라면 적절한 에너지 구간에서 그 변화가 작아질 수 있습니다. 저장고의 크기뿐 아니라 부분계가 오가는 에너지 범위도 함께 확인해야 합니다.

전체변동거리로 사건 확률 오차 측정하기

실제 0인 항까지 포함한 같은 여기 수 공간에서 전체변동거리를 정의합니다.

$$\operatorname{TV}(P,Q)=\frac12\sum_{a=0}^{n}|P_a-Q_a|=\max_{B\subseteq\{0,\ldots,n\}}|P(B)-Q(B)|.$$

n=2,b=2,K=2에서는 사건 A=1의 확률 차이가 1/6으로 최댓값을 이룹니다. 전체변동거리는 여기 수만으로 정한 임의의 사건에서 생길 수 있는 가장 큰 확률 오차를 알려줍니다. 모든 막대의 상대 오차가 그 비율 이하라는 뜻은 아닙니다. 드문 사건은 전체변동거리가 작아도 큰 상대 오차를 가질 수 있습니다.

n=2를 고정하고 저장고 b를 짝수로 늘리면서 절반 점유를 유지합시다. N=b+2로 두고 정확한 분포에 대입하면 간단한 오차 수열이 나옵니다.

$$P_1=\frac{N}{2(N-1)},\qquad P_0=P_2=\frac{N-2}{4(N-1)},\qquad \operatorname{TV}(P,Q)=\frac{1}{2(N-1)}.$$

저장고 자리 수 b	전체 자리 수 N	전체변동거리	정확한 여기 수 분산
2	4	1/6	1/3
6	8	1/14	3/7
18	20	1/38	9/19
98	100	1/198	49/99

모든 행에서 평균은 여전히 1입니다. N을 바꿀 때 K를 어떻게 바꾸는지 반드시 명시해야 합니다. 여기서는 K=N/2입니다. 저장고를 늘리면서 작은 K를 그대로 고정하면 전체 여기 밀도가 0으로 가는 다른 비교 실험이 됩니다. 크기 변화와 준비 밀도 변화를 한 효과로 합치지 않습니다.

상대엔트로피 비교의 방향 지키기

상대엔트로피는 순서가 있는 준비 법칙 비교입니다.

$$D(P\Vert Q)=\sum_{a:P_a>0}P_a\ln\frac{P_a}{Q_a},\qquad D(Q\Vert P)=\sum_{a:Q_a>0}Q_a\ln\frac{Q_a}{P_a}.$$

이 평균 일치 비교에서 P가 허용하는 결과는 Q도 허용하므로 정방향 발산은 유한합니다. 반면 Q가 양의 질량을 주는 여기 수를 유한 저장고의 제약이 금지한다면 역방향 발산은 무한대입니다. 이는 수치 overflow가 아니라 지지집합에 관한 진술입니다.

n=2,b=0,K=1이면 P는 A=1에 집중하지만 Q=(1,2,1)/4입니다. 정방향 발산은 ln 2이고 역방향 발산은 무한대입니다. 금지된 여기 수에 작은 확률을 더하면 준비 자체를 바꾼 것입니다. 마찬가지로 선형 부동소수점 표시 범위보다 작은 양의 정준 확률은 여전히 양수입니다. 로그 표시를 함께 제공하더라도 그 값을 실제로 금지된 상태와 혼동하면 안 됩니다.

일반적인 저장고 전개의 의미 이해하기

저장고 엔트로피의 매끄러운 근사를 S_b(E_b)=kB ln Ω_b(E_b)라고 씁니다. E_b*=E_tot−E_s* 주위에서 ΔE=E_s−E_s*로 전개합시다. 저장고의 나머지 매개변수를 고정하고 온도와 열용량이 유한하며 0이 아닌 지점에서 국소적으로 다음 식을 얻습니다.

$$\ln\Omega_b(E_{\rm tot}-E_{\rm s})\approx\frac{S_b(E_b^*)}{k_B}-\frac{\Delta E}{k_BT_b}-\frac{(\Delta E)^2}{2k_BT_b^2C_b}+\cdots.$$

일차항은 에너지에 대한 지수 가중치를 만듭니다. 이차항은 유한한 열용량을 가진 저장고가 유의미한 에너지를 교환하면 기울기가 달라진다는 사실을 보여줍니다. C_b가 양수일 때 이 보정은 일차 외삽에 비해 전개점에서 멀어진 에너지를 더 억제합니다. 이차항을 생략하려면 관련 에너지 범위와 고차항의 크기를 제어해야 합니다.

정확한 유한 모형에는 이산적인 에너지 껍질만 있습니다. 미분을 사용하려면 어떤 매끄러운 근사를 썼는지 지정해야 하며, 유한 표에 연속 미분이 그대로 정의되는 것은 아닙니다. 절반 점유의 무한 온도 극한이나 끝점에 이 전개를 그대로 대입하지 않습니다. 그런 경우에는 별도의 극한 분석이 필요하지만 정확한 계수 비교 자체는 여전히 정의되어 있습니다.

무엇이 가까워지는지 정확히 말하기

여기 a개를 가진 특정한 순서 있는 부분계 배치의 정확한 주변 확률은 하강 계승으로도 표현할 수 있습니다.

$$p(x_{\rm s})=\frac{(K)_a(N-K)_{n-a}}{(N)_n},\qquad (z)_j=z(z-1)\cdots(z-j+1),\qquad (z)_0=1.$$

n을 고정하고 N을 무한히 늘리면서 K/N이 ρ로 간다고 합시다. 각 유한 곱은 ρᵃ(1−ρ)ⁿ⁻ᵃ으로 접근합니다. 부분계의 가능한 배치는 유한 개뿐이므로 그 전체 분포, 따라서 여기 수의 분포도 대응하는 곱분포에 전체변동거리로 수렴합니다. 밀도가 끝점으로 가면 확정 분포가 극한이 됩니다.

이 논증은 n을 고정합니다. 부분계까지 저장고와 함께 커지면 작은 상관이 많이 모일 수 있습니다. 예를 들어 절반 점유에서 n과 b가 비슷한 비율로 증가하면 두 여기 수 분산의 비는 1로 가지 않습니다. 국소 관측량, 전체 크기에 비례하는 요동, 확률법칙 전체에는 서로 다른 근사 조건이 필요할 수 있습니다. 이 이진 계산에서 상호작용계나 장거리계 전체의 앙상블 동등성 정리가 따라오지는 않습니다.

준비 조건을 엔트로피와 AI 문제에 연결하기

평균을 맞춘 독립 곱준비는 부분계 배치 공간에서 주어진 평균 여기 수를 가진 분포 중 엔트로피를 최대화합니다. p와 q는 각각의 여기 수 안에서 모두 균등하므로, 그 조건부 배치 법칙은 서로 같습니다. 따라서 다음 항등식이 성립합니다.

$$H(q)-H(p)=D(p\Vert q)=D(P\Vert Q),\qquad H(q)=n h(\rho),\qquad H(p)=H(P)+\sum_a P_a\ln\binom n a,\quad h(r)=-r\ln r-(1-r)\ln(1-r).$$

계기판 읽기인 A의 엔트로피 H(P)와 배치 엔트로피 H(p)는 다릅니다. 다중도 항이 관측에서 숨긴 이름 정보를 복원합니다. 끝점 항은 연속 극한으로 0을 사용합니다. 이 식은 최대 엔트로피와의 차이를 설명하지만, 여기 수 공간 자체에 평균 조건만 주었을 때 이항 분포가 언제나 엔트로피를 최대화한다고 말하지 않습니다. 표본공간을 먼저 정해야 하는 이유입니다.

AI에서는 정해진 개수만 뽑는 표집과 독립 Bernoulli 마스킹을 비교해볼 수 있습니다. 선택한 항목 수의 기댓값이 같아도 선택 사이 상관이나 선택 개수의 분포는 다를 수 있습니다. 전체 예산을 고정하는 데이터 파이프라인은 우도 모형의 독립 가정을 깨뜨릴 수 있습니다. 물리 계산은 그 모형화 차이를 정확하게 보여주는 예입니다. 임의의 학습 알고리즘에 온도나 열비용을 부여하는 증명은 아닙니다.

수치 근거를 읽을 때 준비를 바꾸지 않기

계산기는 정수 배치 수와 유리수 정규화를 유지한 뒤 확률을 표시 범위로 투영합니다. 계수가 정확히 0이면 그 준비에서 사건이 불가능합니다. 양의 계수가 아주 큰 분모와 결합하여 일반 숫자 칸에 담기지 않는 작은 확률을 만들 수도 있습니다. 이때는 양수라는 부호와 로그를 유지합니다. 두 경우는 역방향 KL에서 서로 다른 결론을 만듭니다.

로그·엔트로피·발산은 수치 근사입니다. KL의 양수 항과 음수 항을 부동소수점으로 그대로 더하면 작은 양의 결과가 상쇄로 사라질 수 있습니다. 목표 지지집합이 준비 지지집합을 포함할 때 다음과 같은 비음수 항의 합으로 바꾸어 계산할 수 있습니다.

$$D(P\Vert Q)=\sum_{a:Q_a>0}Q_a f(P_a/Q_a),\qquad f(z)=z\ln z-z+1,\qquad f(0)=1.$$

두 법칙이 모두 정규화되므로 일차 보정의 합이 상쇄됩니다. 다만 z가 1에 가까울 때 위 식을 무심코 뺄셈으로 평가하면 다시 정밀도를 잃으므로 국소 전개가 필요합니다. 이런 수치 개선이 지지집합의 무한대를 없애지는 않습니다. 구현에서는 양의 항 표현과 지수 범위를 유지하는 제한된 유효비트 정보량 산술을 사용하고, 확률법칙 자체는 관측 전까지 정확하게 보존합니다.

독립 검산에서는 정수 조합·유리수 확률·고정밀 로그를 사용하며 작은 계에서는 전체 비트 배치도 직접 나열합니다. 반올림된 막대 높이뿐 아니라 정확한 계수와 모멘트도 비교해야 합니다. 가장 큰 허용 N은 구현 예산이고, 화면이 예제를 순회해도 물리적 시간은 여전히 이 모형의 입력에 없습니다.

풀이가 있는 연습과 검증 체크리스트

소수보다 정확한 분수를 먼저 사용하세요. 비교에는 표본공간, 제약 조건, 평균을 맞추는 규칙, 오차 관측량, 근사 조건이 드러나야 합니다.

연습 1: 보이는 부분계의 법칙 복원하기

n=2,b=2,K=2에서 부분계 배치 01의 확률과 A=1의 확률을 구하고 차이를 설명하세요.

해설: 배치 01을 완성하는 저장고는 01과 10이므로 확률은 2/6=1/3입니다. A=1에는 부분계 배치 10도 포함되어 확률이 4/6=2/3입니다. 추가 인자 2는 보이는 부분계의 이름 있는 배치를 세는 값이며 저장고 확률을 한 번 더 곱한 것이 아닙니다.

연습 2: 조건부 하나로 의존성 찾아내기

같은 준비에서 첫 번째 부분계 자리가 켜졌다는 조건 아래 두 번째 자리가 켜질 확률을 구하세요. 평균을 맞춘 정준 준비와 비교하세요.

해설: 첫 자리가 켜졌다면 남은 세 자리 중 한 곳에 여기가 남습니다. 같은 대칭성을 가지므로 조건부 확률은 1/3입니다. 주변 확률은 1/2입니다. 독립인 정준 준비에서는 조건부와 주변 확률이 모두 1/2입니다. 상호작용 에너지 없이도 고정 총량 조건이 통계적 의존성을 만들었습니다.

연습 3: 양의 온도 비교 검산하기

n=2,b=4,K=2에서 두 여기 수 분포, 공통 평균, 두 분산, 전체변동거리를 구하세요. 정준 비교의 t도 쓰세요.

해설: P=(6,8,1)/15, Q=(4,4,1)/9이며 공통 평균은 2/3입니다. 분산은 각각 16/45와 4/9입니다. 같은 분모로 쓴 부호 있는 차이는 (−2,4,−2)/45이므로 TV=4/45입니다. ρ=1/3이고 t=ln 2입니다. 평균 일치는 분산이나 인접한 정확한 배치 확률비의 일치까지 보장하지 않습니다.

연습 4: 사건 확률의 정확도 목표 정하기

n=2,절반 점유에서 TV를 0.01보다 엄격하게 작게 하려면 짝수인 저장고 b가 적어도 얼마여야 할까요? K를 고르는 규칙도 쓰세요.

해설: 1/[2(b+1)]<1/100이므로 b+1>50입니다. 가능한 가장 작은 짝수 b는 50이며 N=52,K=26입니다. 이때 TV=1/102입니다. K=2를 그대로 유지하는 비교는 같은 절반 점유 실험 가족을 검증하는 것이 아닙니다.

연습 5: 무한대 발산 설명하기

n=2,b=0,K=1에서 두 분포와 양방향 KL을 구하세요. 무한대 결과는 확률 모형의 실패일까요?

해설: P=(0,1,0), Q=(1,2,1)/4입니다. 정방향 KL은 ln[1/(1/2)]=ln 2입니다. Q는 A=0,2에 양의 확률을 주지만 P는 두 값을 금지하므로 역방향 KL은 무한대입니다. 두 분포는 모두 정규화되어 있습니다. 무한대는 그 비교 방향의 지지집합 불일치이며, 정규화 실패나 smoothing 지시가 아닙니다.

연습 6: 여기 수 엔트로피와 배치 엔트로피 구분하기

n=2,b=2,K=2에서 H(p),H(q)와 그 차이를 정확한 로그로 나타내세요. 다중도 기여도 확인하세요.

해설: 네 배치 확률은 (1,2,2,1)/6입니다. 그 엔트로피는 ln 6−(2/3)ln 2이며 H(q)=2 ln 2입니다. 여기 수 엔트로피는 ln 6−(4/3)ln 2이고 여기에 P(A=1)ln 2를 더하면 H(p)가 됩니다. 차이는 (8/3)ln 2−ln 6이며 D(P∥Q)와 같습니다. H(q)−H(P)는 서로 다른 표본공간의 엔트로피를 빼는 값이므로 이 차이와 같지 않습니다.

시각화를 신뢰하기 전에 정규화와 정확한 평균, 유한 모집단 분산 보정을 확인하세요. 금지된 결과는 실제 0으로, 표시 범위 밖 양의 확률은 양수로 유지하세요. 독립 표본의 화면 프레임과 물리적 시간을 구별해야 합니다. 이어지는 정준 요동과 입자 교환 단원에서는 준비 조건을 명시적으로 바꿉니다. 상호작용·연속 위상 공간·열역학 극한의 논의는 추가로 전개해야 합니다.

계산을 실험 화면과 연결하기

먼저 두 자리와 작은 저장고를 선택하세요. P(A|K)와 Q(A)는 같은 가로축의 여기 수 A에 대해 서로 다른 준비 법칙을 나타냅니다. 세 막대는 세 번의 측정 궤적이 아니라 각 결과의 확률입니다. 수치 표를 읽기 전에 어느 분포가 A=1 주변에 더 모일지 예상한 뒤, 같은 평균·다른 분산·TV=1/6을 확인하세요.

실험	유지하거나 바꿀 조건	설명할 내용
같은 밀도의 큰 저장고	n=2와 K/(n+b)=1/2를 유지하며 b와 K를 함께 변경	평균은 1로 같지만 Var P가 Var Q에 가까워지고 TV가 감소
저장고 없이 고정한 여기	n=2,K=1에서 b=0으로 설정	P는 A=0,2를 금지하므로 정방향 KL이 유한해도 역방향은 무한대
빈 부분계	전체 계는 비어 있지 않게 두고 n=0으로 설정	유일한 결과 A=0에서 두 법칙이 일치하고 분산은 0

입력은 개수 n,b,K를 지정하며 에너지 간격 ε는 지정하지 않습니다. 따라서 표시된 평균과 분산은 SI 에너지 모멘트가 아니라 개수 모멘트이고, 밀도를 맞추어 정하는 정준 매개변수도 무차원 t입니다. 평균을 줄 단위로 바꾸려면 고정 ε를 별도로 정해 곱하고, 분산에는 ε²를 곱하세요. 물리적 온도를 환산하려면 그 간격과 역온도 관계가 추가로 필요하며 끝점의 제한도 확인해야 합니다. 정수 K를 온도 조절값으로 읽지 마세요.

그림이 일부 레이블만 선택하는 경우에는 페이지가 있는 분포 표에서 전체 개수를 확인하세요. 실제 0과 선형 표시 범위 밖의 양수를 구별하세요. 자동 비교는 독립적으로 준비한 조건들을 전환하며 저장고의 동역학이나 열평형 도달 시간을 제공하지 않습니다.