이진 미시상태·거시 껍질·블록

배치와 계기 눈금은 서로 다른 대상이다

이름이 붙은 스위치 네 개를 떠올려보자. 배치1100은 어떤 스위치가 켜졌는지 지정한다. 켜진 개수만 보고하는 계기는2를 표시한다. 1010도 같은 눈금을 주며 다른 네 배치도 마찬가지다. 미시상태는 이름 붙은 전체 배치를 기록하고, 거시상태는 선택한 관측값을 기록한다.

무엇을 관측하는지에 따라 구별도 달라진다. 왼쪽 두 자리에서 켜진 수를 추가로 측정하면1100과0011을 구별할 수 있다. 모든 문제에 공통으로 쓰이는 거시변수 목록이 미리 정해져 있는 것은 아니다. 여기서는 관측 사상을 정하고 원상의 크기를 센 뒤 확률적 준비를 명시한다. 개수만으로 실제 장치나 시간이 흐르는 계가 무엇을 표본화하는지 결정할 수는 없다.

확률을 넣기 전에 유한 모형을 정의하자

서로 구별되고 비상호작용인 자리가 N개 있다. 각 자리의 두 상태 에너지는0과 고정된 ε>0이며 단위는 J이다. 미시상태 x는 자리 이름을 유지한 이진 벡터다. 거시 관측 K는 여기 수를 센다.

$$x=(x_1,\ldots,x_N)\in\{0,1\}^N,\qquad K(x)=\sum_{i=1}^N x_i,\qquad E(x)=\varepsilon K(x).$$

비교 중에는 N·자리 이름·ε를 고정한다. ε가 양수이므로 이 모형에서는 K를 고정하면 에너지 껍질도 고정된다. ε=0이면 모든 배치의 에너지가 같아 에너지 측정으로 K를 알 수 없다. 여기 수를 세는 사상은 여전히 정의할 수 있지만, 서로 다른 에너지 껍질이라는 해석은 바뀐다.

계산기는 정수 N=0–4096, 그리고0–N 범위의 블록 크기와 선택 여기 수를 지원한다. 이는 유한한 계산 자원의 한도이며 열역학 극한의 정의가 아니다. 저장고 온도·전이율·시계는 지정하지 않았다. 첫 읽기 화면 예제는 ε=10⁻²¹ J를 사용한다. kB와 온도의 곱으로 에너지를 써도 에너지 척도를 정한 것이며, 그 자체로 열저장고를 지정한 것은 아니다. 미시정준 준비와 엔트로피의 기본 틀은 Tong의1.2절과1.3.3절에서 확인할 수 있다.

점유한 자리들을 골라 껍질을 세자

K개의 여기를 가진 배치를 만들려면1을 둘 K개의 이름 붙은 자리를 고르면 된다. 나머지는0이다. 순서를 가진 선택을 먼저 센 뒤 같은 부분집합을 반복해서 나타내는 K!개의 순서를 제거하면 이항 다중도가 된다.

$$\Omega_N(K)=\binom NK=\frac{N!}{K!(N-K)!},\qquad 0\le K\le N.$$

나눗셈은 정확한 정수 나눗셈이다. 물리적 자리들이 구별되지 않는다는 뜻이 아니다. 점유한 자리와 빈 자리를 바꾸는 순열은 서로 다른 미시상태를 만든다. 여기서 나눈 것은 같은 점유 부분집합을 여러 순서로 기술한 중복이며, 계의 자리 이름을 없앤 것이 아니다.

recurrence를 쓰면 부동소수점 factorial을 만들 필요가 없다. 모든 비트를 뒤집으면 대칭을 얻고, 모든 이진 벡터를 여기 수로 나누어 합하면 전체 개수가 된다.

$$\Omega_N(k+1)=\Omega_N(k)\frac{N-k}{k+1},\qquad \Omega_N(k)=\Omega_N(N-k),\qquad \sum_{k=0}^N\Omega_N(k)=2^N.$$

N=0에서도 빈 벡터 하나가 있다. 따라서 전체 수와 유일한 껍질의 다중도는 모두1이다. 이 약속은 빈 계를 합성하고 정규화할 때 별도의 배치를 억지로 추가하지 않아도 일관되게 작동한다.

매끄러운 곡선을 그리기 전에 네 자리를 열거하자

N=4,K=2의 배치는1100·1010·1001·0110·0101·0011이다. 직접 쓰면 계기 눈금이 잃어버린 자리 정보가 보인다. 전체 분포도 손으로 확인할 만큼 작다.

여기 수 K	다중도	전체 공간 균등 준비의 확률
0	1	1/16
1	4	4/16
2	6	6/16
3	4	4/16
4	1	1/16

명시한 준비에서는 가운데 껍질이 가장 가능성 높은 계기 눈금이다. 그러나 같은 준비에서 그 안의 개별 배치가0000보다 더 가능성 높은 것은 아니다. 특정 벡터 하나의 확률은 모두1/16이다. 거시상태의 높은 막대는 가중치가 같은 미시상태를 많이 모은 결과일 수 있다.

이 막대들은 이산적이다. 가운데를 선으로 이으면 시각적 안내가 될 수 있지만, 여기 수가 분수가 되거나 막대 사이를 움직이는 궤적이 생기지는 않는다. 선택한 배치와 선택한 껍질은 서로 다른 질문이므로 시각화에서도 별도 이름으로 표시해야 한다.

어떤 균등 준비인지 명시하자

유용한 확률 실험이 두 가지 있다. 첫째는2ᴺ개 벡터 중 어느 것이든 같은 확률로 준비하는 것이다. 둘째는 선택한 여기 수 K를 가진 벡터만 허용하고 그 안에서 같은 확률로 준비하는 것이다.

$$p_{\mathrm{full}}(x)=2^{-N},\qquad p_{{\rm shell},K}(x)=\begin{cases}\Omega_N(K)^{-1},&K(x)=K,\\0,&K(x)\ne K.\end{cases}$$

둘째 분포는 준비의 제약 때문에 다른 껍질을 제외한다. 이는 실제 지지집합의0이다. 허용된 상태의 양의 확률이 숫자 표시 범위보다 작아진 경우와 구별해야 한다.

첫째 준비에서는 한 껍질 안의 확률을 더하면 다음과 같다.

$$P_{\mathrm{full}}(K=k)=\frac{\Omega_N(k)}{2^N}.$$

반대로 가능한 N+1개 여기 수부터 균등하게 고르면 각 껍질의 확률은1/(N+1)이 된다. 이어 그 껍질 안에서 균등하게 고르면 껍질 k의 특정 벡터는1/[(N+1)ΩN(k)]를 받는다. 이는 벡터 위에서 균등하지 않은 다른 분포다. 경우의 수만으로 어느 실험인지 정해지지 않는다. 동일한 사전 가중치는 모델링 가정이며 ‘미시상태’라는 단어의 결과가 아니다.

껍질의 엔트로피와 준비의 엔트로피

선택 껍질의 Boltzmann 엔트로피는 배치 수를 센다. 임의의 유한 준비 p에 대한 Gibbs 엔트로피는 확률을 사용한다. 자연로그의 정보 엔트로피 H는 nat 단위다.

$$S_B(K)=k_B\ln\Omega_N(K),\qquad H[p]=-\sum_xp(x)\ln p(x),\qquad S_G[p]=k_BH[p].$$

0 ln0은 연속 확장으로0이라 둔다. SB·SG의 단위는 J/K이고 H는 무차원 정보량이다. SI Boltzmann 상수는 정확히1.380649×10⁻²³ J/K이지만 계산기는 그 이진64비트 근삿값을 사용한다. 값과 단위는 NIST CODATA 상수표에서 확인할 수 있다.

균등한 선택 껍질에서 p=1/Ω를 대입하면 SG=SB가 된다. 같은 다중도에서도 불균등하게 준비하면 엔트로피는 더 작다. 선택 껍질의 균등 분포를 uK라 하고 p의 지지집합이 그 껍질 안에 있으면 다음과 같다.

$$S_B(K)-S_G[p]=k_BD(p\Vert u_K)\ge0.$$

따라서 상태 수를 안다고 모든 준비가 해당 최대 엔트로피에 도달하는 것은 아니다. 한 배치에만 집중한 준비는 계기 눈금과 양립하는 다른 배치가 많아도 H=0이다. 관측자가 묶었다는 이유만으로 잃은 내부 불확실성을 조용히 다시 채워 넣어서는 안 된다.

계기 눈금과 그 안의 숨은 정보를 나누자

전체 공간 균등 준비에서 K는 무작위 미시상태 X의 결정론적 함수다. 껍질을 먼저 지정한 뒤 그 안의 벡터를 지정하면 원래 벡터를 완전히 지정한 셈이다. 엔트로피 연쇄법칙은 다음과 같이 된다.

$$H(X)=N\ln2=H(K)+\sum_{k=0}^NP_{\mathrm{full}}(k)\ln\Omega_N(k).$$

직접 유도하려면 p(x)=P(k)/ΩN(k)를−Σp ln p에 대입하고 k별로 모으면 된다. 각 군은−P(k)lnP(k)+P(k)lnΩN(k)를 기여한다. 첫 항은 계기 눈금의 불확실성이고 둘째는 눈금을 안 뒤에도 남는 내부 불확실성의 평균이다.

네 자리에서 H(X)=2.772589 nat이다. 여기 수의 엔트로피는1.407532 nat이고 평균 껍질 내부 엔트로피는1.365057 nat이다. 합하면 전체 정보를 되찾는다. 이 평균은 선택한 K=2 껍질의 ln6=1.791759 nat과 다르다. 준비 전체에 걸친 평균과 특정 껍질에 조건을 거는 것은 다른 연산이다.

고정 껍질을 두 블록으로 나누자

전체 여기 수 K를 고정하고 이름 붙은 자리들을 A·B 블록으로 나누자. 크기는 NA와 NB=N−NA다. A의 여기 수가 a이면 B는 K−a여야 한다. 양립하는 배치 수와 정수 지지집합은 다음과 같다.

$$W(a\mid K)=\binom{N_A}{a}\binom{N_B}{K-a},\qquad \max(0,K-N_B)\le a\le\min(K,N_A).$$

개수를 셀 때는 각 블록에서 점유할 자리들을 따로 고른 뒤 두 선택을 결합한다. 선택 껍질의 모든 벡터는 이 곱 중 정확히 하나에 나타난다. 따라서 Vandermonde 정규화와, 선택 껍질 균등 준비에서의 초기하 확률을 얻는다.

$$\sum_aW(a\mid K)=\binom NK,\qquad P(A=a\mid K)=\frac{W(a\mid K)}{\binom NK}.$$

N=4,K=2,NA=2이면 a=0,1,2의 양립하는 배치 수는1,4,1이다. 균형 잡힌 분할을 실현하는 이름 붙은 배치가 더 많아서 흔한 것이며, 특정 균형 배치 하나에 특별한 가중치가 추가된 것이 아니다.

상호작용이 없어도 조건부 요동은 달라진다

A의 한 자리가 여기되었는지 나타내는 지시변수를 도입하자. 균등한 고정 K 껍질에서 그 평균은 K/N이다. 서로 다른 두 자리가 동시에 여기될 경우를 세면 K(K−1)/[N(N−1)]이다. 평균들의 곱을 빼면 음의 공분산이 나온다.

$$\operatorname{Cov}(X_i,X_j\mid K)=-\frac{(K/N)(1-K/N)}{N-1}\quad(i\ne j,\ N>1).$$

Hamiltonian에 상호작용 항이 없어도 전체 제약 때문에 의존성이 생긴다. A 안의 지시변수를 합하면 유한 모집단의 모멘트가 된다.

$$\mathbb E[A\mid K]=N_A\frac KN,\qquad \operatorname{Var}(A\mid K)=N_A\frac KN\left(1-\frac KN\right)\frac{N-N_A}{N-1}\quad(N>1).$$

N=0에서는 블록이 비어 있다. N=1, 빈 블록·전체 블록, K=0/N에서는 해당 조건부 변수가 결정적이다. 정의되지 않는 분모에 억지로 대입하지 말고 정확한 분산0을 사용한다. 계산기의 모멘트는 조건부 분포의 정수 합으로 구하며, 독립 참조가 이 닫힌식을 따로 확인한다.

N=8,K=4,NA=4에서 개수는1,16,36,16,1이고 분모는70이다. 평균 A는2, 분산은4/7≈0.571429다. 네 자리 지시변수를 독립적인 공정 동전으로 취급하면 분산1이 되므로, 전체 수를 고정한 조건이 요동을 줄였음을 볼 수 있다.

전형적인 구간과 정확한 최빈값은 다르다

이웃 다중도의 비로 어느 막대가 커지고 작아지는지 알 수 있다. 짝수 N은 중앙 최댓값 하나, 홀수 N은 같은 크기의 중앙 최댓값 두 개를 가진다. 정확한 정수 동률이므로 부동소수점 막대의 근접 허용오차를 쓸 필요가 없다.

전체 공간 균등 준비에서 K의 평균은 N/2, 분산은 N/4이다. 따라서 여기 비율은 절반 주변의 고정 폭 구간으로 집중된다.

$$\operatorname{Var}(K/N)=\frac1{4N},\qquad P\!\left(\left|K/N-\tfrac12\right|\ge\eta\right)\le\min\!\left(1,\frac1{4N\eta^2}\right)\quad(N>0,\eta>0).$$

좁은 비율 구간 안에도 이산적인 여기 수는 여러 개 들어갈 수 있다. 그 구간으로 집중된다는 사실은 단 하나의 중앙 여기 수 확률이1로 간다는 뜻이 아니다. 짝수 N=2m에 대한 Stirling 비교가 차이를 보여준다.

$$\frac{\binom{2m}{m}}{2^{2m}}\sim\frac1{\sqrt{\pi m}}\quad(m\to\infty).$$

계산기는 이 점근식 대신 정확한 유한 개수를 사용한다. 중앙 여기 수의 확률은 이미 N=4의6/16에서 N=8의70/256으로 감소한다. 비율 좌표는 구간 안에서 더 전형적이 되지만, 정확한 이산값 하나는 덜 가능해질 수 있다. 어느 주장도 혼합 시간이나 상호작용하는 물질의 열역학 극한을 제공하지 않는다.

작은 확률과 숫자의0을 나누어 읽자

다중도는 정확한 정수이며 필요한 경우 십진 문자열로 직렬화한다. 계산기는 개수와 로그 인자를 먼저 곱하고 정규화한 결과를 마지막에 표시한다. 개수·정규화·조건부 모멘트가 정확해도 로그와 엔트로피는 수치 근사다.

N=1080,K=0은 유용한 극단 예제다. 껍질은 배치 하나뿐이지만 전체 공간 균등 준비에서의 확률은 가장 작은 양의 binary64 값보다 작다. 그 정보 엔트로피 기여는 여전히 표시될 수 있다.

$$P_{\mathrm{full}}(0)=2^{-1080}>0,\qquad -P_{\mathrm{full}}(0)\ln P_{\mathrm{full}}(0)=1080\ln2\,2^{-1080}>0,\qquad S_B(0)=0.$$

둘째 값은 약6×10⁻³²³ nat으로 반올림된다. 마지막 값은 ln1=0이므로 정확히0이다. 선택 껍질 안의 조건부 확률은 정확히1이다. 확률 열의 대시, 작은 양의 엔트로피 기여, Boltzmann 엔트로피0은 서로 다른 양과 준비를 가리키므로 모순되지 않는다. 더 큰 개수나 에너지에서도 선형 값이 없으면 부호와 로그 증거를 보존해야 한다.

다른 관측에는 무엇이 더 필요한가

일반 구조는 미시상태 공간에서 관측 라벨로 가는 사상과 선택한 확률 또는 기준 측도다. K는 그중 하나다. 블록 여기 수를 추가하면 정보를 더 드러내고, 블록 이름을 버리면 덜 드러낸다. 불균등 가중치라면 군 내부를 모두1/Ω로 가정하는 대신 조건부 분포가 필요하다.

연속 위상 공간에는 기준 측도와 분해능이 필요하다. 부피는 추가 선택 없이 정수 다중도가 되지 않는다. 양자적 구별 불가능성은 어떤 배치를 서로 다른 것으로 셀지 바꾼다. N!로 자동으로 나누면 이 이름 붙은 자리 모형 자체가 바뀌며, 모든 문제에 적용하는 보정이 아니다.

잡음 관측에는 조건부 채널이 필요하다. 출력 엔트로피에는 측정 잡음이 들어갈 수 있으므로 원래 계의 물리 엔트로피 증가라고 부르면 안 된다. 후속 가족에서 이를 명시한다. AI 관점에서도 개수나 histogram은 자리 이름을 버릴 수 있는 표현이다. 거친 표현을 전체 상태라고 다시 부르는 것만으로 이름이 복원되지 않으며 추가 가정이 필요하다.

경우의 수는 동역학을 제공하지 않는다

다중도 곡선은 가능한 배치를 비교한다. 어떤 전이가 허용되는지, 궤적이 껍질을 탐색하는지, 블록들이 얼마나 빠르게 여기를 교환하는지, 거친 엔트로피가 단조롭게 증가하는지는 말하지 않는다. 균등한 준비가 지정되지 않은 운동의 ergodicity를 증명하지도 않는다.

K를 바꾸면 제약이 다른 껍질들을 비교한다. N을 바꾸면 크기가 다른 계들을 비교한다. 어느 입력도 자동으로 물리적인 가열 과정이 되지는 않는다. 변하는 분포를 열역학적으로 해석하려면 계의 경계·환경·허용된 전달·동역학 법칙이 필요하다. 이를 유한 조합 계산과 구별하자.

풀이가 있는 연습

연습 1: 양립하는 여섯 배치 쓰기

네 개의 이름 붙은 자리와 K=2에 대해 모든 양립 배치를 나열하자. 전체 공간 준비의1100 확률, K=2를 관측할 확률, K=2를 안 뒤1100의 조건부 확률을 각각 구하자.

해설: 배치는1100·1010·1001·0110·0101·0011이며 다중도는6이다. 요구한 확률은 순서대로1/16,6/16,1/6이다. 마지막은 조건을 걸면서 다른 열 개의 전체 공간 배치를 제외했으므로 분모가 달라진다.

연습 2: 준비를 바꾸기

0–4의 여기 수를 먼저 균등하게 고른 뒤 양립하는 배치를 균등하게 고르자. 0000과1100의 확률을 비교하자. 전체 공간 균등 준비인가?

해설: K=0 껍질은 배치 하나이므로 첫째 확률은1/5이다. 둘째는1/(5×6)=1/30이다. 서로 다르므로16개 이름 붙은 배치에서 균등한 준비가 아니다. 거시 histogram이 평평한 이유는 미시상태 가중치를 바꾸었기 때문이다.

연습 3: 네 자리를 두 쌍으로 나누기

N=4,K=2,NA=2에서 가능한 A별 개수와 확률, 평균·분산을 구하자.

해설: A=0,1,2의 양립하는 개수는1,4,1이고 확률은1/6,4/6,1/6이다. 평균은1이다. 분산은[(0−1)²+4(1−1)²+(2−1)²]/6=1/3이다. 유한 모집단 식으로도2×(1/2)×(1/2)×(2/3)=1/3을 얻는다.

연습 4: 숨은 정보 되찾기

N=4의 전체 공간 균등 준비에서 H(K)=1.407531741 nat, 평균 껍질 내부 엔트로피는1.365056982 nat이다. 이 값들은 K=2의 SB와 어떤 관계인가?

해설: 반올림 전 값을 더하면 합은4ln2≈2.772588722 nat이며 전체 벡터의 엔트로피다. 반면 SB(2)/kB=ln6=1.791759469 nat은 선택한 껍질 하나에 조건을 건 값이다. H(K)도, 여러 껍질의 평균도 아니다. 무차원 엔트로피에 kB를 곱하면 J/K로 표현된다.

연습 5: 두 최빈 여기 수 찾기

N=9의 전체 공간 균등 준비에서 가장 가능성 높은 여기 수들과 다중도를 구하자. 특별히 선호되는 개별 벡터도 정해지는가?

해설: K=4와 K=5는 다중도126으로 동률이며 각 거시 확률은126/512이다. 특정 벡터 하나의 확률은 여전히1/512다. 동률은 비트 반전 대칭과 이항 recurrence에서 오는 정확한 성질이며 수치적 근접 기준이 아니다.

연습 6: 희귀한 여기0 껍질 해석하기

N=1080,K=0에서 선형 껍질 확률은 표시되지 않지만 SB=0, 껍질 내부 확률1이 나온다. 함께 옳을 수 있는가?

해설: 그렇다. 전체 공간 껍질 확률2⁻¹⁰⁸⁰은 양수지만 underflow한다. 엔트로피 기여1080ln2·2⁻¹⁰⁸⁰은 약6×10⁻³²³ nat의 양수로 반올림된다. 껍질에 배치가 하나뿐이라 lnΩ=0이며 조건을 걸면 확률1이다. 표시할 수 없는 확률도 양의 부호와 로그 증거를 남겨야 한다.

실험으로 확인하기

‘네 자리·여섯 배치’를 선택하고 전체 준비의 배치 하나, 선택 껍질, 선택 껍질 내부 배치 하나를 서로 다른 행에서 읽자. 값은 1/16, 6/16, 1/6이다. 세 분모는 서로 다른 준비나 조건화를 가리킨다. 큰 K=2 막대가 배치1100에 특별한 가중치를 주는 것은 아니다.

예제	비교할 항목	확인할 내용
두 블록의 요동	블록 계수 (1,16,36,16,1), 총합 70, 분산 4/7	상호작용 에너지가 없어도 총 여기 수 제약이 조건부 의존성을 만든다.
홀수 자리의 동률	K=4와 K=5의 껍질 계수	동률은 정확하며 개별 배치의 전체 공간 확률은 여전히 모두 같다.
빈 계	다중도 1과 엔트로피 0	배치가 없는 것이 아니라 빈 배치 하나가 있다.
희귀한 단일 배치	껍질 확률·엔트로피 기여·SB	표시되지 않는 양수 확률, 표시되는 작은 기여, 정확한 0이 함께 나올 수 있다.
큰 정확한 계수	선택한 막대와 페이지별 계수 표	그림은 읽기 쉽도록 레이블을 고르지만 표는 정확한 전체 정수 계수를 보존한다.

N·K·블록 크기를 한 번에 하나씩 바꿔보자. N을 줄이면 K와 블록 크기도 새 유효 범위로 줄어들므로 비교 전에 설정을 확인하자. ε는 J 단위 에너지이며 저장고 온도가 아니다. 막대의 세로축은 자동으로 범위를 정한 확률 축이다. 가장 높은 막대의 확률이 1이라고 가정하지 말고 눈금을 읽자. 좁은 화면에서는 좌우로 이동해 그림 전체를 볼 수 있다.

현재 읽기 화면에서 실험·안내·퀴즈를 사용할 수 있다. 계산은 worker에서 실행하며, 계산 중이라는 표시는 새 준비의 결과가 아니다. 예제 순회는 계산이 끝나면 다른 준비를 비교하며 물리 시간을 진행하지 않는다. 긴 계산은 중단·재시도를 사용하고, 초기화하면 첫 준비로 돌아간다. 다음 가중 상태군 단원에서 상태의 개수와 조건부 가중치를 구별해보자.