기준 측도와 Boltzmann 가중치

가장 낮은 에너지 준위가 항상 가장 유력할까

세 층짜리 건물을 생각해 보자. 높은 층으로 갈수록 에너지 비용이 커지지만, 가운데 층에는 방이 두 개 있고 나머지 층에는 하나씩 있다. 방 하나를 선택할 확률과 어느 층을 선택할 확률은 다른 질문이다. 가운데 층의 방 하나는 아래층 방보다 덜 유력하더라도, 방이 두 개라는 이점 때문에 가운데 층 전체의 확률이 커질 수 있다.

통계물리, Bayesian 추론, 에너지 기반 AI 모델에서도 같은 구분이 필요하다. 에너지의 지수함수는 에너지에 따라 가중치를 얼마나 줄일지 알려준다. 가능한 결과가 얼마나 많은지, 각 결과가 처음부터 어떤 기준 가중치를 갖는지까지 정해 주지는 않는다. 이번 장에서는 이 선택을 수식에 드러내고, 관측된 확률만으로 무엇을 알아낼 수 있는지 살펴본다.

유한 합을 정규화하는 방법과 분배함수에서 평균 에너지를 얻는 방법을 먼저 이해하면 좋다. 정준 분포의 출발점은 Tong의 canonical ensemble 설명과 연결된다. 아래의 가중 예제와 식별 가능성 논의는 명시한 준비 조건에서 직접 유도한다. AI의 모든 확률 모델이 물리적 평형계라고 가정하지 않는다.

상태 이름·지지집합·가중치·단위를 먼저 정하자

유한한 상태 이름 i마다 에너지 E_i와 기준 가중치 m_i를 지정한다. 에너지는 J, 온도는 K, Boltzmann 상수 kB는 J/K 단위다. m_i는 무차원 비음수이며 적어도 하나는 양수여야 한다. 유한한 양의 온도에서 분포는 다음과 같다.

$$\beta=\frac{1}{k_BT},\qquad Z_m=\sum_{i:m_i>0}m_i e^{-\beta E_i},\qquad p_i=\frac{m_i e^{-\beta E_i}}{Z_m}.$$

m_i=0이면 그 상태는 지지집합에서 제외된다. 고정된 이 지지집합에서는 온도를 바꾸어도 그 확률은 정확히 0이다. 반면 유한한 비영 온도에서 유한 에너지를 갖는 허용 상태의 확률은 언제나 양수다. 화면에 표시할 수 없을 만큼 작아진 값과 실제 금지 상태를 구별해야 한다.

기준 가중치에는 다음과 같은 해석이 있다. 정규화 수식은 같지만 엔트로피 해석까지 같지는 않다.

기준	m의 의미	상태 이름 하나가 가리키는 것
m=1인 계수 측도	실제로 세는 결과 하나	명시적으로 나열한 미시상태
정수 m=g인 퇴화도	같은 에너지를 갖는 서로 다른 결과 g개	여러 미시상태를 묶은 에너지 준위
양의 실수 기준 가중치	지정한 기준 측도, 때로는 사전분포	모델의 상태 이름; 자동으로 물리적 상태 수가 되지 않음

m의 합은 반드시 1일 필요가 없다. 합이 1이고 그 해석을 의도할 때 정규화 사전분포라고 부른다. 또한 컴퓨터에 입력한 0.1은 특정 이진 근삿값이다. 실제 수치 검증에서는 이를 임의로 정확한 1/10로 바꾸지 않고 입력된 값을 그대로 해석한다.

정규화 전에 확률의 비를 유도하자

두 허용 상태의 확률을 나누면 공통 분배함수가 소거된다.

$$\frac{p_i}{p_j}=\frac{m_i}{m_j}\exp[-\beta(E_i-E_j)],\qquad \ln\frac{p_i}{p_j}=\ln\frac{m_i}{m_j}-\beta(E_i-E_j).$$

로그 확률비는 기준 가중치의 이점과 에너지의 불이익으로 나뉜다. 양의 온도에서 높은 에너지의 상태 i가 더 유력하려면, 로그 기준 가중치의 차이가 무차원 에너지 차이보다 커야 한다. 따라서 “에너지가 낮을수록 확률이 높다”는 말은 같은 기준 가중치로 비교할 때, 또는 하나씩 똑같이 세는 개별 미시상태를 비교할 때 성립한다.

그림으로는 준위마다 기둥 하나를 놓는다고 생각하자. 높이는 에너지, 폭은 기준 가중치, 에너지 벌점을 적용한 뒤의 채워진 면적은 정규화 전 질량을 나타낸다. 정규화는 이 면적들의 합을 1로 맞추는 과정이다. 폭이 0인 기둥은 없지만, 채워진 면적이 매우 작은 기둥은 여전히 존재한다. 막대그래프를 읽을 때는 막대 하나가 준위 전체의 확률인지, 그 안의 방 하나가 선택될 확률인지 확인하자.

세 준위와 네 미시상태를 직접 계산하자

에너지를 0, ε, 2ε, 정수 퇴화도를 1, 2, 1로 두고 이상적인 관계 βε=ln 2를 가정하자. 그러면

$$(m_i e^{-\beta E_i})=(1,1,1/4),\qquad Z_m=9/4,\qquad (p_0,p_1,p_2)=(4/9,4/9,1/9).$$

준위	퇴화도	미시상태 하나의 확률	준위 전체의 확률
0	1	4/9	4/9
ε	2	2/9	4/9
2ε	1	1/9	1/9

묶어서 센 결과를 확인하려면 에너지가 0, ε, ε, 2ε인 네 미시상태를 직접 나열하자. 확률은 각각 4/9, 2/9, 2/9, 1/9이다. 가운데 두 확률을 더하면 준위 확률 4/9가 나온다. 두 미시상태를 이미 따로 적어 놓고 각각에 퇴화도 2를 다시 붙이면 방을 중복해서 센 다른 모델이 된다.

K=E/ε인 준위 번호를 사용하면 모멘트도 손으로 검산할 수 있다.

$$\langle K\rangle=\frac23,\qquad \langle K^2\rangle=\frac89,\qquad \operatorname{Var}(K)=\frac49.$$

따라서 U=2ε/3, Var(E)=4ε²/9이다. 이상적 열용량은 C/kB=4(ln 2)²/9이다. 여기서 평균은 에너지 단위, 분산은 에너지 제곱 단위를 갖는다. 확률의 퍼짐과 에너지의 퍼짐을 같은 수로 읽지 말자.

손계산은 정확한 로그2 관계를 가정한다. 실제 계산에서는 ε, T, kB가 저장되는 이진 값에 맞춘 별도 독립 참조가 필요하다. 이상적인 유리수 결과는 개념 검산이며 반올림된 입력에 대한 정확한 수치 정답은 아니다.

상태 이름의 엔트로피와 기준에 대한 엔트로피를 나누자

상태 이름의 Shannon 엔트로피는 어떤 준위가 선택되는지의 불확실성을 나타낸다. 여기서 기준에 대한 엔트로피는 다음 부호 관례를 쓴다. 이것을 비음수인 KL divergence 자체와 혼동하지 말자.

$$H(p)=-\sum_{i:p_i>0}p_i\ln p_i,\qquad S_m/k_B=-\sum_{i:p_i>0}p_i\ln\frac{p_i}{m_i} =H(p)+\sum_i p_i\ln m_i.$$

정수 퇴화도 g_i가 실제 미시상태 수라면 한 준위 내부의 정준 확률은 균등하다. 준위를 안 뒤에도 남는 미시상태의 조건부 엔트로피는 ln g_i다. 따라서 엔트로피 연쇄법칙에 따라 전체 미시상태의 엔트로피는 준위 이름의 엔트로피와 평균 조건부 엔트로피의 합이다. 바로 이 해석에서 S_m을 물리적 상태 계수에 대한 엔트로피로 읽을 수 있다.

앞의 예제에서 준위로 묶으면서 감춘 정보는 (4/9)ln 2이다. 준위 이름의 엔트로피는 ln 9−(8/9)ln 4이고, 미시상태 엔트로피는 ln 9−(4/3)ln 2다. 가운데 층의 두 방을 구별하면 에너지 분포는 그대로지만 엔트로피가 증가한다. 에너지 막대만으로는 이 추가 정보를 볼 수 없다.

반대로 m을 정규화 사전분포 q로 지정했다면 같은 식은

$$S_q/k_B=-D_{\mathrm{KL}}(p\Vert q)\leq0$$

이 된다. 음수가 나와도 Shannon 엔트로피가 음수가 된 것이 아니다. 지정한 사전분포로부터 얼마나 벗어났는지 위의 부호 관례로 표현한 것이다. 정규화하지 않은 m에서는 M=Σm, q=m/M로 두면 S_m/kB=ln M−KL(p||q)이다. 따라서 임의 실수 기준 가중치에 대해 S_m의 비음수성을 요구할 수 없다.

확률을 유지하면서 기준의 크기를 바꾸자

모든 기준 가중치를 고정된 양수 λ배 하자. 정규화 전 질량과 분배함수에 같은 인자가 곱해지므로

$$p_i'=p_i,\qquad Z_m'=\lambda Z_m,\qquad S_m'/k_B=S_m/k_B+\ln\lambda,\qquad F_m'=F_m-k_BT\ln\lambda$$

이다. 여기서 F_m=−kBT ln Z_m이다. 상태 이름의 엔트로피, 평균 에너지, 분산, 열용량은 그대로다. 기준에 의존하는 엔트로피와 자유에너지는 달라진다. 확률 벡터만 보아서는 기준 측도의 전체 크기를 정할 수 없다는 뜻이다.

예를 들어 퇴화도 (1,2,1)을 4로 나누어 사전분포 (1/4,1/2,1/4)로 바꾸자. 확률은 여전히 (4,4,1)/9이지만 Z는 9/4에서 9/16으로 바뀐다. 상태 계수에 대한 엔트로피는 약 1.27303 kB, 상태 이름의 엔트로피는 약 0.96496 nats, 사전에 대한 엔트로피는 약 −0.11327 kB이다. 세 값을 모두 단순히 “엔트로피”라고 표시하면 서로 다른 질문을 감추게 된다.

시각화에서는 기준 가중치의 전체 크기만 바꾸어 보자. 에너지와 확률 막대는 움직이지 않고 분배함수, 기준 엔트로피, 자유에너지 표시만 변해야 한다. 값 옆에는 어떤 기준으로 계산했는지 함께 보여 주어야 한다. 단위를 포함한 설명이 없는 숫자 변화만으로는 이 실험의 의미를 이해하기 어렵다.

미분할 때 고정하는 대상을 명시하자

확률 식에 로그를 취하고 평균을 내면 엔트로피 관계를 얻는다. 에너지와 기준 가중치를 고정한 채 유한 분배합을 미분하면

$$S_m/k_B=\ln Z_m+\beta U,\qquad -\frac{\partial\ln Z_m}{\partial\beta}=U,\qquad \frac{\partial^2\ln Z_m}{\partial\beta^2}=\operatorname{Var}(E),\qquad \frac{C}{k_B}=\frac{\operatorname{Var}(E)}{(k_BT)^2}$$

이다. 마지막 식에는 dβ/dT=−1/(kBT²)라는 연쇄법칙을 쓴다. 분산이 비음수이므로 이 유한 정준 가족의 열용량도 비음수다. 이 식은 평형 준비를 바꾸었을 때의 응답을 나타낸다. 실제 계나 표본추출기가 평형에 도달하는 시간은 알려주지 않는다.

양의 m을 유효 에너지 E_eff,i=E_i−kBT ln m_i에 흡수하면 한 온도에서 같은 확률을 표현할 수 있다. 하지만 원래의 E와 m이 고정되어 있어도 이 유효 에너지는 온도에 의존한다. 이를 고정 Hamiltonian처럼 미분하면 기준 항의 온도 미분을 빠뜨린다. 학습 알고리즘이 온도를 바꾸면서 사전분포도 바꾸는 경우에도 그 변화가 미분에 추가된다. 위의 고정 기준 열용량 공식을 그대로 적용할 수 없다.

실험 설정에서 무엇이 고정되는지 읽는 습관이 필요하다. 같은 기호 Z를 사용해도 상태 목록, 기준 가중치 또는 Hamiltonian이 바뀌면 서로 다른 미분 경로일 수 있다.

에너지의 두 가지 모호성을 구분하자

첫째, 모든 에너지에 같은 상수 c를 더해도 에너지 차이는 변하지 않는다. 기준과 온도를 고정하면

$$p_i'=p_i,\quad Z_m'=e^{-\beta c}Z_m,\quad U'=U+c,\quad F_m'=F_m+c.$$

분산, 상태 이름의 엔트로피, 기준 엔트로피, 열용량은 그대로다. 정규화된 확률로는 공통 에너지 영점을 결정할 수 없다. 이것은 에너지 기준의 모호성이다. 앞의 기준 가중치 재조정과도 다르다. 가중치의 전체 크기를 바꿀 때는 기준 엔트로피가 달라졌지만, 공통 에너지 이동에서는 달라지지 않는다.

둘째, 에너지와 온도를 같은 양수 a배 하면 모든 βE가 같으므로 확률도 같다. 평균 에너지는 a배, 에너지 분산은 a²배가 되고 C/kB는 변하지 않는다. 따라서 p만 관측해서 절대 에너지 척도와 온도를 동시에 알아낼 수 없다. 온도를 알고 있거나 별도의 에너지 보정값이 있어야 한다.

m과 비영 β를 안다면 확률비로 에너지 차이를 복원할 수 있다. m을 모르면 관측된 로그 확률비를 기준 가중치의 차이와 에너지의 차이에 서로 다르게 배분할 수 있다. 역문제에서 매개변수를 유일하게 추정했다고 주장하려면 먼저 무엇을 알고 무엇을 고정했는지 밝혀야 한다.

softmax에는 물리적 척도를 별도로 연결하자

무차원 logit s_i와 양의 무차원 온도 α를 사용하는 가중 softmax는

$$p_i=\frac{m_i e^{s_i/\alpha}}{\sum_jm_j e^{s_j/\alpha}}$$

이다. 이를 물리적 에너지와 연결하려면 J 단위의 별도 에너지 척도 E_를 지정하고 E_i=−E_s_i, kBT=αE_로 두어야 한다. E_ 없이 α를 kelvin 온도로 읽을 수 없다. 모든 logit에 같은 상수를 더해도 확률은 같고, logit과 α를 함께 같은 양수배 해도 확률은 같다. 익숙한 softmax의 대칭이 앞서 본 에너지 기준과 척도의 모호성에 대응한다.

균등한 기준에서는 유한 logit에 대해 α가 매우 커질수록 분포가 평평해진다. 비균등 기준에서는 극한이 m/Σm이므로 일반적으로 균등하지 않다. α가 작은 양수로 다가가면 최대 logit 상태에 확률이 모인다. 최대값이 정확히 같은 상태가 여럿이면 그 안에서 확률은 m에 비례한다. 그림에서도 동률이라는 이유만으로 모두 같은 높이의 막대를 그리면 안 된다.

AI에서 softmax 온도를 조절하는 것은 보통 출력 확률의 집중도를 바꾸는 조작이다. 그 조작이 어떤 실험 장치의 온도 변화와 대응하는지는 에너지 척도, 기준 측도, 고정하는 매개변수를 지정한 다음 판단해야 한다.

0 K와 음의 온도를 서로 다른 경계로 다루자

양의 쪽에서 T가 0으로 접근한다고 하자. 허용 상태 중 최소 에너지의 집합을 G, 그 기준 가중치의 합을 M_G=Σ_Gm으로 두면

$$p_i\longrightarrow \begin{cases}m_i/M_G,&i\in G,\\0,&i\notin G,\end{cases} \qquad S_m/k_B\longrightarrow\ln M_G.$$

가중치가 1과 3인 두 바닥 상태는 극한에서도 각각 1/4과 3/4의 확률을 갖는다. 상태 이름의 엔트로피는 약 0.56234 nats이고 기준 엔트로피는 ln 4이다. 유한하고 들뜬 준위와 간격이 있는 스펙트럼에서는 분산과 열용량이 0으로 간다. 이는 이 유한 스펙트럼의 극한이며 모든 고전계나 양자계에 대한 보편적 제3법칙을 유도한 것은 아니다.

유한한 상태 목록은 위아래로 유계이므로 유한한 음의 온도에서도 정규화된다. 이때 기준 가중치에 비해 높은 에너지가 유리해진다. 안정적인 계산에서는 가장 높은 허용 에너지를 기준으로 지수함수를 계산한다. 분산 식은 여전히 비음수 열용량을 준다. 이러한 수학적 준비가 위로 무한한 스펙트럼의 계에서도 음의 온도 평형이 존재함을 뜻하지는 않는다.

양의 쪽 0 K 극한에서 Z 자체는 바닥 에너지의 기준에 따라 다르다. 바닥 에너지가 양수면 0으로, 음수면 무한대로, 0이면 M_G로 간다. 어느 경우든 정규화한 바닥 상태 법칙은 잘 정의된다. 이 극한의 무한 log Z와 유한 온도에서 표시 범위만 넘은 큰 분배함수를 구분해야 한다.

희귀 사건을 지우지 않는 수치 결과 읽기

계산은 유한한 준위 1–32개, 별도의 공통 에너지 이동, 비음수 유한 기준 가중치를 받는다. 낮거나 높은 에너지 기준을 고르기 전에 0 가중치 상태를 제외한다. 따라서 아주 낮은 에너지를 가진 금지 상태가 허용 상태들의 계산을 왜곡하지 않는다. 공통 이동과 상대 에너지를 정확한 이진 합으로 보존하므로 표시된 에너지가 같아 보여도 지정한 간격을 계산에 유지할 수 있다. 호출자가 이미 반올림해 잃어버린 간격을 복원하는 기능은 아니다.

방향성 유리 구간으로 지수함수, 로그, 확률과 모멘트를 감싼다. 정밀도는 128비트에서 최대 8192비트까지 늘어난다. 비영 값은 부호가 확정되고 상대 구간 폭이 2^-48 이하일 때만 해결된 값으로 보고한다. 끝까지 충분한 정밀도를 얻지 못하면 미해결 상태를 유지한다. 0을 포함하는 구간과 정확히 0이라는 증거는 다르다.

표시 범위 밖 비영 값은 선형 표시값을 null로 두고 부호를 보존한다. 가능한 경우 로그 정보도 별도로 제공한다. 분산은 Σ_{i<j}p_i p_j(E_i−E_j)²라는 쌍별 항등식으로 계산한다. 큰 두 원시 모멘트를 빼는 취소를 피하고, 표시할 수 없는 작은 확률과 큰 에너지 제곱의 곱이 표현 가능한 분산을 만드는 경우도 보존한다. 확률이 화면에서 1로 보이더라도 음의 비영 로그 확률로 작은 여사건의 존재를 남길 수 있다.

독립 Decimal 참조는 실제 binary64 입력과 저장된 kB 수치를 사용한다. 400–1600자리에서 계산하고 80자리를 추가하여 다시 확인한다. 금지 상태, 실수 기준 가중치, 큰 가중치 재조정, 희귀 사건 모멘트, 온도 경계를 포함한다. 이 검증은 유한 계산 모델에 대한 근거다. 이 수치 검사만으로 별도의 그림·표본 경로·실제 물리 실험까지 검증했다고 확대해서 해석하지 않는다.

해설이 있는 연습문제

1. 가운데 방 하나의 확률은 얼마인가? 이상적인 세 준위 예제에서 가운데 두 미시상태 각각의 확률을 4/9라고 적었다. 무엇이 잘못되었는가? 해설: 4/9는 준위 전체의 확률이다. 똑같이 세는 방 하나는 각각 2/9이고 둘을 더해야 4/9가 된다. 각각에 4/9를 주면 퇴화도를 중복 반영하여 정규화와 모델을 바꾼다.

2. 높은 준위가 더 유력할 수 있는가? 낮은 상태의 m=1, ε만큼 높은 상태의 m=3이고 βε=ln 2이다. 해설: 높은 상태 대 낮은 상태의 확률비는 3 exp(−ln 2)=3/2이다. 기준 가중치의 이점이 에너지 벌점을 이긴다. 이 두 상태만 있다면 정규화 확률은 각각 2/5와 3/5이다.

3. 엔트로피가 왜 음수인가? 예제의 퇴화도를 정규화 사전 (1/4,1/2,1/4)로 바꾸었다. 해설: 확률은 그대로지만 S_q/kB=−KL(p||q)이므로 약 −0.11327이다. 상태 이름의 엔트로피는 여전히 약 0.96496 nats다. 부호는 기준에 대한 정의에서 나오며 Shannon 엔트로피의 성질이 깨진 것이 아니다.

4. 한 번의 관측으로 절대 에너지를 알 수 있는가? m과 T를 알고 두 양의 확률을 측정했다. 두 절대 에너지를 모두 복원할 수 있는가? 해설: 로그 확률비에서 E_i−E_j=−kBT ln[(p_i m_j)/(p_j m_i)]를 얻는다. 공통 에너지 이동은 여전히 자유롭다. T도 모른다면 무차원 간격만 정해지고, 절대 간격과 온도는 따로 식별되지 않는다.

5. 바닥 상태가 동률이면 균등한가? 에너지 (0,0,ε), 가중치 (1,3,1/4)에서 양의 쪽 0 K 극한을 구하자. 해설: 허용 바닥 가중치만 남으므로 확률은 (1/4,3/4,0)이다. 상태 이름의 엔트로피는 −(1/4)ln(1/4)−(3/4)ln(3/4), 기준 엔트로피는 ln 4다. 바닥 기준 가중치도 같아야 균등해진다.

6. 언더플로가 상태를 없앴는가? 유한 온도에서 허용 들뜬 상태의 선형 확률은 null이고 부호는 양수다. 금지 상태의 확률은 0이다. 둘 다 지운 뒤 분산을 계산해도 되는가? 해설: 정확히 없는 상태는 금지 상태뿐이다. 허용 상태의 작은 확률은 큰 에너지 차이 제곱과 곱해져 표현 가능한 분산을 만들 수 있다. 보존한 정확한 구간으로 먼저 곱하고 마지막에 표시값을 만들자. 정밀도가 부족하면 0 대신 불확실성을 보고한다.

평형 법칙에서 갱신 규칙으로 이어가기

이번 분포는 정규화 질량, 에너지 요동, 기준에 대한 의존성을 정한다. 궤적을 정하지는 않는다. 다음에는 유한 Gibbs 조건부 갱신으로 목표 분포를 보존하는 kernel을 구성하고, 정상성·가역성·혼합이 서로 다른 성질임을 살펴본다. 이어 연속 Gaussian 예제에서는 유한 기준 가중치를 명시적인 Lebesgue 측도로 바꾸고, 정규화 자체가 가능한지를 먼저 판정한다.

기준 가중치를 실험 화면과 연결하기

정수 미시상태 다중도에서 시작하세요. 묶은 법칙 (4,4,1)/9를 예상한 뒤 준위 막대와 작은 방 그림을 비교하세요. 방 이름 i:j는 준위 i 안의 미시상태 하나입니다. 준위 막대는 각 방의 확률이 아니라 그 안의 방들을 합친 확률입니다.

실험	유지하거나 비교할 조건	설명할 내용
정규화 사전·같은 확률	같은 에너지와 T에서 (1,2,1)을 (1/4,1/2,1/4)로 변경	p와 H(label)은 같지만 ln Z·기준 엔트로피·자유에너지는 달라짐
큰 공통 이동·같은 간격 → 에너지와 온도8배	영점 이동과 에너지·온도의 동시 확대 비교	전자는 U를 이동시키고 후자는 U와 Var(E)를 확대하지만 p는 같음
아주 낮은 금지 준위 → 가중 바닥 상태의0 K 극한	최소 에너지보다 먼저 기준 지원 확인	가중치0 레이블은 없으며 허용 바닥 동률도 반드시 균등하지 않음

두 목록 입력의 길이는 같아야 합니다. 둘을 편집한 뒤 에너지·가중치 목록 적용을 누르세요. 불완전한 목록이나 모든 가중치가0인 기준은 거부합니다. 앞의 스펙트럼 단원의 상태 추가 버튼과 다른 조작입니다. 방 그림은 합이32 이하인 정수 개수일 때만 표시합니다. 방 그림이 없다고 확률 법칙이나 엔트로피까지 없는 것은 아닙니다. 임의 실수 가중치는 명시한 기준으로 해석해야 합니다.

H(label), E[ln m], Sₘ/kB=H+E[ln m]을 함께 읽으세요. 사전에 대한 음수 값은 그 부호 정의에서 예상되는 결과입니다. 기준 재조정을 검사할 때는 T·에너지 목록·공통 기준을 유지하고, 온도 미분을 검사할 때는 기준 가중치를 유지하세요. 확률 막대가 같아 보여도 두 조작은 서로 다른 질문에 답합니다.

개별 수치 입력은 Enter를 누르거나 다른 곳으로 초점을 옮길 때 적용합니다.