유한 스펙트럼의 Helmholtz–KL 변분

가장 낮은 에너지만으로 답할 수 없는 이유

같은 계를 독립적으로 여러 번 준비한다고 생각해보자. 가능한 에너지가 두 개라면 모든 복제본을 낮은 준위에 두어 평균 에너지를 최소화할 수 있다. 그런데 따뜻한 저장고와 접촉한 계에서는 높은 준위에도 확률이 배분된다. 이 확률을 이해하려면 상태들에 확률을 나누는 데 따른 엔트로피를 함께 살펴야 한다.

여기서 묻는 것은 명확하다. 유한한 에너지 스펙트럼과 양의 저장고 온도를 고정했을 때 어떤 확률분포가 Helmholtz 함수를 최소화하는가? 답을 유도하고 다른 분포와의 차이를 계산해보자. 상태들을 비교하는 그림과 실제 시간이 흐르는 물리적 궤적도 구별한다.

상태 공간과 제약 그리고 단위

명시적으로 나열한 미시상태가 m개이며 각 에너지 Eᵢ의 단위는 J이다. 부피·입자 수·Hamiltonian의 모든 매개변수를 고정한다. 시도 분포 p의 성분은 음이 아니며 합이1이다. 반복 준비의 분포를 나타낼 수 있으며, 모든 시도 분포가 이미 열평형이라고 가정하지 않는다.

저장고 온도 T>0의 단위는 K이고 kB의 단위는 J/K이다. 자연로그로 정의한 정보 엔트로피 H는 무차원량으로 nat 단위를 사용한다. 평균 에너지와 Helmholtz 함수는 복제당 J, 물리적 엔트로피는 복제당 J/K이다.

$$\sum_{i=1}^{m}p_i=1,\qquad U[p]=\sum_i p_iE_i,\qquad H[p]=-\sum_i p_i\ln p_i,\qquad S[p]=k_BH[p],\qquad F_T[p]=U[p]-TS[p].$$

0 ln0은 연속 확장으로0이라 정의한다. 독립적이고 동일한 분포를 가진 복제본 N개의 에너지가 가법적이면 결합 엔트로피와 평균 에너지도 가법적이므로 총 F는 복제당 값의 N배다. 복제본 사이에 상관이 있으면 결합분포가 필요하다. 주변분포의 엔트로피를 단순히 N배 하면 상호정보량을 놓칠 수 있다.

정준 목표 분포 유도하기

확률 단체 위에서 F를 최소화한다. 내부 정상점에서 Lagrange 승수 λ로 정규화를 강제한다. pᵢ에 대해 미분하면 로그 방정식이 나오며, 이를 풀고 합을1로 맞추면 π를 얻는다.

$$E_i+k_BT(\ln p_i+1)+\lambda=0,\qquad \beta=\frac{1}{k_BT},\qquad Z=\sum_i e^{-\beta E_i},\qquad \pi_i=\frac{e^{-\beta E_i}}{Z}.$$

에너지가 유한하고 온도가 유한한 양수이면 모든 πᵢ는 엄밀히 양수다. 이 계산은 최소점의 후보를 찾는다. 경계의 분포까지 포함한 전역 최소성은 다음 항등식으로 증명한다. 정준 확률·정보 엔트로피·평형 자유에너지의 기본 틀은 Tong의 강의노트1.3.1–1.3.4절에서 확인할 수 있다.

자유에너지 차이를 유도하기

π의 로그를 상대 엔트로피 정의에 대입하고 정규화를 사용하자. 근사나 큰 계의 극한은 필요하지 않다.

$$\ln\pi_i=-\beta E_i-\ln Z,\qquad D(p\Vert\pi)=\sum_{i:p_i>0}p_i\ln\frac{p_i}{\pi_i} =-H[p]+\beta U[p]+\ln Z.$$

π에서 F를 계산하면 평형값이 나온다. 앞의 항등식에 kBT를 곱하면 변분 원리를 확인하는 식을 얻는다.

$$F_{\rm eq}=-k_BT\ln Z,\qquad F_T[p]-F_{\rm eq}=k_BT D(p\Vert\pi)\ge0.$$

이는 에너지 차이다. 확률도 아니고 경과 시간도 아니다. 독립 복제본의 총량은 N배가 된다. 방향은 D(p∥π)이며, 두 인수를 바꾸면 일반적으로 다른 값이 되어 이 항등식을 그대로 사용할 수 없다.

각 미시상태에서 양수인 차이 보기

보통의 합 p ln(p/π)에는 양수 항과 음수 항이 섞여 있다. 정규화 덕분에 합이0인 항을 더할 수 있다. 그러면 각 항이 음이 아닌 합으로 바뀐다.

$$D(p\Vert\pi)=\sum_i b(p_i,\pi_i),\qquad b(a,q)=a\ln(a/q)-a+q\ge0,\qquad b(0,q)=q.$$

a>0에서 a에 대한 일차 미분은 ln(a/q), 이차 미분은1/a다. 따라서 각 항은 a=q에서만 최솟값0을 가진다. a=0에서도 q>0이므로 양수다. 전체 합이0인 필요충분조건은 모든 미시상태 확률이 목표 확률과 같은 것이다. 이로써 경계를 포함한 전역 최소점의 유일성을 증명했다.

직관적으로 x ln x의 그래프와 한 점에서 그은 접선 사이에 놓인 그릇을 떠올리면 된다. 부호가 다른 로그 항은 서로 상쇄될 수 있지만, 각 접선 위의 높이는 서로 상쇄되지 않는다. 이 그릇의 높이가 시도 확률 배분과 열평형 배분 사이의 차이를 측정한다.

직접 그릴 수 있는 두 상태 그래프

기준 온도 T₀를 정하고 두 에너지를0과 Δ=kBT₀ ln3으로 고정하자. T=T₀에서 정준 분포는 (3/4,1/4)이다. 들뜬 상태 확률을 x라 하면 가로축은 x, 세로축은 F/(kBT₀)이다.

$$f(x)=x\ln3+(1-x)\ln(1-x)+x\ln x,\qquad f'(x)=\ln\frac{3x}{1-x},\qquad f''(x)=\frac1x+\frac1{1-x}>0.$$

에너지에 해당하는 직선 x ln3, 엔트로피에 해당하는0 이하의 곡선, 둘을 더한 그래프를 그려보자. 에너지 직선은 x=0을 선호한다. 엔트로피 항은 x=1/2을 선호한다. 합의 유일한 최소점은 x=1/4이다. 양 끝에서 기울기가 무한대로 발산해도 함수값 자체는 유한할 수 있다. 끝점의 값은 연속 확장으로 계산한다.

시도 분포	U/(kBT₀)	H	F/(kBT₀)	차이/(kBT₀)
바닥 상태만 점유	0	0	0	0.287682
정준 분포	0.274653	0.562335	−0.287682	0
균등 분포	0.549306	0.693147	−0.143841	0.143841

균등 분포는 여기서 H를 최대화하지만 F를 최소화하지는 않는다. 비교하는 분포들의 평균 에너지가 서로 다르면 엔트로피가 더 크다는 사실만으로 평형을 판정할 수 없다.

축퇴도는 한 번만 세기

에너지 상태군 a에 서로 다른 미시상태가 gₐ개 있다고 하자. 상태군 전체 확률은 Pₐ, 그 안의 조건부 분포는 rₐⱼ로 쓴다. 비어 있는 상태군의 항은 연속 확장으로 정의한다. pₐⱼ=Pₐrₐⱼ의 로그를 전개하면 다음과 같다.

$$H[p]=H[P]+\sum_a P_a H[r_a],\qquad \Pi_a=\frac{g_a e^{-\beta E_a}}{Z},\qquad Z=\sum_a g_a e^{-\beta E_a}.$$

평형에서는 에너지가 같은 미시상태들의 확률이 같다. 시도 분포의 상태군 확률만 알고 있다고 이 성질까지 성립하는 것은 아니다. 차이의 정확한 분해는 다음과 같다.

$$D(p\Vert\pi)=D(P\Vert\Pi)+\sum_aP_aD(r_a\Vert u_a),\qquad (u_a)_j=\frac1{g_a}.$$

조건부 분포를 균등하다고 가정하면 H에 Pₐ ln gₐ가 들어간다. 모든 미시상태를 이미 나열했다면 그 기여는 이미 포함되어 있다. 확장한 미시상태 목록에 축퇴도 인자를 다시 곱하면 상태를 두 번 센다. 상태군 막대만 보여주는 그림은 내부 조건부 분포를 어떻게 정했는지 밝혀야 한다.

에너지 영점을 옮겨도 같은 문제다

모든 에너지에 같은 상수 C를 더하자. 절대 에너지의 기준은 바뀌지만 에너지 차이·확률·엔트로피는 바뀌지 않는다.

$$E_i'=E_i+C,\qquad Z'=e^{-\beta C}Z,\qquad U'[p]=U[p]+C,\qquad F_T'[p]=F_T[p]+C,\qquad F_{\rm eq}'=F_{\rm eq}+C.$$

따라서 자유에너지 차이도 불변이다. 영점을 임의로 정해서 두 자유에너지 모두 음수가 되더라도 차이가 음이 아니라는 사실은 물리적 의미를 가진다. 무차원 손실을 에너지라고 이름만 바꿔도 J 단위가 생기지는 않는다. 에너지 척도와 모델링 가정을 따로 정해야 한다.

Hamiltonian을 고정한 채 온도 바꾸기

두 상태 예제의 Δ는 T₀를 사용해 한 번 정한 상수다. 다른 온도 T에서는 들뜬 상태와 바닥 상태의 확률비가3^(−T₀/T)이다. 항상1/3인 것이 아니다. T를2T₀로 올리면 분포는 약 (0.633975,0.366025)가 된다. 슬라이더를 움직일 때마다 Δ=kBT ln3을 다시 계산하면 저장고와 함께 Hamiltonian도 바꾸게 된다.

한 기준 온도에서 양의 가중치 v를 제공하는 경우에도 같은 구별이 필요하다.

$$E_i=C-k_BT_0\ln v_i\quad\Longrightarrow\quad \pi_i(T)=\frac{v_i^{T_0/T}}{\sum_jv_j^{T_0/T}}.$$

v를 그대로 정규화하는 것은 T₀에서 옳다. 임의의 T에 대한 고정 스펙트럼의 온도 사상을 구현한 것은 아니다. 유한 가중치 KL 계산 기반은 분포 비교를 제공한다. 별도 모듈에서 고정 Hamiltonian의 온도 사상과 양의 Helmholtz 차이를 계산하며, 반올림된 목표 가중치 대신 방향 있는 구간과 극저온 로그 꼬리 분해를 사용한다.

작은 확률과 작은 차이를 구분하기

수치 계산에서는 지수함수에 넣기 전에 최저 에너지를 빼자. 큰 공통 에너지 기준 때문에 모든 가중치가 넘치는 문제를 피할 수 있다. 확률과 함께 로그 확률도 유지한다.

$$a_i=\frac{E_i-E_{\min}}{k_BT},\qquad L=\ln\sum_j e^{-a_j},\qquad \ln\pi_i=-a_i-L,\qquad F_{\rm eq}=E_{\min}-k_BTL.$$

이 대수적 변형만으로 모든 binary64 한계가 해결되지는 않는다. 매우 작은 양의 T에서는 aᵢ를 만드는 나눗셈부터 숫자 범위를 넘을 수 있다. 화면의 지수함수 값이 사라졌다면 underflow 관측이지, 해당 미시상태가 금지되었다는 증명이 아니다. 배율을 적용하기 전의 곱, 로그 증거, 해결되지 않은 관측의 명시적 표시가 필요하다.

p=π 근처에서 반올림된 두 자유에너지를 빼면 양의 차이가 사라질 수 있다. 두 상태 예제에서 x=1/4+ε일 때 차이를 kBT₀로 나눈 값의 선도항은 (8/3)ε²이다. 최소점에서는 일차 변화가 사라진다. 음수가 된 뺄셈을0으로 자르는 것보다, 안정적인 양의 나머지를 독립 고정밀 계산과 비교하는 것이 적절하다.

$$\frac{F_{T_0}[p]-F_{\rm eq}}{k_BT_0}=\frac83\varepsilon^2+O(\varepsilon^3),\qquad p=(3/4-\varepsilon,1/4+\varepsilon).$$

양의 온도와 영온도 극한

고정된 유한 스펙트럼에서 T가 양의 쪽에서0으로 접근하면 정준 분포는 바닥 상태 공간에 집중된다. 정확히 축퇴된 바닥 미시상태가 g₀개라면 정준 극한은 그 상태들에서 균등하며 H는 ln g₀로 접근한다. 높은 온도에서는 유한한 전체 m개 미시상태의 균등 분포로 접근한다.

이는 정준 분포족의 극한이다. β에 T=0을 대입하거나0과 무한 KL의 곱을 보통의 곱셈으로 계산할 근거가 아니다. 이 유한 모형의 잔류 엔트로피만으로 거시적 물질의 열역학 제3법칙을 판정할 수도 없다. 계의 크기와 온도 극한을 취하는 순서는 별도로 분석해야 한다.

변분 지형은 시계를 제공하지 않는다

항등식은 고정된 T와 Hamiltonian에서 후보 분포들의 순서를 정한다. 전이율·마찰 계수·적분 간격·시간 변수를 제공하지 않는다. p와 π를 잇는 선도 동역학 법칙을 지정하기 전에는 상태 비교 경로다.

Hamiltonian을 고정하고 일을 가하지 않는 저장고 완화 실험에서는 적절한 계–저장고 가정 아래 자유에너지 감소와 총 엔트로피 생성의 끝점 수지를 연결할 수 있다. 임의의 최적화 갱신이 이 가정을 자동으로 만족하지는 않는다. 고정 온도와 고정 압력의 퍼텐셜 구별은 Tong의4.4절에서 다룬다.

학습과 추론으로 연결하기

정규화된 유한 목표 분포가 exp(−에너지/척도)에 비례하면, 기대 에너지와 음의 엔트로피가 들어간 목적함수를 배율이 곱해진 KL과 상수의 합으로 다시 쓸 수 있다. 이것이 변분 추론으로 이어지는 대수적 연결이다. 목표·척도·지지집합·KL 방향을 모두 명시해야 한다.

제한된 근사 분포족은 π를 포함하지 않을 수 있다. 그 안에서 최소화한 결과는 이 목적 아래 허용된 최선의 근사이며, 물리적 계가 평형에 도달하지 못한다는 증명이 아니다. 상관된 변수·연속 측도·양자 결맞음에는 추가 정의가 필요하다. 이 유한 대각 확률 모형이 그 문제들을 해결한 것은 아니다.

풀이가 있는 연습

연습 1: 기준 온도의 균등 시도 분포

두 에너지가0과 kBT₀ ln3일 때 T₀에서 p=(1/2,1/2)의 U·H·F를 계산하자. 평형보다 얼마나 높은가?

해설: U/(kBT₀)=ln3/2=0.549306이고 H=ln2=0.693147이다. 따라서 F/(kBT₀)=−0.143841이다. Z=4/3이므로 Feq/(kBT₀)=−ln(4/3)=−0.287682이며 차이는0.143841 kBT₀이다. 직접 KL을 계산하면 ln(2/3)의 절반과 ln2의 절반을 더한 값으로 같은 무차원 차이가 나온다.

연습 2: 경계의 분포

같은 스펙트럼에서 모든 확률을 바닥 상태에 두자. 엔트로피가 정의되지 않는가? 따뜻한 저장고에서 평형인가?

해설: 연속 확장으로 H=0이다. U=F=0이며 차이는 kBT₀ ln(4/3)>0이다. D((1,0)∥(3/4,1/4))=ln(4/3)으로도 확인된다. 각 항이 음이 아닌 분해에서는 비어 있는 들뜬 상태가1/4을 기여한다. 그 상태의 p ln(p/π) 항이0이라고 다른 분해에서도 조용히 지워서는 안 된다.

연습 3: 축퇴 상태군 안의 숨은 불균형

바닥 미시상태 두 개와 에너지가 kBT₀ ln2인 들뜬 미시상태 하나가 있다. p=(0.8,0,0.2)를 T₀의 평형과 비교하자.

해설: Z=2+1/2=2.5이므로 π=(0.4,0.4,0.2)이다. 두 분포는 상태군 확률이 (0.8,0.2)로 같고 평균 에너지도 같다. 시도 분포의 H는0.500402, 평형의 H는1.054920이다. 엔트로피 부족량과 무차원 자유에너지 차이는0.8 ln2=0.554518이다. 상태군만으로 계산한 KL은0이지만 바닥 상태군의 조건부 항을 넣으면 전체 양의 차이를 되찾는다.

연습 4: 에너지 기준 옮기기

연습1의 모든 에너지에5kBT₀를 더하고 저장고 온도는 T₀로 유지하자. 무엇이 바뀌는가?

해설: U·F·Feq가 각각5kBT₀만큼 증가한다. Z에는 exp(−5)가 곱해진다. 정규화 과정에서 공통 인자가 상쇄되므로 π·H·D는 그대로다. 차이도0.143841 kBT₀로 유지된다. 이동한 시도 F를 이동 전의 Feq와 비교하면 서로 다른 에너지 기준을 섞는 것이다.

연습 5: 저장고 온도를 두 배로

원래 두 상태의 에너지 간격을 고정하고 T=2T₀로 바꾸자. 새 평형을 구하고, 평형을 (3/4,1/4)에 그대로 두는 제어 실수가 무엇인지 설명하자.

해설: 가중치 비는 exp(−ln3/2)=1/√3이다. 정규화하면 바닥 확률은 √3/(1+√3)=0.633975, 들뜬 확률은0.366025이다. 온도를 바꿀 때마다 고정 간격을 kBT ln3으로 교체하면 스펙트럼 자체를 바꿔 이전 확률비를 유지하게 된다.

연습 6: 거의 평형인 결과 읽기

작지만0이 아닌 ε에 대해 x=1/4+ε라 하자. 화면에서 반올림된 F와 Feq가 같다면 정확한 평형이라고 표시해도 되는가?

해설: 안 된다. 엄밀한 볼록성에 의해 허용된 모든0이 아닌 ε에서 차이는 양수다. Taylor 전개는 차이/(kBT₀)=(8/3)ε²+O(ε³)를 준다. 정확한 정규화와 안정적인 양의 나머지로 일치 조건을 판정해야 한다. 선형 표시 범위 밖의 값도 물리적인0으로 바꾸지 않고 부호와 로그 증거를 유지해야 한다.

실험으로 확인하기

이 단원의 실습은 미시상태 세 개, 즉 에너지가 같은 바닥 상태 두 개와 들뜬 상태 하나를 사용한다. 앞의 두 상태 그래프는 변분 원리를 유도하기 위한 예제다. 그 그래프의 평형 들뜬 확률을 세 상태 실습의 목표값으로 그대로 사용하면 안 된다. 에너지 간격을 Δ, 공통 기준을 C라 하면 실습의 스펙트럼과 비교 분포는 다음과 같다.

$$(E_0,E_1,E_2)=(C,C,C+\Delta),\qquad p(x)=\left(\frac{1-x}{2},\frac{1-x}{2},x\right),\qquad \pi_2=\frac{e^{-\Delta/(k_BT)}}{2+e^{-\Delta/(k_BT)}}.$$

파란 막대는 시도 분포의 미시상태 확률이며 주황 막대는 정준 목표 확률이다. 입력한 가중치는 합으로 나누어 p로 만든다. 에너지 간격과 기준 입력의 단위가 K인 것은 Δ/kB와 C/kB를 지정하기 때문이다. 관측 표의 에너지 단위는 J이다. 저장고 온도만 바꿀 때는 이 두 에너지 입력을 고정하자.

선택할 예제	비교할 항목	해석
숨은 내부 불균형	같은 온도·간격에서 가중치 (4,0,1)과 (2,2,1)	상태군 확률 (0.8,0.2)을 유지하면서 바닥 상태군 내부를 재배분하면 F가 0.8 kBT ln2만큼 감소한다.
거의 정준 분포	파란 막대와 주황 막대, 차이의 상태 표시	이진 입력은 이상적인 간격 kBT ln2의 근사다. 가까운 막대만으로 정확한 일치를 증명하지 않는다.
정확한 퇴화 평형	간격 0과 동일한 세 가중치	모든 에너지가 같고 p가 구조적으로 정준 분포이므로 차이는 정확히 0이다.
총량에서 복원되는 차이	F−Feq와 N(F−Feq)의 값·부호·로그	복제당 선형 표시 범위 밖인 값도 원래 양에 N을 곱하면 다시 표시될 수 있다.

F와 차이의 곡선은 바닥 상태 내부가 균등한 p(x)를 사용한다. 바닥 가중치가 불균등한 현재 시도 분포는 같은 p₂에서도 곡선보다 위에 놓일 수 있다. 표식과 세 막대를 함께 읽자. 온도 그래프는 1–1200 K를 보여주며, 허용된 입력이 그 밖에 있어도 관측 표는 계산한다. 비교 순회는 시도 가중치를 p(x)로 교체한다. 숨은 바닥 불균형을 유지하거나 실제 열적 완화를 계산하는 기능이 아니다. 원래 준비로 돌아가려면 초기화하거나 예제를 다시 선택하자.

그림·안내 실험·관측 표는 현재 읽기 화면에서 사용할 수 있다. 유한 정밀도 한도 때문에 계산을 미해결로 표시할 수 있으며, 그 상태를 평형으로 판정하지 않는다. 화면에 표시된 F와 Feq를 빼는 것만으로 양의 차이를 보증할 수도 없다. 이어지는 앙상블·분배함수 단원에서 유한 변분 원리와 저장고 모형·요동의 연결을 살펴보자.