통계역학과 분배함수

미시 확률에서 물리량으로

통계역학은 미시 상태 확률을 거시 에너지·엔트로피와 연결합니다. 물리적 앙상블과 단위가 필요합니다. 신경망 손실에 ‘에너지’라는 이름을 붙였다고 온도·열·열역학적 의미가 자동으로 생기지 않습니다.

열저장고와 평형인 계에서 에너지 0인 바닥 미시 상태 하나, 에너지 $\Delta>0$인 들뜬 미시 상태 $g$개를 둡니다. $k_B=1$인 단위를 사용하여 온도도 대응하는 에너지 단위입니다. 이 유한 모형에는 상전이나 공간 상호작용이 없습니다.

Canonical 가중치

상태 $i$의 가중치는 $e^{-E_i/T}$이고

입니다. 들뜬 에너지의 점유 확률 $P_1=g e^{-\Delta/T}/Z$는 미시 확률 $g$개의 합입니다. 엔트로피를 셀 때 이 차이가 중요합니다.

두 상태 손계산

$\Delta=T=1,g=1$이면 $Z\approx1.367879$, 들뜬 점유는 약 0.268941이므로 평균 에너지도 같습니다. 자유에너지는 약 $-0.313262$, 엔트로피는 약 0.582203입니다.

$\log p_i=-E_i/T-\log Z$를 엔트로피에 대입하면

입니다. 지정한 canonical 확률에서 유도한 관계이지 모든 정보 엔트로피를 열/온도로 바꿔도 된다는 뜻은 아닙니다.

축퇴도와 미시 상태 세기

$g>1$에서 바닥·들뜬 에너지 점유의 이진 엔트로피를 $H_{\rm binary}$라고 합시다. 들뜬 상태 안의 조건부 확률은 각각 $1/g$이므로

입니다. 이진 점유만 기록하면 어떤 들뜬 미시 상태인지에 대한 정보가 빠집니다. 실험은 두 엔트로피를 따로 계산해 확인합니다. 에너지가 같아도 서로 다른 미시 상태가 없어지는 것은 아닙니다.

온도 극한

$T\to0^+$이면 유일한 바닥 상태가 지배하여 이 모형의 엔트로피는 0으로 갑니다. $T\to\infty$이면 $g+1$개 상태가 균등해져 들뜬 점유는 $g/(g+1)$, 엔트로피는 $\log(g+1)$로 갑니다.

$g=1$의 높은 온도 점유는 1이 아니라 1/2입니다. 온도가 높다고 모두 확실히 들뜨는 것은 아닙니다. 저장고와 에너지를 교환하므로 평형 확률이 정상이더라도 순간 에너지는 변동합니다.

곡선 읽기

파랑은 온도에 따른 들뜬 에너지 점유, 주황은 무차원 엔트로피입니다. 서로 다른 양이며 같은 확률의 두 추정이 아닙니다. 표는 선택 온도를 평가하고 곡선은 현재 에너지 간격·축퇴도에서 온도 범위를 보여줍니다.

격자는 양의 온도만 다룹니다. 낮은 온도의 부동소수점 포화를 새로운 물리 법칙으로 해석하지 마세요. 평균과 자유에너지는 그린 표본이 아니라 유한 상태 공식에서 계산합니다.

AI 연결과 연구 한계

에너지 기반 모형도 지수 점수와 분배함수를 정규화합니다. 하지만 물리 해석에는 실제 에너지·저장고 조건·단위가 필요합니다. 학습한 분포를 표집한다고 물리적 열 실험이 되는 것은 아닙니다.

상호작용하는 자유도를 추가하고 작은 계의 전수 계산과 표집 결과를 비교해보세요. 정규화·평균 에너지·자기상관을 검사합니다. 유한 두 수준 예제로 열역학적 상전이나 보편적인 학습 법칙을 입증했다고 주장하지 마세요.

연습과 근거

1. $g=3$의 고온 들뜬 점유는? 답: 3/4입니다.
2. $S-H_{\rm binary}=P_1\log g$를 유도하고 축퇴 예제에서 확인하세요.
3. 가중치 전체에 같은 상수를 곱해도 확률이 같은 이유와 에너지 기준·자유에너지 해석의 주의를 적으세요.
4. 저장고 대신 고립계라면 어떤 가정이 바뀌나요?

배경은 MIT Statistical Physics의 앙상블 자료를 참고하세요. 유한 에너지 계산은 이 교재가 지정한 직접 예제입니다.