이 단원 목차
미시 확률에서 물리량으로
통계역학은 미시 상태 확률을 거시 에너지·엔트로피와 연결합니다. 물리적 앙상블과 단위가 필요합니다. 신경망 손실에 ‘에너지’라는 이름을 붙였다고 온도·열·열역학적 의미가 자동으로 생기지 않습니다.
열저장고와 평형인 계에서 에너지 0인 바닥 미시 상태 하나, 에너지 인 들뜬 미시 상태 개를 둡니다. 인 단위를 사용하여 온도도 대응하는 에너지 단위입니다. 이 유한 모형에는 상전이나 공간 상호작용이 없습니다.
Canonical 가중치
상태 의 가중치는 이고
입니다. 들뜬 에너지의 점유 확률 는 미시 확률 개의 합입니다. 엔트로피를 셀 때 이 차이가 중요합니다.
| 양 | 정의 |
|---|---|
| 무차원 정규화 상수 | |
| 평균 에너지 | |
| Helmholtz 자유에너지 | |
| 단위의 |
두 상태 손계산
이면 , 들뜬 점유는 약 0.268941이므로 평균 에너지도 같습니다. 자유에너지는 약 , 엔트로피는 약 0.582203입니다.
를 엔트로피에 대입하면
입니다. 지정한 canonical 확률에서 유도한 관계이지 모든 정보 엔트로피를 열/온도로 바꿔도 된다는 뜻은 아닙니다.
축퇴도와 미시 상태 세기
에서 바닥·들뜬 에너지 점유의 이진 엔트로피를 라고 합시다. 들뜬 상태 안의 조건부 확률은 각각 이므로
입니다. 이진 점유만 기록하면 어떤 들뜬 미시 상태인지에 대한 정보가 빠집니다. 실험은 두 엔트로피를 따로 계산해 확인합니다. 에너지가 같아도 서로 다른 미시 상태가 없어지는 것은 아닙니다.
온도 극한
이면 유일한 바닥 상태가 지배하여 이 모형의 엔트로피는 0으로 갑니다. 이면 개 상태가 균등해져 들뜬 점유는 , 엔트로피는 로 갑니다.
의 높은 온도 점유는 1이 아니라 1/2입니다. 온도가 높다고 모두 확실히 들뜨는 것은 아닙니다. 저장고와 에너지를 교환하므로 평형 확률이 정상이더라도 순간 에너지는 변동합니다.
곡선 읽기
파랑은 온도에 따른 들뜬 에너지 점유, 주황은 무차원 엔트로피입니다. 서로 다른 양이며 같은 확률의 두 추정이 아닙니다. 표는 선택 온도를 평가하고 곡선은 현재 에너지 간격·축퇴도에서 온도 범위를 보여줍니다.
격자는 양의 온도만 다룹니다. 낮은 온도의 부동소수점 포화를 새로운 물리 법칙으로 해석하지 마세요. 평균과 자유에너지는 그린 표본이 아니라 유한 상태 공식에서 계산합니다.
AI 연결과 연구 한계
에너지 기반 모형도 지수 점수와 분배함수를 정규화합니다. 하지만 물리 해석에는 실제 에너지·저장고 조건·단위가 필요합니다. 학습한 분포를 표집한다고 물리적 열 실험이 되는 것은 아닙니다.
상호작용하는 자유도를 추가하고 작은 계의 전수 계산과 표집 결과를 비교해보세요. 정규화·평균 에너지·자기상관을 검사합니다. 유한 두 수준 예제로 열역학적 상전이나 보편적인 학습 법칙을 입증했다고 주장하지 마세요.
온도와 축퇴도를 실제 실험에서 비교하자
개별 입력을 바꾸기 전에 등록된 세 예제를 비교하세요. 들뜬 에너지 수준을 같은 높이의 선반, g개의 미시 상태를 그 선반의 서로 다른 자리로 생각해보세요. 높이가 같아도 자리가 많아지면 선반 전체를 점유할 확률은 달라집니다. 에너지 수준의 확률은 합이고 미시 확률은 이름 붙은 자리 하나의 확률입니다.
| 조작 | 확인할 관측 | 설명할 질문 |
|---|---|---|
| ‘두 상태’와 ‘높은 온도’를 비교한다 | 간격과 g=1을 유지할 때 들뜬 점유가 약0.268941에서0.450166으로 증가한다 | 높은 온도에서 왜1이 아니라1/2에 접근하는가? |
| ‘축퇴 상태’를 선택한다 | g=3에서 전체 엔트로피는 약1.268301, 이진 점유 엔트로피는0.691933이다 | 들뜬 미시 상태를 하나의 이름으로 합치면 어떤 불확실성이 사라지는가? |
| 선택 온도 T만 바꾼다 | 수치 표는 바뀌지만 간격·축퇴도가 같은 온도 순회 곡선은 유지된다 | 곡선의 한 점을 고르는 것과 곡선의 가족을 바꾸는 것은 어떻게 다른가? |
파랑은 에너지 수준의 점유 확률, 주황은 kB 단위의 미시 엔트로피입니다. 두 세로 양을 같은 정규화의 확률로 읽지 마세요. 곡선은 유한 모형의 온도 순회를 수치로 계산한 것이며 시간에 따른 표본 경로가 아닙니다. 자유 입력·저장한 실습 설정은 고정 개념 예제와 독립적입니다.
해설이 있는 여섯 연습문제
1. 평균 전에 이름 붙은 상태를 정규화하자
간격과 온도를1, 들뜬 미시 상태 수를1로 두고 분배함수·들뜬 점유·평균 에너지를 구하세요. 정규화 전 들뜬 무게가 점유 확률이 아닌 이유는 무엇인가요?
해설. 무게는1과 exp(−1)이므로 합 Z는 약1.367879입니다. 두 번째 무게를 Z로 나누면0.268941이고 바닥 확률은 그 보수입니다. 간격을 곱한 평균 에너지도0.268941입니다. 약0.367879인 원래 무게를 바닥 확률에 더한다고 합이1이 되지는 않습니다. 지수 점수로 학습 분포를 만들 때도 정규화는 필요하지만, 물리적 온도를 부여하려면 별도의 가정이 필요합니다.
2. 축퇴도를 세면서 상태를 중복하지 말자
간격·온도1에서 g=3으로 바꾸세요. 들뜬 미시 상태 하나와 들뜬 에너지 수준 전체를 구별하고 두 엔트로피 표시를 비교하세요.
해설. 이름 붙은 미시 상태는4개이고 무게는1, exp(−1), exp(−1), exp(−1)입니다. 합은 약2.103638입니다. 들뜬 전체 점유는0.524633이고 각 미시 확률은 그 값의1/3입니다. 미시 엔트로피는 약1.268301입니다. 들뜬 상태를 한 이름으로 합친 이진 엔트로피는0.691933이므로 빠진 불확실성은 약0.576368입니다. 이 차이는 들뜬 점유에 log3을 곱한 값입니다. 여기서 엔트로피 증가에 에너지 수준 자체의 증가가 필요한 것은 아닙니다.
3. 따뜻한 준비와 무한 온도 극한을 구별하자
g=1, 간격1에서 T=5의 들뜬 점유를 구하세요. 이어 g=3의 무한 온도 결과를 말하세요.
해설. T=5에서는 exp(−1/5)로부터 약0.450166을 얻습니다. 아직 유한 온도의 준비입니다. 무한 온도에서는 각 미시 무게가1로 가므로 g=3일 때4개 미시 상태가 각각1/4의 확률을 갖습니다. 들뜬 에너지 전체 점유는3/4이고 엔트로피는 log4입니다. 미시 상태가 균등해도 축퇴도가 다른 에너지 수준의 점유가 반반일 필요는 없습니다.
4. 에너지 기준을 일관되게 바꾸자
온도와 무관한 같은 에너지 C를 모든 미시 상태에 더하세요. Z·확률·U·F·S가 각각 어떻게 바뀌나요?
해설. 모든 Boltzmann 무게에 exp(−C/T)가 곱해져 Z도 같은 인자를 얻습니다. 정규화 확률은 그대로입니다. 평균 에너지는 U+C, 자유에너지는 F+C가 됩니다. 두 값의 차이와 엔트로피는 유지됩니다. 이는 에너지 기준을 명시적으로 바꾼 경우입니다. 임의의 무게 재조정에 같은 물리적 해석을 몰래 부여하면 안 됩니다. 두 에너지 수준의 간격도 그대로입니다.
5. 정상 법칙과 고정된 순간 에너지를 구별하자
바닥·들뜬 미시 상태가 하나씩일 때 에너지 분산을 구하세요. 평형 확률이 정상이어도 이 분산은 양수일 수 있나요?
해설. 에너지는0 또는 간격입니다. 첫 모멘트는 간격×들뜬 점유, 두 번째는 간격의 제곱×들뜬 점유이므로 분산은 간격의 제곱×점유×그 보수입니다. 간격=T=1에서는 약0.196612입니다. 정상성은 법칙이 유지된다는 뜻이지 모든 실현의 에너지가 U로 고정된다는 뜻이 아닙니다. 실습은 이 법칙을 직접 계산하며 저장고와의 에너지 교환이나 열·일 과정을 모의하지 않습니다.
6. 온도 순회에 없는 궤적을 덧붙이지 말자
간격·g를 고정하고 선택 온도를1에서5로 바꾼 뒤, g도 바꿔보세요. 어느 표와 곡선이 바뀌어야 하나요? 과정이 주어지지 않았는데 엔트로피 차이만으로 열을 정할 수 있나요?
해설. T를 고르면 표의 확률과 열역학 상태량이 바뀝니다. 두 곡선은 같은 간격·g에서 같은 양의 온도 격자를 순회하므로 모양은 유지됩니다. g를 바꾸면 이 곡선 가족과 두 엔트로피 표시가 달라집니다. 어느 조작도 물리적 경로나 열·일의 경계 조건을 지정하지 않습니다. 엔트로피 차이를 열과 연결하려면 과정과 가역성 조건이 필요하며, 유한 평형 표만으로 그 정보를 얻지는 못합니다.
연구 확장: 들뜬 상태 관측만으로 온도를 잴 수 있을까?
같은 작은 탐침을 저장고와 평형에 이르게 한 뒤 바닥 상태인지 들뜬 상태인지 반복해서 읽는다고 상상해 보자. 들뜬 관측이 많으면 더 따뜻하다고 생각할 수 있다. 그러나 거의 얼어붙은 탐침은 늘 같은 답을 주고, 너무 뜨거운 탐침은 점유 확률이 포화된다. 어느 극단도 자동으로 좋은 온도계는 아니다. 이 직관을 추정 정확도의 한계로 계산한다.
기존의 유한 스펙트럼, 알려진 양의 정수 축퇴도 g, 유일한 바닥 상태와 kB=1을 유지한다. 에너지는 온도와 무관하다. 각 관측은 같은 양의 온도 T에서 새로 독립적으로 준비한 평형 상태의 에너지 준위 표지를 오차 없이 읽는다. 이는 별도로 선언한 추론 실험이며 기존 실습의 결정론적 곡선과 구별한다. 상관된 시간 관측열은 이 표본 가정을 만족하지 않는다. SI 단위로 복원하면 x는 Δ/(kB T), 여기의 C는 물리적 열용량을 kB로 나눈 값이다.
들뜬 에너지 준위가 관측되면 X=1로 둔다. 그 확률에는 들뜬 미시 상태 전체가 포함된다. 충분통계량 M은 N번 준비 중 들뜬 횟수다. g와 스펙트럼이 알려져 있을 때 같은 에너지의 g개 상태 중 어느 이름이 나왔는지 추가로 읽어도 온도 정보는 늘지 않는다.
횟수는 이항 분포를 따른다. 이것은 반복 관측의 확률 모형이다. 원래 곡선은 표본을 뽑지 않고 평형 분포를 직접 계산한다.
Δ와 g를 고정하고 미분한다. U=Δp이고 에너지는 0 또는 Δ이므로 평균 에너지의 온도 응답은 에너지 분산으로 결정된다. 선택한 kB=1 규약에서 C는 무차원이다.
무차원 로그 온도 θ를 정의할 때 고정 기준 T*를 하나 선택한다. 점수 함수는 온도의 작은 상대 변화에 로그 확률이 얼마나 변하는지 나타낸다. 평균은 0이고 제곱의 평균은 준비 한 번의 Fisher 정보다. 따라서 같은 C가 열적 응답과 국소 통계 민감도를 함께 측정한다.
독립 관측의 정보는 더해지므로 N번 준비하면 정보는 한 번의 N배다. 아래 Cramér–Rao 부등식은 양의 내부 매개변수 근방에서 T에 대해 불편인 추정량과 통상적인 미분 가능성 조건에 적용한다. 이는 하한이며 신뢰구간이나 달성 가능한 정확도의 보장, 임의 적합 추정량의 불편성 주장이 아니다.
내부 최대우도 추정량은 관측 비율을 역으로 푼다. 예를 들어 g=1, Δ=1이고 N=1000번 중 M=250번 들떴다면 T̂=1/log(3)≈0.910239다. 단위는 선택한 에너지 단위다. 유한 표본의 경계도 중요하다. M=0이면 T가 0으로 접근할 때 우도가 상한에 접근한다. M/N이 g/(1+g) 이상이면 T가 무한대로 갈 때 상한에 접근한다. 이 경우 유한한 양의 최대점은 없다. 값을 잘라 유한 추정치라고 보고하거나 확률적인 MLE를 불편 추정량 정리에 그대로 대입하지 않는다.
이제 Δ도 미지수이고 기록에는 이진 표지만 있다고 하자. 고정 기준 Δ*로 정의한 두 로그 매개변수의 점수는 반대 방향이다. 간격 증가와 온도 감소가 모두 들뜸을 억제하기 때문이다.
유한한 양의 x에서 정보 행렬의 계수는 1이다. 공통 척도 방향을 곱하면 0이다. 이와 같은 표지 실험을 독립적으로 아무리 반복해도 그 영방향은 사라지지 않는다.
실제로 T와 Δ를 같은 양수로 배율 변경하면 횟수의 전체 분포는 같지만 물리적 평균 에너지는 배율만큼 변한다. 보정된 간격 분광, 절대 에너지 측정이나 독립적인 물리 기준으로 빠진 척도를 정할 수 있다. 표지 적합 오차만 줄여서는 해결되지 않는다. 이는 선언한 관측 모형의 주장이다. 수치 에너지 자체를 보정해서 측정하면 다른 실험이 된다.
간격이 알려졌을 때 상대 온도 민감도가 가장 좋은 작동 비율은 점유 확률이 아니라 C를 최대화한다. 로그 미분으로 정지 조건을 얻는다. g=1에서는 유일한 양의 해 x≈2.399357을 갖는다. 좌변이 0에서 무한대까지 엄격히 증가하기 때문이다. 양의 온도의 양 극단에서 C는 0으로 가므로 이 점은 전역 최대이며 상전이가 아니다. 조건과 수치는 이 유한 스펙트럼 및 상대 오차 목적에 한정된다. Δ를 고정하고 T를 바꾸면서 절대 온도 정보 자체를 최대화하는 것은 다른 최적화다.
민감도와 모호성 그림 읽기
왼쪽은 g=1에서 x에 따른 독립 준비 한 번의 정보이며 주황 점은 상대 민감도의 최대점이다. 오른쪽의 서로 다른 세 물리적 쌍은 비율 x=1과 점유 확률이 모두 같다. 직선은 표본이 적어서 생기는 오차가 아닌 정확한 관측 모호성을 나타낸다. 축과 수치 예제는 기존 kB=1 규약을 따른다. 그림과 실행 보충은 기존 실습에 새로운 제어를 추가하지 않는다.
네 작동점을 직접 계산하기
N=1000, g=1일 때 마지막 열은 위 가정에서 불편 추정량의 상대 표준편차 하한이다. 작은 값은 덜 제한적인 하한이며 실제 측정 오차가 아니다. 두 번째 작동점 x=1은 약 7.13%, 최대점은 약 4.77%다.
| x = Δ/T | 들뜬 확률 p | C = 준비 한 번의 정보 | 상대 표준편차 하한 |
|---|---|---|---|
| 0.20000000 | 0.45016600 | 0.00990066 | 0.31781022 |
| 1.00000000 | 0.26894142 | 0.19661193 | 0.07131733 |
| 2.39935728 | 0.08322172 | 0.43922884 | 0.04771496 |
| 8.00000000 | 0.00033535 | 0.02145521 | 0.21589054 |
from math import exp, sqrt
for x in [0.2, 1.0, 2.3993572805154677, 8.0]:
p = 1.0 / (1.0 + exp(x)) # known g = 1
C = x * x * p * (1.0 - p)
bound = 1.0 / sqrt(1000 * C)
print(f"{x:.8f} {p:.8f} {C:.8f} {bound:.8f}")
해설이 있는 세 연구 질문
1. 자료를 늘리면 (T, Δ)=(1,1)과 (2,2)를 구별할 수 있는가?
해설. 기록이 선언한 표지만이라면 불가능하다. 두 경우 모두 x=1이고 가능한 모든 유한 표지열의 확률이 같다. 정보 영벡터 (1,1)은 이 공통 척도 변화를 국소적으로 설명하며 정확한 배율 항등식은 전역적으로 설명한다. 물리 에너지 척도 하나를 보정하면 추론 문제가 바뀐다.
2. g=1에서 p가 1/2에 가까운 탐침이 왜 최고의 온도계가 아닌가?
해설. 균형 잡힌 Bernoulli 관측은 분산이 크지만 매우 높은 온도에서는 온도의 상대 변화에 확률이 거의 반응하지 않는다. 정보 x²p(1−p)에는 그 민감도 인자가 포함된다. x가 0으로 가면 정보가 0으로 가며 큰 x에서 탐침이 얼어붙어도 0으로 간다. 위 미분으로 중간 최대점을 구한다.
3. N=1000이면 유한 온도 추정이나 4.77% 정확도가 보장되는가?
해설. 아니다. 표본이 우도 경계에 놓일 수 있고 수치 하한은 내부 매개변수와 불편 추정량을 가정한다. 이 표본의 오차 막대나 비선형 MLE의 유한 표본 보장이 아니다. 관측 상관이나 검출 오차가 있으면 우도와 정보도 달라진다. 같은 하한을 주장하기 전에 그 기전을 지정해야 한다.
출처와 연구 적용 범위
정준 분산과 열용량의 관계는 MIT, Micro-canonical and Canonical Ensembles의 문제 1과 David Tong, Statistical Physics의 1.3.1–1.3.2절을 근거로 한다. 이항 우도·점수·행렬 영방향·작동점 계산은 여기서 선언한 관측 모형에 대해 직접 유도했다. 상호작용 탐침·잡음 검출기·신경망의 온도계 성능을 증명하지 않는다. 에너지 기반 모형에서도 점수 척도와 온도 유사 척도가 대수적으로 혼동될 수 있지만 물리 온도에는 물리적 보정이 필요하다.
근거와 다음 학습
배경은 MIT Statistical Physics의 앙상블 자료를 참고하세요. 유한 에너지 계산은 이 교재가 지정한 직접 예제입니다. 상호작용을 더하기 전에 유한 스펙트럼·저온·연결 상관 단원과 비교하세요. 정확한 유한 명제, 수치 표시의 한계와 연구 가설을 구별해야 합니다.
설명할 수 있나요?
실험 설정과 무관한 기준 예제를 묻습니다. 답을 고르고 설명을 확인해보세요.
선택한 답과 학습 표시는 이 브라우저에 저장됩니다. 다시 풀거나 표시를 해제할 수 있습니다.