이 단원 목차
에너지는 확률의 음의 로그 형태
세 부호 sᵢ∈{−1,1}가 삼각형으로 연결된 작은 모형을 생각합니다. 결합 J와 공통 field h로 에너지를 정의하고 온도 T>0에서 exp(−E/T)를 가중치로 사용합니다. 물리 단위를 생략한 이 예제는 kB=1인 무차원 관례입니다.
모든 상태를 합한 Partition Function
세 이진 부호의 8개 상태를 열거해 Z=Σs exp(−E(s)/T)를 구합니다. J=h=0이면 모든 에너지가 0, Z=8, 각 확률은 1/8입니다. Z는 확률이 아니라 가중치 합이므로 1보다 커도 됩니다.
수치 계산은 로그 가중치의 최댓값 M을 빼서 상대 가중치를 만든 뒤 logZ=M+logΣexp(logw−M)로 배율을 복구합니다. 표의 relative weight를 그대로 더한 값은 원래 Z가 아닙니다.
낮은 온도와 대칭
J>0이면 이웃이 같은 방향인 상태를 선호합니다. h=0이면 모든 부호를 뒤집어도 에너지가 같아 평균 전체 부호는 정확히 0입니다. 낮은 온도에서는 +++와 --- 같은 최저 에너지 상태에 질량이 몰립니다. 평균 부호가 0이라고 모든 상태가 균등하다는 뜻은 아닙니다.
기대 에너지와 엔트로피
정규화한 확률로 E[E], E[Σs]를 구합니다. 로그 확률 −E/T−logZ를 평균하면 entropy=E[E]/T+logZ입니다. 단위는 nats입니다. 온도에 대한 미분이나 다른 모수에 대한 미분을 읽을 때 이 1/T 인자를 빼먹으면 안 됩니다.
큰 에너지 모형의 학습으로 연결
정확한 Z는 상태 수에 지수적으로 많은 합일 수 있습니다. 에너지 기반 학습은 관측 상태의 점수뿐 아니라 이 정규화의 변화도 고려해야 합니다. 작은 8상태 모형에서 가능한 직접 열거를 대규모 신경 에너지 모형에서도 무료로 할 수 있다고 일반화하지 마세요. 근사 표집·변분법 등은 별도의 정확성과 혼합 조건을 갖습니다.
확인 문제와 해설
- logZ를 복구할 때 뺀 최댓값은? 다시 더합니다.
- h=0의 평균 부호는? 반전 대칭으로 0입니다.
- 낮은 온도가 모든 모형에서 단일 상태만 남긴다는 뜻인가요? 아니요. 최저 에너지 상태가 여러 개일 수 있습니다.
설명할 수 있나요?
실험 설정과 무관한 기준 예제를 묻습니다. 답을 고르고 설명을 확인해보세요.
선택한 답과 학습 표시는 이 브라우저에 저장됩니다. 다시 풀거나 표시를 해제할 수 있습니다.