이 단원 목차
두 스위치로 독립성의 뜻을 확인하기
두 스위치가 각각 아래나 위를 가리킨다고 상상해보자. 두 값을 함께 기록하면 가능한 배치는 네 가지다. 각 스위치가 위를 가리키는 빈도만 알면 두 스위치가 함께 위를 가리키는 빈도도 정해질까? 두 변수가 독립일 때만 주변 빈도의 곱으로 답할 수 있다. 서로 같은 방향을 선호하거나, 반대 방향만 허용하는 규칙이 있으면 답이 달라진다.
이 단원에서는 이름 붙은 두 이진 자리를 하나의 완전한 작은 통계계로 다룬다. 네 상태만으로 상호작용, 상태공간 제약, 상관, 정보량과 응답을 구별할 수 있다. 모든 상태를 열거하므로 표본추출 오차에 가려지지 않고 원인을 직접 확인한다. 고전적 Ising 쌍의 예이며 양자 스핀을 유도하거나 큰 격자의 상전이를 설명했다고 주장하지 않는다. 물리적 배경은 Tong의 Ising 모형 설명을 참고하자. 아래 손계산과 반례는 명시한 네 상태 준비에서 직접 유도한다.
Hamiltonian을 적고 상태를 세기
각 스핀은 −1 또는 +1이다. 두 스핀의 곱 A를 정렬 변수, 합 M을 전체 자화 변수로 정의한다. 결합 J와 외부장 매개변수 h의 단위는 줄이다. 스핀과 그 합·곱은 무차원이다. 먼저 유한한 양의 온도에서 두 상태집합의 전체 곱 공간을 허용한다.
| 배치 | 정렬 A | 자화 M | 에너지 E |
|---|---|---|---|
| (−1,−1) | +1 | −2 | −J+2h |
| (−1,+1) | −1 | 0 | +J |
| (+1,−1) | −1 | 0 | +J |
| (+1,+1) | +1 | +2 | −J−2h |
가운데 두 행은 에너지가 같지만 서로 다른 이름 붙은 배치다. 분배함수에 두 번 각각 더해야 한다. 양의 온도에서 J>0이면 같은 방향의 결합 에너지가 낮아져 정렬을 선호한다. h>0이면 위쪽 스핀이 에너지상 유리하다. J<0이면 반정렬이 유리하다. 이는 지정한 준비에서 상대 가중치가 어떻게 정해지는지를 말한다. 어느 스핀이 얼마나 빨리 뒤집히는지를 알려주는 운동 방정식은 아니다.
같은 기호를 쓴다고 실제 자기장의 단위가 언제나 줄인 것은 아니다. 이 모형에서는 물리적 자기모멘트와 외부장 사이의 곱을 h라는 에너지 매개변수에 포함했다. 따라서 뒤에서 h로 미분한 응답의 단위도 이 정의에 맞춰 해석한다.
먼저 가중치를 더하고 확률로 해석하기
네 Boltzmann 가중치를 더하면 분배함수의 닫힌 식을 얻는다. 쌍곡코사인은 두 지수함수를 묶어 쓴 표기이며 근사가 아니다.
유한한 비영 온도에서 허용된 모든 배치의 확률은 양수다. 표시상 아주 작게 보이는 확률과 금지 배치는 수학적으로 다르다. 외부장은 두 정렬 상태의 가중치를 서로 다르게 바꾸지만, 두 반정렬 상태에는 같은 가중치가 남는다. 두 자리의 이름을 교환해도 이 준비는 바뀌지 않으므로 두 주변 평균은 같다.
h=0이면 모든 스핀을 동시에 뒤집은 두 배치의 가중치가 같다. 각 스핀 평균은 0이지만 정렬과 반정렬의 전체 확률은 다를 수 있다. 평균 화살표가 사라졌다는 사실은 두 화살표가 함께 움직이는 경향까지 사라졌다는 뜻이 아니다. 개별 평균과 결합분포를 별도로 읽어야 하는 첫 번째 이유다.
에너지와 상태공간의 두 조건에서 곱 분해 유도하기
네 상태를 모두 허용한 채 J=0으로 두자. 에너지는 두 자리의 에너지 합이 된다. 첫 자리의 각 값에 둘째 자리의 모든 값이 함께 나타날 수 있으므로 이중 합을 두 합의 곱으로 분리한다.
필요한 재료는 가법적인 에너지와 곱 상태공간, 그리고 명시한 계수 측도다. 지수함수가 곱으로 나뉜다는 사실만으로 제약집합 위의 합까지 분리되지는 않는다. 정사각형의 대각선에서 함수가 두 인자의 곱으로 쓰여도 대각선의 점 집합이 정사각형 전체가 되지 않는 것과 같다.
또한 한 매개변수에서 분배함수라는 스칼라가 우연히 같아지는 것은 독립성보다 약한 조건이다. 독립은 정규화된 결합확률표의 성질이다. 진단할 때는 두 합의 수치만 대조하지 말고 실제 확률표와 그 표에서 구한 두 주변분포의 곱을 비교해야 한다. 준비 조건과 비교 대상을 먼저 적는 습관이 잘못된 해석을 줄인다.
편향 없는 상관 스핀의 손계산
h=0, βJ=ln2로 정하자. 각 정렬 상태의 가중치는 2, 각 반정렬 상태의 가중치는 1/2다. 개별 행을 정규화하면 다음과 같다.
각 스핀은 절반의 빈도로 위를 가리킨다. 독립이라면 네 결합 상태가 각각 1/4이어야 한다. 실제로는 첫 스핀을 관찰했을 때 둘째가 같은 방향일 조건부확률이 4/5다. 두 스핀의 개별 평균이 0이므로 공분산은 곱의 평균인 3/5와 같다. 주변확률만 그린 막대 두 개로는 이 차이가 드러나지 않는다. 네 결합확률을 함께 비교해야 한다.
손계산의 βJ=ln2는 정확한 관계로 지정한 이상적 준비다. 컴퓨터에서 kB·ln2를 계산하여 저장한 J는 가까운 이진 수치 준비다. 독립 참조 계산은 실제 저장한 수치를 해석한다. 이상적인 분수는 유도 과정을 보여주며 실제 입력의 고정밀 참조를 대신하지 않는다. 반올림 차이와 물리적 차이를 혼동하지 않기 위한 구분이다.
결합 없이도 제약이 의존성을 만들 수 있다
이번에는 M=0인 배치만 허용하자. J=0이어도 살아남은 두 배치는 항상 반대다. 일반적인 J에서도 두 상태의 에너지는 모두 J이므로 외부장은 유한 온도 분포에 영향을 주지 못한다.
| J=h=0에서의 준비 | 허용 배치 | 분배함수 | 스핀 공분산 |
|---|---|---|---|
| 전체 곱 공간 | 네 배치 모두 | 4 | 0 |
| 합을 0으로 고정 | 반대 방향 두 배치 | 2 | −1 |
| 제약분포 주변확률의 곱 | 네 배치 모두 | 정규화된 비교 분포 | 0 |
제약분포의 두 주변분포는 모두 균등하다. 그러나 그 곱은 실제로 금지한 두 정렬 배치에도 확률을 부여한다. Hamiltonian과 함께 상태공간 제약을 기록해야 하는 이유다. 상태공간을 바꾸는 일은 에너지의 작은 수치 오차가 아니라 준비 자체의 변경이다.
실제 관측 자료를 다룰 때도 비슷한 구분이 필요하다. 선택 규칙이나 보존 조건을 거친 자료에서 관찰한 의존성을 곧바로 직접 상호작용의 증거로 해석할 수 없다. 여기서는 원인을 하나씩 바꾸어 비교할 수 있으므로, J를 바꾸는 실험과 허용 배치를 줄이는 실험을 구별한다. 이것만으로 일반적인 인과 추론이 해결된다는 뜻은 아니다.
로그 정규화 상수가 feature 평균을 생성한다
무차원 source를 θ1=βJ, θ2=βh로 정의한다. 상태공간을 고정하고 유한 합을 source로 미분한다. 몫의 미분을 적용하면 기울기와 Hessian을 얻는다.
정규화된 평균을 미분하면 분자에서 feature가 하나 내려오는 항과, 정규화 상수 변화 때문에 빼는 항이 생긴다. 이 두 항이 공분산이다. 지수족의 미분 관계는 Fithian의 강의 자료에서도 확인할 수 있다. 여기서는 A와 M이라는 구체적 변수를 통해 각 성분의 의미를 직접 계산한다.
Hessian의 이차형식은 A와 M의 선형결합의 분산이므로 양의 준정부호다. 그렇다고 모든 원소가 음이 아니라는 뜻은 아니다. 교차 공분산은 음수일 수 있다. 제약공간에서는 A=−1과 M=0이 상수여서 이 source Hessian 전체가 0이다. 그런데 두 스핀은 완전히 의존한다. 어떤 feature를 선택했는지에 따라 곡률이 담는 정보가 달라진다. 관측량을 명시하지 않고 단순히 '변동이 없다'고 말하면 중요한 차이를 놓친다.
source 곡률을 물리적 응답으로 바꾸기
온도와 상태공간을 고정하고 J 또는 h를 바꾸자. 연쇄법칙에서 β가 한 번 더 곱해진다. 이상적 손계산의 source Hessian은 특히 간단하다.
첫 성분을 확인해보자. A²=1이고 A의 평균은 3/5이므로 분산은 1−9/25다. 둘째 성분은 정렬 상태에서 M²=4, 나머지에서 0이라는 사실로 구한다. 정렬 확률 합이 4/5이므로 평균 제곱은 16/5다. M의 평균이 0이라 이것이 분산이다. 교차 항은 전역 스핀 반전에 의해 상쇄된다.
관측량이 무차원이고 J,h가 에너지이므로 이 응답의 단위는 에너지의 역수다. 이는 서로 다른 평형 준비 사이에서 평균이 어떻게 달라지는지를 말한다. 특정 구동 주파수에서의 동적 감수율, 전이율 또는 혼합 시간은 포함하지 않는다. 정적 곡률에서 시간 척도를 읽어내려면 추가 동역학을 지정해야 한다.
곱 분해 차이와 상호정보량 비교하기
유용한 비교량 하나는 Δ=ln Z−2ln Z1이다. Z1은 같은 외부장과 온도에서 결합이 없는 한 자리의 분배함수다. 상호정보량은 다른 질문을 묻는다. 실제 결합분포가 그 분포 자체의 주변확률 곱에서 얼마나 다른지를 측정한다.
자연로그를 쓰므로 정보량 단위는 nat이다. 상호정보량은 음이 아니며 독립일 때, 그리고 그때만 0이다. 반면 Δ는 양수도 음수도 가능하고, 상호작용계의 에너지 기준을 바꾸면 값이 달라진다. 에너지 전체에 같은 상수를 더해도 p와 상호정보량은 바뀌지 않는다. 따라서 Δ를 정보 발산이나 일반적인 의존성 점수로 해석하면 안 된다.
편향 없는 손계산에서 실제 주변분포의 곱은 균등분포다. 대입하면 서로 다른 두 값이 나온다.
J=h=0인 고정 합 제약에서는 Δ=−ln2, I=ln2다. Δ가 음수인 것과 강한 의존성이 함께 나타날 수 있다. 이 제약분포에서는 한 스핀을 알면 다른 스핀을 정확히 알 수 있다. 공유 정보가 이진 한 단위, 즉 ln2 nat인 이유다. 두 수치를 나란히 표시할 때 비교 대상과 부호 성질을 함께 설명해야 한다.
결합확률표로 상관의 부호 결정하기
모든 원소가 양수인 2×2 확률표에서 공분산을 전개하면 두 대각선 곱의 차이의 네 배가 된다. 우리 에너지를 대입하면 오즈비도 간단해진다.
같은 외부장 항은 이 비에서 소거된다. 전체 곱 공간에서 공분산의 부호는 βJ의 부호다. 양의 온도에서는 J를 따르고 음의 온도에서는 뒤집힌다. 강한 외부장에서 공분산이 아주 작아질 수 있지만 정확한 0이 되는 것은 아니다. 작은 유부호 값을 임의의 기준 이하라는 이유로 0으로 바꾸면 약한 의존성과 독립 사이의 실제 차이를 지운다.
유한 에너지 목록이 위아래로 유계이므로 여기서는 음의 온도도 수학적으로 정규화된다. 공분산 Hessian은 여전히 양의 준정부호지만 음수 β를 곱한 물리적 대각 응답의 부호는 반대다. 이 유한 수학 예가 어떤 물질에서 음의 절대온도 상태를 준비하는 방법까지 보장하지는 않는다. 정규화 가능성과 실험 준비 가능성은 별개의 조건이다.
온도 0은 별도의 극한 준비로 다루기
모델의 T=0은 J,h와 상태공간을 고정한 양의 온도 쪽 극한이다. 최소 에너지의 이름 붙은 배치에 같은 확률을 준다. 이는 지정한 평형 극한의 관례다. 실제 냉각 경로가 퇴화한 바닥상태 사이를 충분히 섞는다는 보장은 아니다.
J>0,h=0이면 두 정렬 바닥상태가 남고 I=ln2다. J<0,h=0이면 두 반정렬 바닥상태가 남아 역시 I=ln2다. 유일한 바닥 배치만 남으면 I=0이다. 두 변수가 모두 결정적이면 공유할 불확실성도 없다. 어느 경우에도 무한 β를 보통의 부동소수점 입력처럼 평가할 필요는 없다.
J=−a,h=a, a>0에서는 세 상태의 바닥 에너지가 같다. source 공분산의 극한은 다음과 같다.
이 교차점 양쪽으로 외부장을 바꾸면 선택되는 바닥상태 집합이 달라지므로 온도 0의 자화는 미분 가능하지 않다. 유한한 source 공분산 극한이 유한한 물리적 미분은 아니다. 더 미묘한 반례도 있다. J=h=0의 균등 바닥분포에서 Cov(A,M)=0이지만, 어떤 비영 외부장도 정렬 상태를 골라 평균 A를 0에서 1로 바꾼다. 0인 공분산과 무한 β를 형식적으로 곱해서 이 미분을 정의할 수 없다.
실제 판단은 작은 양·음 매개변수 변화가 각각 어떤 바닥 집합을 고르는지로 한다. 두 쪽에서 관측량 평균이 기존 값과 같으면 이 유한계에서 국소적으로 일정한 0 응답이다. 그렇지 않으면 미분 부재를 명시한다. 퇴화도 하나만으로 모든 응답의 상태를 정할 수도 없다. 반강자성의 h=0에서는 두 바닥상태가 있어도 작은 공통 외부장에 M=0이 유지될 수 있다.
정확한 0, 작은 양수, 미해결을 구별하기
수치 모델은 J와 h의 정확한 이진 결합으로 에너지를 조립한다. 부동소수점 2h를 먼저 계산하면 넘칠 입력에서도 원래 지정한 기여를 보존할 수 있다. 허용 상태만 열거하여 정규화하고 금지 행은 별도로 표시한다. 금지 배치와 유한 온도의 드문 배치가 같은 수학적 상태로 취급되어서는 안 된다.
방향성 지수·로그 구간을 평균, 공분산, 주변 엔트로피로 전파한다. 공분산은 상태 쌍 항등식으로 계산하고, 정확히 같은 에너지 비용의 유부호 계수를 먼저 묶는다. 임의의 허용오차 없이 대칭에 의한 0을 증명할 수 있다.
| 결과 상태 | 뜻 | 해석 |
|---|---|---|
| 구조적 0 | 정확한 항등식이나 상태공간 논증이 0을 증명 | 독립성에는 추가 조건 필요 |
| 표시 범위 밖의 비영 | 보통 값은 표시 못 해도 부호나 로그 크기는 남음 | 수학적 0으로 표시하지 않음 |
| 구간 해결 | 방향성 구간이 부호와 목표 상대 너비를 확인 | binary64 표시는 별도 단계 |
| 정밀도 상한 미해결 | 요청한 상대 정확도를 확립하지 못함 | 불확실성을 유지 |
의존성이 약하면 엔트로피 차이에서 심한 상쇄가 생긴다. 모델은 표시한 엔트로피를 빼거나 음의 잔차를 0으로 자르는 대신 명시한 상한까지 정밀도를 올린다. KL의 비음수성으로 구간을 제한할 수 있지만, 0에 닿는 구간만으로 양의 값을 요청한 상대 정확도로 결정했다고 말할 수는 없다. 극저온의 leading 모멘트 근사도 별도 근사 표기를 유지한다.
작업에서 저장한 kB는 binary64 수치 척도다. 입력과 구간 연산의 정확성은 실제 물리 상수의 측정 불확실성을 인증하는 주장이 아니다. 또한 유한 정밀도 상한은 구현의 자원 제한이다. 어려운 입력에서 미해결을 반환하는 것이 그 관측량이 수학적으로 정의되지 않는다는 뜻은 아니다.
에너지 모델 학습으로 연결하기
관측이 스핀 배치이고 학습 점수가 θ1A+θ2M이라고 하자. 관측 하나의 로그우도는 점수에서 로그 정규화 상수를 뺀 값이다. source 기울기는 관측 feature와 모델 평균의 차이, 음의 Hessian은 feature 공분산이다.
여러 관측에서는 관측 feature를 평균한다. 학습은 경험적 정렬과 자화를 모델 예측과 비교한다. 같은 고정 합 제약을 가진 자료와 모델에서는 두 feature가 상수여서 source 곡률이 0이다. 정규화된 분포로는 해당 매개변수를 식별할 수 없다. J를 바꿔도 공통 에너지만 바뀌고, h는 언제나 0인 feature를 곱한다.
더 큰 최적화기를 적용하기 전에 확인할 연구 진단이다. 어떤 배치가 가능한가, 그 공간에서 어떤 feature가 변하는가, 어떤 매개변수 조합이 실제 분포를 바꾸는가를 묻자. 자료가 제약되어 있는데 전체 곱 공간 모델을 쓰는 경우와, 처음부터 제약공간 위에 모델을 정의한 경우도 구별해야 한다. 전자는 금지 상태에 확률을 두는 모형 오차를 만들 수 있다.
정적 정규화 상수는 표본추출 알고리즘을 제공하지 않는다. 큰 모델에서는 기대값 계산과 대표성 있는 표본 획득이 추가 과제가 된다. 네 상태 예는 그 과제를 없앤 일반 해법이 아니라, 알고리즘이 근사하려는 대수적 목표를 투명하게 드러내는 작은 기준 문제다.
해설과 함께 연습하기
1. 정규화 전에 세기
J=h=0에서 전체 공간과 고정 합 공간의 Z, 각 스핀이 위일 주변확률을 비교하자.
풀이. 전체 공간에는 단위 가중치가 네 개라 Z=4이고 위일 확률은 각각 1/2이다. 제약공간에는 두 개라 Z=2지만 주변확률은 여전히 1/2이다. 주변확률이 같아도 결합표는 다르다. 상태 수와 정규화 대상을 먼저 기록해야 한다.
2. 평균 0과 비영 공분산 설명하기
βJ=ln2,h=0에서 정렬 확률과, 첫 스핀이 위일 때 둘째도 위일 조건부확률을 구하자.
풀이. 정렬 확률은 2/5+2/5=4/5다. 조건부확률은 (2/5)/(1/2)=4/5다. 각 평균은 0이지만 공분산은 3/5다. 평균은 개별 분포를, 의존성은 두 변수가 함께 배치된 방식을 묻는다. 같은 단일 스핀 막대그래프가 여러 결합표와 양립할 수 있다.
3. 두 비교량 구별하기
ln(5/4)가 손계산 예의 상호정보량인가?
풀이. 아니다. 결합 없는 두 스핀과 로그 분배함수를 비교한 Δ다. 상호정보량은 실제 확률을 실제 주변확률 곱으로 나눈 로그의 가중평균이며 약 0.19274476 nat다. 0.22314355와 다르다. 분배함수의 비와 확률분포의 KL은 정규화와 평균 단계가 서로 다르다.
4. 물리적 응답의 단위 확인하기
손계산 예에서 온도를 고정한 h에 대한 자화 응답을 구하자.
풀이. M의 분산은 16/5다. β를 곱하면 응답은 16β/5이고 단위는 줄의 역수다. 무차원 source 곡률 16/5만 쓰면 연쇄법칙 인자를 빠뜨린다. 음의 온도에서는 이 물리적 응답의 부호가 뒤집히지만 공분산의 대각은 여전히 음이 아니다.
5. 온도 0의 제안된 규칙 검토하기
'교차 공분산이 0이면 온도 0에서도 응답이 0'이라는 주장에 반례를 들자.
풀이. J=h=0의 네 바닥상태 균등분포에서 Cov(A,M)=0이다. 비영 h는 정렬 상태를 골라 평균 A를 0에서 1로 바꾸므로 h=0에서 미분이 존재하지 않는다. 양·음 변화가 선택하는 바닥집합을 각각 직접 검사해야 한다. 유한 온도의 미분 공식에 무한 β를 넣는 것으로 해결되지 않는다.
6. 매개변수 식별 가능성 진단하기
M=0으로 제한한 모델에서, 고정 온도의 배치 표본으로 J 또는 h를 알아낼 수 있는가?
풀이. 정규화된 배치분포만으로는 둘 다 식별되지 않는다. A=−1은 J의 기여를 공통 에너지로 만들고 M=0은 h의 기여를 없앤다. 확률은 계속 1/2씩이며 source Hessian은 0이다. 그러나 스핀 공분산은 −1, 상호정보량은 ln2다. 매개변수 식별 불가와 스핀 독립은 다른 주장이다.
네 상태 계산을 실험 화면과 연결하기
먼저 편향 없는 상관 쌍을 선택하세요. 2×2 그림은 결합확률표이며 첫 스핀이 행, 둘째 스핀이 열을 고릅니다. 주변 평균보다 먼저 네 확률을 모두 읽으세요. 같은 주변 빈도와 정렬 선호는 함께 나타날 수 있습니다. 평균0은 독립성 검사가 아닙니다.
| 실험 | 비교할 것 | 설명할 내용 |
|---|---|---|
| 결합 없는 전체 공간 → 결합 없이 합0 제약 | J=h=0을 유지하고 허용 상태공간 변경 | 두 주변분포는 균등해도 공분산은0에서−1,상호정보량은0에서 ln2로 변함 |
| 편향 없는 상관 쌍 → 반정렬 선호 | 양의 T와 h=0을 유지하고 J 부호 반전 | 스핀 공분산의 부호가 바뀌지만 의존성이 사라지는 것은 아님 |
| 공분산0·미분 부재 → 온도0의 세 상태 교차 | source Hessian과 물리적 응답 행을 따로 확인 | 바닥 교차의 유한 source 공분산으로 유한 물리적 미분을 정할 수 없음 |
입력 h에는 줄 단위 에너지가 되도록 자기모멘트 인자가 이미 포함되어 있습니다. 따라서 h 미분의 단위는 줄의 역수이며, 실험실 자기장을 테슬라 단위로 미분한 값과 자동으로 같지는 않습니다. 유한한 비영 T에서 응답을 검사하려면 T·상태공간·나머지 에너지 매개변수를 고정하고 J 또는 h만 조금 바꾸세요.
금지 칸과 드문 허용 칸은 다르게 표시합니다. 상태공간을 바꾸면 배치가 실제로 제외되지만, 유한 온도에서 에너지를 높이는 것은 그 확률을 억제합니다. 유부호 정규화 차이 Δ와 상호정보량 I는 각자의 행에서 비교하세요. 합0 예제의 Δ=−ln2와 I=ln2는 서로 다른 양입니다. 색의 농도는 시각 보조이며 수치 표나 전이 속도를 대신하지 않습니다.
설명할 수 있나요?
실험 설정과 무관한 기준 예제를 묻습니다. 답을 고르고 설명을 확인해보세요.
선택한 답과 학습 표시는 이 브라우저에 저장됩니다. 다시 풀거나 표시를 해제할 수 있습니다.