연결 공분산과 장의 Hessian

음의 상관이 뜻하는 것은 무엇일까

위나 아래를 가리키는 화살표 두 개를 생각하자. 같은 준비를 반복했을 때 첫 화살표가 평균보다 위로 움직이면 둘째가 평균보다 아래로 움직이는 경향이 있을 수 있다. 이때 연결 상관은 음수다. 그런데 두 화살표의 합, 차이, 또는 우리가 지정한 가중합의 불확실성이 음수가 될 수는 없다. 공분산 행렬은 이 두 사실을 동시에 표현한다. 비대각 원소는 음수일 수 있지만, 그 행렬로 계산한 모든 이차 분산은 음수가 아니다.

이 단원에서는 이름 붙은 고전적 배치 네 개를 모두 세어 이 차이를 확인한다. 확률을 구하고, 평균을 빼고, 독립적으로 조절하는 두 장에 대한 반응을 미분해 Hessian을 얻는다. 큰 공분산 히트맵이나 AI 모델의 Fisher 정보 행렬을 읽기 전에, 전체를 손으로 따라갈 수 있는 작은 사례를 완전히 이해하는 것이 목표다.

선수 지식은 유한 Boltzmann 정규화, 기댓값과 분산, 편미분이다. 앞의 분배함수와 유한 Curie–Weiss 단원에서 이 내용을 다뤘다. Tong의 통계물리 강의는 Ising 계와 상관의 배경을 제공한다. 아래의 네 상태 준비, 입력 범위와 예제는 이 교재에서 별도로 명시한다.

두 국소 장과 네 상태를 정의하자

서로 구별되는 스핀 두 개가 있다. 자화 값 두 개를 상태로 세는 것이 아니다. 각 스핀은 −1 또는 +1이며 확률법칙은 다음과 같다.

$$p(\sigma_1,\sigma_2)=\frac{\exp(K\sigma_1\sigma_2+h_1\sigma_1+h_2\sigma_2)}{Z},\qquad Z=\sum_{\sigma_1,\sigma_2=\pm1}\exp(K\sigma_1\sigma_2+h_1\sigma_1+h_2\sigma_2).$$

K, h1, h2는 무차원 자연 모수다. 양의 온도를 가진 물리적 구현에서는 K=J/(kBT), hi=Hi/(kBT)이며 J와 Hi의 단위는 에너지다. K가 양수이면 같은 방향의 스핀이, 음수이면 반대 방향의 스핀이 유리하다. 양의 국소 장은 자기 위치의 +1을 유리하게 만든다. 여기서 장 하나를 바꿀 때는 K와 다른 장을 고정한다. 물리적 J와 Hi를 고정한 채 온도를 바꾸면 세 모수가 함께 변하므로 다른 실험이다.

수치 모델은 [−8,8]에 속하는 유한 binary64 K,h1,h2를 받는다. 이 범위는 계산 계약이지 상전이 경계가 아니다. 관측량의 계수 a1,a2는 [−4,4]다. 허용된 모든 입력에서 네 배치는 모두 가능하며, 표시 확률이 작다는 이유로 어떤 배치가 금지되지는 않는다. 무한 결합이나 영온 끝점을 유한 입력에 몰래 포함하지 않는다.

합을 계산하기 전에 상태 표부터 읽자

계수 기준은 이름 붙은 배치를 각각 한 번씩 센다.

배치	스핀 1	스핀 2	지수
아래, 아래	−1	−1	K−h1−h2
아래, 위	−1	+1	−K−h1+h2
위, 아래	+1	−1	−K+h1−h2
위, 위	+1	+1	K+h1+h2

K=h1=h2=0이면 네 확률은 각각 1/4다. 총스핀은 −2,0,2의 세 값을 가지지만 그 확률은 1/4,1/2,1/4다. 세 총스핀 값에 각각 1/3을 주면 기준 측도가 바뀌어 다른 모델이 된다. 가운데 값에는 이름 붙은 배치가 두 개 있다는 사실을 잊지 말자.

손계산에서는 같은 방향 두 배치와 반대 방향 두 배치를 각각 묶으면 편하다.

$$Z=2e^K\cosh(h_1+h_2)+2e^{-K}\cosh(h_1-h_2).$$

이 식에는 경쟁하는 두 경로가 보인다. 같은 부호의 장은 같은 방향인 쌍을 강화하고, 반대 부호의 장은 반대 방향 쌍 중 한쪽을 유리하게 만든다. 수치 구현에서는 가장 큰 정확한 지수를 빼고 지수함수를 계산한 뒤, log Z를 보고할 때 그 지수를 되돌린다. 모든 지수에서 공통 상수를 빼면 확률은 보존되지만 정규화 상수까지 같은 값이 되는 것은 아니다.

연결 상관은 평균의 기준선을 제거한다

원시 곱의 기댓값이 곧 연결 공분산은 아니다. 위치별 평균과 공분산 행렬을 다음과 같이 정의한다.

$$\mu_i=\mathbb E[\sigma_i],\qquad C_{ij}=\mathbb E[(\sigma_i-\mu_i)(\sigma_j-\mu_j)]=\mathbb E[\sigma_i\sigma_j]-\mu_i\mu_j,\qquad C_{ii}=1-\mu_i^2.$$

독립인 두 스핀의 평균이 각각 1/2이라고 하자. 원시 곱의 기댓값은 1/4지만 한 스핀을 안다고 다른 스핀에 관한 정보를 얻는 것은 아니다. 평균의 곱을 빼야 편향이 만든 기준선이 제거된다. 반대로 평균들이 0이 아닐 때는 원시 곱의 평균이 0이라는 사실만으로 독립을 결론 내릴 수도 없다.

이 두 이진 변수에 한해서는 공분산 0과 독립이 동치다. 이는 2×2 확률표의 성질을 사용한 결론이며, 연속 변수나 더 큰 변수 집합에 그대로 일반화할 수 없다. 예를 들어 공정한 비트 세 개에 짝수 패리티 제약을 주면 모든 쌍은 독립이지만 세 변수 전체는 의존한다. 데이터의 공분산 히트맵만으로 모든 고차 의존성이 사라졌다고 말해서는 안 된다.

기울기와 Hessian을 직접 유도하자

Z를 정의하는 유한 합을 미분하자. 첫 미분을 Z로 나누면 정규화된 평균을 얻는다. 그 몫을 다시 미분하면 곱의 평균에서 평균의 곱을 뺀 값이 나온다.

$$\frac{\partial\log Z}{\partial h_i}=\mu_i,\qquad \frac{\partial\mu_i}{\partial h_j}=C_{ij},\qquad \nabla_h^2\log Z=C.$$

이 유도에서는 열역학 극한과 미분의 교환이 필요 없다. 매끄러운 지수함수 네 개만 계산하므로 혼합 편미분의 순서도 일치한다. 여기서 Hessian은 K를 고정한 두 국소 장 좌표에 관한 것이다. 한 배치의 에너지 Hessian도 아니고, 관측된 화살표 자체를 미분한 값도 아니다.

대각은 자기 장을 바꿀 때 자기 평균이 얼마나 반응하는지 말한다. 비대각은 다른 위치의 장을 바꿀 때 자기 평균이 얼마나 반응하는지 말한다. K가 음수이면 둘째 장을 올릴 때 첫째 평균이 내려갈 수 있다. 이런 음의 교차 반응은 log Z의 볼록성과 모순되지 않는다. 볼록성은 모든 방향의 곡률을 제한하며 모든 Hessian 원소가 양수여야 한다는 뜻은 아니다.

관측량의 분산은 왜 항상 음수가 아닐까

선형 관측량을 정했다면 그 요동을 먼저 합친 뒤 제곱하자.

$$A=a_1\sigma_1+a_2\sigma_2,\qquad \operatorname{Var}(A)=a^{\mathsf T}Ca=\sum_{x<y}p_xp_y(A_x-A_y)^2\ge0.$$

마지막 합은 네 배치에서 뽑는 여섯 개의 순서 없는 쌍에 관한 것이다. 제곱을 전개하면 이 항등식을 확인할 수 있다. 그림으로 생각하면, 서로 다른 A 값을 내는 두 가능한 결과 사이에서 변동이 생긴다. 확률이 큰 두 결과라도 A 값이 같다면 그 쌍은 이 관측량의 분산에 기여하지 않는다. 예를 들어 합을 보면 같은 총스핀인 배치들 사이의 차이는 보이지 않지만, 차이를 보면 보일 수 있다.

모든 배치의 확률이 양수이므로 계수 벡터 a가 0이 아니면 분산은 엄밀히 양수다. 0이 아닌 선형 관측량은 네 스핀 배치 전체에서 상수일 수 없기 때문이다. 따라서 허용된 유한 모수에서 C는 양의 정부호다. 행렬식도 양의 표현을 갖는다.

$$\det C=16\sum_{x<y<z}p_xp_yp_z>0.$$

한 방향으로 거의 포화된 준비에서는 행렬식이 작아지고 역행렬 계산의 조건이 나빠질 수 있다. 이는 수치적 조건 문제이며 유한 입력에서 실제 계수가 떨어졌다는 뜻은 아니다. 계수 둘이 모두 0인 관측량은 별개다. 그때 A는 정확히 상수이므로 분산이 정확히 0이지만, 스핀 자체의 공분산 행렬 C는 여전히 양의 정부호다.

하나의 source 방향을 정확히 따라가자

스칼라 source t를 도입해 h를 h+t a로 바꾸자. 각 배치의 지수에는 tA가 더해진다. 따라서 다음을 얻는다.

$$\frac{d\log Z(h+ta)}{dt}\bigg|_{t=0}=\mathbb E[A],\qquad \frac{d\mathbb E_t[A]}{dt}\bigg|_{t=0}=\operatorname{Var}(A).$$

가중치 a는 측정하는 관측량과 준비를 바꾸는 방향을 함께 지정한다. a를 두 배로 바꾸면 A와 그 평균은 두 배지만 분산과 대응하는 source 반응은 네 배다. 관측량은 고정하고 source의 척도만 바꾸면 다른 미분을 얻게 된다. 반응을 설명할 때는 무엇을 측정하고 무엇을 조절했는지 양쪽을 모두 적어야 한다.

공통 장은 두 hi를 같은 양만큼 올린다. 이때 스핀 평균의 반응은 다음과 같다.

$$\frac{d\,\mathbb E[(\sigma_1+\sigma_2)/2]}{dt}\bigg|_{h\mapsto h+t(1,1)}=\frac{C_{11}+2C_{12}+C_{22}}{2}=\frac{\operatorname{Var}(\sigma_1+\sigma_2)}{2}.$$

국소 분산 하나만 쓰면 교차항 두 개를 빠뜨린다. 영장에서 이 반응은 1+C12이며, C11도 아니고 스핀 평균 자체의 분산도 아니다. 2라는 계수는 어느 관측량을 미분하고 어느 장 좌표를 움직였는지에서 나온다. 평균을 내는 조작과 장을 같이 움직이는 조작을 따로 따라가면 계수 혼동을 줄일 수 있다.

같은 방향과 반대 방향의 준비를 손으로 풀자

두 장을 0으로 두고 이상적인 기호값 K=log(3)/2를 사용하자. 같은 방향인 배치의 가중치는 √3, 반대 방향의 가중치는 1/√3다. 정규화하면 같은 방향의 각 확률은 3/8, 반대 방향의 각 확률은 1/8이다. 두 스핀을 동시에 뒤집는 대칭 때문에 두 평균은 모두 0이다.

K의 부호를 뒤집으면 이 확률들이 교환된다. 두 공분산 행렬은 다음과 같다.

$$C_{+}=\begin{pmatrix}1&1/2\\1/2&1\end{pmatrix},\qquad C_{-}=\begin{pmatrix}1&-1/2\\-1/2&1\end{pmatrix},\qquad \det C_{\pm}=3/4.$$

K가 양수이면 총스핀의 분산은 3이고 차이의 분산은 1이다. K가 음수이면 두 분산이 교환된다. 첫 경우에는 같은 방향을 따라 늘어난 확률 구름을, 둘째에서는 반대 방향을 따라 늘어난 확률 구름을 상상하면 좋다. 음의 비대각 원소는 길게 퍼진 방향을 바꾸지, 폭이 음수인 확률 구름을 만들지 않는다.

대응하는 스핀당 공통 장 반응은 양의 K에서 3/2, 음의 K에서 1/2다. 여기의 이상적인 로그는 손계산을 위한 기호적 지정이다. binary64 값 Math.log(3)/2를 입력하면 그와 가까운 실제 실수 K를 얻는다. 독립 참조 생성기는 이 실제 입력을 평가하며 그 지수값이 정확히 √3라고 선언하지 않는다.

편향·조건부 평균·물리적 단위를 구별하자

K=0이면 확률법칙은 독립적으로 편향된 두 스핀으로 인수분해된다.

$$\mu_i=\tanh h_i,\qquad C=\operatorname{diag}(\operatorname{sech}^2h_1,\operatorname{sech}^2h_2).$$

편향은 한 방향에 확률을 모으므로 스핀의 변동을 줄인다. 이상적 h1=log(3)/2, h2=−log(3)/2에서는 평균이 1/2와 −1/2이고 원시 곱 평균은 −1/4지만 연결 교차 공분산은 0이다. 대각 분산은 각각 3/4다. 따라서 원시 곱이 음수라는 사실과 연결 상관이 음수라는 사실을 구별해야 한다.

다른 스핀의 값을 조건으로 고정하면 또 다른 관점을 얻는다.

$$\mathbb E[\sigma_1\mid\sigma_2=s]=\tanh(h_1+Ks),\qquad \frac{\partial\mu_i}{\partial H_j}\bigg|_{T,J}=\frac{C_{ij}}{k_BT}.$$

조건부 평균에는 서로 다른 유효 국소 장이 들어간다. 두 조건부 평균의 차이는 지정된 평형 확률법칙 안의 연관성이며, 관측 AI 데이터에서 자동으로 개입 효과나 인과 효과가 되지는 않는다. 오른쪽 물리적 미분은 Hi가 에너지 편향이며 양의 T와 J를 고정한다는 가정 아래 성립한다. 자기 모멘트, 차원을 가진 자화, 테슬라 단위의 자기장을 쓰려면 추가 변환 계수가 필요하다. 무차원 공분산을 그대로 SI 단위 감수율이라고 적지 말자.

AI의 정보기하와 연결하자

이 지수족에서 장에 대한 score는 중심화된 특징 벡터다. 그 공분산이 장 좌표에 해당하는 Fisher 정보 블록이 된다.

$$\nabla_h\log p(\sigma)=\sigma-\mu,\qquad \mathcal I_h=\mathbb E[(\sigma-\mu)(\sigma-\mu)^{\mathsf T}]=C,\qquad \mathcal I_\theta=B^{\mathsf T}CB\quad(h=B\theta).$$

마지막 식은 B가 고정된 선형 좌표 변환이고 K는 고정이라는 가정에 따른다. B의 열들이 종속이면 원래 두 장의 C가 양의 정부호여도 매개화된 Fisher 행렬은 특이할 수 있다. h를 비선형 좌표 함수로 바꾸면 연쇄법칙을 정확히 써야 한다. 이때 log Z의 보통 Hessian에는 좌표 함수의 이계미분 항이 추가되므로 검토 없이 Fisher 행렬이라고 부르면 안 된다.

이 예제는 특징 척도가 곡률을 바꾸는 이유, 자연 기울기에서 비대각 원소가 필요한 이유, 거의 결정론적인 특징이 metric의 조건을 나쁘게 만드는 이유를 보여준다. 자연 기울기가 모든 최적화 문제를 개선한다는 정리는 아니다. 또한 평형 특징 공분산만으로 상관된 훈련 예제 시퀀스의 평균 오차를 결정할 수는 없다. 그 문제에는 서로 다른 관측 인덱스 사이의 공분산이 추가로 필요하다.

수치 근거와 표시 한계를 정직하게 읽자

모델은 전달된 각 유한 binary64 수를 정확한 실수 입력으로 취급한다. 지수는 정확한 유리 연산으로 만들고, 공통 최대 지수를 뺀 지수함수와 로그는 방향성 구간으로 평가한다. 평균에서는 같은 정확한 지수의 항들을 먼저 묶어 상쇄한다. 관측량의 분산은 양의 쌍 합, 행렬식은 양의 삼중 합을 사용한다. 둘 다 화면에 반올림된 숫자 두 개를 빼서 만들지 않는다.

교차 공분산도 따로 반올림한 원시 모멘트를 빼지 않고 다음처럼 표현할 수 있다.

$$C_{12}=4(p_{--}p_{++}-p_{-+}p_{+-})=\frac{4(e^{2K}-e^{-2K})}{Z^2}.$$

따라서 그 정확한 부호는 장과 관계없이 K의 부호이며 K=0에서 구조적으로 0이다. 0이 아닌 비정규화 크기의 K에서는 두 항이 극도로 가까울 수 있다. 구현은 각 보고 구간의 부호와 상대 폭 조건을 만족할 때까지 정밀도를 128비트에서 8192비트까지 높인다. 상대 폭의 기준은 2의 −48승 이하이다. 지정한 상한 때문에 해소하지 못하면 값은 사용 불가이며 0으로 대체하지 않는다. 해석적으로 아는 부호는 크기를 보고할 수 없는 경우에도 남길 수 있다.

관측량 계수가 binary64의 최소 양수만큼 작으면 분산은 양수지만 일반 선형 숫자 표시 범위보다 작아질 수 있다. 이때도 부호와 경계를 보존하고 로그 크기로 설명한다. 일반적인 크기 로그 투영은 근사이며, 방향성 경계나 별도로 계산한 로그 확률과 구별한다. 네 상태 막대그래프는 확률법칙의 그림이지 독립성이나 행렬 계수의 독립 인증서가 아니다.

등록된 읽기 화면은 이 모형을 고정 개념 단계, 안내 비교, 편집 가능한 source 조절부에 연결한다. 독립 수치 검사만으로 worker 동작·저장 복원·실제 읽기 사용성의 정확성까지 입증할 수는 없으며 별도 통합 근거가 필요하다.

공분산과 source를 실제 실험과 연결하기

확률 막대는 이름 붙은 배치 네 개를 각각 셉니다. 화살표는 관측 계수 벡터 a=(a1,a2)이며 source 방향 h→h+ta도 지정합니다. 공분산 타원이나 표집한 스핀 구름이 아닙니다. 화살표 옆에서 공분산 행렬과 Var(A)를 함께 읽으세요.

비교할 준비	바꾸기 전에 예측	결과에서 읽을 것
합 관측에서 양의 결합 → 음의 결합	C12가 음수여도 Var(A)는 양수일 수 있을까요?	비대각의 부호가 바뀌고 합의 분산은 줄지만 음수가 되지 않습니다.
음의 결합에서 합 → 차 관측	관측량을 바꾸면 스핀 확률도 바뀔까요?	법칙과 공분산은 같고 source 화살표와 관측 분산이 바뀝니다.
서로 다른 장 → 관측과 source 두 배	두 배 긴 화살표의 반응도 두 배일까요?	스핀 확률은 같으며 E[A]는 두 배, Var(A)는 네 배입니다.

K,h1,h2,a1,a2를 입력하고 Enter 또는 다른 칸으로 이동해 적용하세요. 영 관측량은 정확히 상수이지만 스핀 공분산까지 영행렬로 만들지는 않습니다. 최소 비영 결합과 같은 준비의128비트 상한을 비교해 알려진 비영 부호와 미해결 크기를 구분하세요. 색 농도나 작은 벡터가 눈으로 구별되지 않아도 행렬의 값·부호·표현 상태를 함께 읽어야 합니다.

해설 문제로 이해를 확인하자

1. 원시 곱과 연결 공분산을 구별하자

독립인 두 스핀의 평균이 1/2와 −1/2다. 곱의 기댓값과 C12를 구하자.

해설. 독립성이 있으므로 곱의 기댓값은 −1/4다. 평균의 곱을 빼면 C12=0이다. 음의 원시 곱은 서로 반대인 편향을 반영하지 의존성을 뜻하지 않는다. 스핀 제곱은 항상 1이므로 각각의 분산은 3/4다.

2. 음의 비대각 원소를 검사하자

이상적인 반대 방향 준비에서 합과 차이의 분산을 구하고 C가 양의 정부호인지 확인하자.

해설. C11=C22=1, C12=−1/2이므로 합의 분산은 1+1−1=1이고 차이의 분산은 1+1+1=3이다. 행렬식이 3/4이고 첫 대각 원소가 양수이므로 대칭 2×2 행렬은 양의 정부호다. 음의 교차 원소를 음의 고윳값으로 읽으면 안 된다.

3. 어느 반응 실험인지 지정하자

같은 반대 방향 준비에서 두 국소 장을 함께 올린다. 스핀 평균의 반응은 얼마인가? 국소 장만 바꾸는 반응과는 어떻게 다른가?

해설. 스핀당 공통 장 반응은 총스핀 분산을 2로 나눈 1/2다. 첫 평균을 자기 장으로 미분하면 C11=1, 다른 장으로 미분하면 C12=−1/2이다. 세 결과는 모순되지 않는다. 측정한 관측량과 움직인 좌표가 명시적으로 다른 세 미분이다.

4. source의 척도를 바꾸자

관측량 A를 2A로 바꾸고 지수에 t(2A)를 더하는 source를 정의한다. 평균과 대응 반응은 어떻게 달라지는가?

해설. 평균은 두 배, 대응하는 source 반응은 원래 Var(A)의 네 배다. 측정 관측량과 source 방향이 둘 다 두 배가 되었기 때문이다. source만 두 배로 바꾸고 원래 A를 계속 측정했다면 그 미분은 두 배가 된다. 이 차이를 무시하면 특징 스케일링과 곡률을 잘못 비교한다.

5. 두 종류의 정확한 0과 미해결 크기를 구별하자

K=0인 경우, a=(0,0)인 경우, 그리고 K는 0이 아니지만 128비트 정밀도 상한에서 교차 공분산을 해소하지 못한 경우를 비교하자.

해설. K=0이면 어떤 장에서도 독립성과 C12=0이 성립하지만 대각 분산은 사라지지 않는다. 영 관측량은 어떤 K에서도 자신의 평균과 분산이 정확히 0이다. 상한에 걸린 교차 공분산은 셋째 상황이다. 크기는 사용 불가지만 K로부터 0이 아닌 부호를 안다. 작은 그림이나 정밀도 상한은 구조적 0의 증명이 아니다.

6. 다시 매개화한 Fisher 행렬을 감사하자

하나의 스칼라 θ가 h=(θ,θ)로 두 장을 조절한다. θ의 Fisher 정보는 무엇이며, 따로 식별 가능한 장 모수가 두 개 생기는가?

해설. B는 열벡터 (1,1)이므로 스칼라 정보는 C11+2C12+C22, 즉 총스핀 분산이다. 이 준비의 모수는 하나다. θ의 이름을 둘로 복제한다고 독립 방향이 두 개 더 생기지는 않는다. 이는 좌표 식별성 문제이며 원래 두 장 공분산의 양의 정부호성과 구별해야 한다.

한 쌍에서 공간과 반복 관측으로 나아가자

네 상태 모델은 명시한 유한 입력에서 완결되어 있다. 위치 쌍보다 큰 공간 거리도, 시간적 동역학도, 무한계의 특이성도 정의하지 않았다. 상관 길이를 배우려면 격자, 거리, 경계와 극한부터 정해야 한다. 다음 단원은 주기 영장 Ising 고리에서 두 경로의 기여를 구하고 이름 붙은 배치의 직접 열거와 비교한다. 그 거리 인덱스는 worker 애니메이션 프레임이나 Monte Carlo 시간 인덱스가 아니다.

연구 연습으로 K에 대한 반응을 상호작용 특징과의 공분산으로 유도하고, 그 특징까지 자연 모수 벡터에 넣어 어떤 조합이 식별 가능한지 확인하자. 별도로 같은 시각의 공간 공분산과 샘플러 관측량의 자기공분산을 비교하자. 상관된 표본 평균의 불확실성에는 후자가 정상성과 적절한 극한 조건 아래 들어간다. 이 확장들은 추가 모델과 근거가 필요하며 두 스핀 Hessian만으로 끝나지 않는다.