연속 Gaussian과 정규화 가능성

그릇 모양 에너지에서 확률 구름을 만들자

유한한 상태 목록은 유한 비영 온도에서 언제나 유한한 Boltzmann 합을 갖는다. 하지만 연속 상태공간은 무한히 멀리 뻗을 수 있다. 확률 구름을 그리기 전에 전체 질량이 유한한지 물어야 한다. 제한된 그림 안에 보기 좋은 봉우리가 있다는 것만으로는 정규화 가능성을 알 수 없다.

이차원 그릇에 놓인 공을 생각해 보자. 가파른 방향은 요동을 강하게 제한하고, 선형 힘은 중심을 이동시키며, 온도는 퍼짐을 바꾼다. 이 비유는 평형 밀도의 기하를 설명한다. 실제 경로, 마찰 계수나 완화 시간까지 지정하지는 않는다.

이번 장에서는 전체 평면 위의 대칭 이차 에너지를 사용한다. Gaussian precision과 역공분산의 관계는 StatLect의 precision matrix 정의와 연결된다. 정규화, source 응답, 좌표변환과 수치 경계는 명시한 준비 조건에서 직접 유도한다. 일반 AI 모델을 국소 이차식으로 근사하려면 추가 가정이 필요하다.

기준 측도와 단위를 지정하자

x=(x1,x2)는 무차원 실수 좌표이고, 기준 측도는 Lebesgue 면적 dx=dx1 dx2이다. 온도는 엄밀히 양수다. 에너지와 밀도는

$$E(x)=\frac12x^{\mathsf T}Ax-h^{\mathsf T}x+c,\qquad \tau=k_BT>0,\qquad p(x)=\frac{e^{-E(x)/\tau}}{Z},\qquad Z=\int_{\mathbb R^2}e^{-E(x)/\tau}\,dx.$$

이다. A는 실수 대칭2×2행렬이다. x가 무차원이므로 A의 원소, h, c는 J 단위의 에너지이며 E/τ는 무차원이다. 무차원 좌표를 명시하면 수치 밀도와 미분 엔트로피를 읽는 기준도 정해진다. 단위를 갖는 위치 좌표를 사용하려면 밀도의 로그를 취하기 전에 기준 길이나 부피의 관례가 필요하다.

유한 Boltzmann 법칙의 기준 가중치처럼 기준 측도도 모델의 일부다. 전체 평면을 그림의 창으로 바꿀 때는 그 변경을 밝혀야 한다. 또한 에너지 곡률 A와 Gaussian precision을 구별한다. 둘 사이에는 온도 척도가 들어간다.

역행렬보다 정규화 가능성을 먼저 검사하자

A=[[a,b],[b,d]]라고 쓰자. 양의 온도에서 전체 평면 위의 이차 모델은

$$Z<\infty\quad\Longleftrightarrow\quad A\succ0 \quad\Longleftrightarrow\quad a>0\ \text{and}\ \det A=ad-b^2>0.$$

일 때만 정규화된다. 양의 정부호는 어떤 비영 방향으로 멀어져도 이차 에너지가 결국 증가한다는 뜻이다. 선형 source는 중심을 옮기지만 무한대에서의 양의 이차 성장을 이길 수 없다. 두 엄격한 부등식은 정확한 수학적 판정이며 작은 고윳값을0으로 반올림하는 규칙이 아니다.

음의 곡률 방향이 있으면 에너지가 이차적으로−∞에 가므로 지수 가중치가 커진다. 양의 반정부호 행렬에 null 방향이 있다면, 그 방향의 source 성분이0일 때는 평평한 무한 부피가 남는다. source 성분이 비영이면 한쪽 끝에서 가중치가 증가한다. 어느 경우에도 전체 평면 면적에 대한 올바른 확률 밀도가 되지 않는다.

준비 조건	전체 평면에서의 행동	유효한 처리
A 양의 정부호, T>0	유한한 정규화 적분	Gaussian 평균과 공분산 계산
A 양의 반정부호이며 null 방향 존재	가두지 못한 평평한 방향 또는 선형 방향	R²에서 정규화 불가로 보고
A에 음의 곡률 존재	어떤 방향에서 가중치 증가	R²에서 정규화 불가로 보고
명시한 낮은 차원 지원의 singular Gaussian	다른 기준 측도와 지지집합	별도 모델로 정의

유사역행렬이 둘째 행을 첫째 행으로 바꾸어 주지는 않는다. 대각 regularizer를 더해 양의 정부호 Hamiltonian을 만들 수는 있지만 그것은 다른 모델이다. 원래 에너지와 확률을 얼마나 바꾸었는지 함께 보고해야 한다.

완전제곱을 만들고 적분하자

A가 양의 정부호라고 하자. 중심을 추측하는 대신 최소점을 풀면

$$\mu=A^{-1}h,\qquad E_{\min}=c-\frac12h^{\mathsf T}A^{-1}h,\qquad E(x)=E_{\min}+\frac12(x-\mu)^{\mathsf T}A(x-\mu).$$

이다. A의 고유벡터로 옮기는 직교좌표변환의 절댓값 Jacobian은1이다. 그 좌표에서 고윳값 λ1,λ2는 모두 양수이고 적분은 두 일차원 Gaussian 적분의 곱이 된다. 따라서

$$Z=\frac{2\pi\tau}{\sqrt{\det A}}e^{-E_{\min}/\tau},\qquad \ln Z=\ln(2\pi\tau)-\frac12\ln\det A-\frac{E_{\min}}{\tau}.$$

을 얻는다. 행렬식의 단위는 J²이므로 우리 좌표 관례에서2πτ/√det A는 무차원이다. 공통 최소 에너지 인자는 정규화된 밀도에서 소거된다. 따라서 큰 공통 에너지 이동으로 Z가 매우 작거나 커져도 확률 구름은 바뀌지 않는다.

분리한 로그에는 같은 에너지 단위의 수치를 사용한다. 결합한 모양 항은 무차원 비2πτ/√det A의 로그다. 서로 다른 에너지 단위의 숫자를 임의로 섞어 로그를 빼면 이 상쇄가 깨진다.

log Z를 보존하는 것은 유용하지만 이후 계산이 자동으로 안정적이 되는 것은 아니다. 작은 엔트로피를 복원하려고 거대한 에너지 항들을 빼면 여전히 정보를 잃을 수 있다. 모양을 나타내는 항과 정확한 유리 에너지 항을 분리하여 계산하자.

평균·공분산·precision을 기하적으로 읽자

정규화한 법칙은 Gaussian이며

$$\mathbb E[x]=\mu,\qquad \Sigma=\operatorname{Cov}(x)=\tau A^{-1},\qquad \Lambda=\Sigma^{-1}=A/\tau.$$

이다. precision은 역공분산이지 온도를 나누기 전의 에너지 행렬 자체가 아니다. A를 고정하고 T를 두 배로 늘리면 공분산은 두 배, precision은 절반이 된다. 선형 source는 역행렬을 통해 평균을 움직인다. 교차항이 있으면 한 좌표에 source를 가해도 다른 좌표의 평균이 함께 바뀐다.

밀도가 같은 곡선은 μ를 중심으로 하는 타원이다. 타원의 축은 A의 고유벡터를 따르고, 축의 폭 제곱은 τ/λj에 비례한다. 가파른 에너지 방향의 확률 폭은 좁다. 넓은 방향은 작은 양의 곡률일 수 있으며 반드시 불안정한 음의 방향인 것은 아니다.

에너지 등고선과 확률 등고선을 나란히 놓으면 이 관계가 보인다. h를 바꾸면 중심이 이동하고, A를 고정한 채 온도를 올리면 두 확률 축이 넓어지며, 교차항을 바꾸면 타원이 기울어진다. 등고선의 방향은 이 평형 법칙의 상관 구조이지 시간의 화살표나 학습된 인과 방향이 아니다.

상관된 이차원 예제를 직접 계산하자

한 기준 준비에서 A/τ=[[2,1],[1,2]], h=0, c=0으로 두자. 그러면

$$\Sigma=\frac13\begin{pmatrix}2&-1\\-1&2\end{pmatrix},\qquad \mu=\begin{pmatrix}0\\0\end{pmatrix},\qquad \operatorname{Corr}(x_1,x_2)=-\frac12,\qquad Z=\frac{2\pi}{\sqrt3}.$$

같은 부호 방향(1,1)의 에너지 곡률은3τ, 공분산 고윳값은1/3이다. 반대 부호 방향(1,−1)의 곡률은τ, 공분산 고윳값은1이다. 따라서 확률 타원은 반대 부호 대각선 방향으로 더 넓다. 양의 교차 에너지가 동시에 양수 또는 동시에 음수인 변위를 벌주기 때문에 음의 상관이 나타난다.

이제 그 기준 준비에서 A를 고정하고 h/τ=(1,0)을 가하자. 역행렬 계산으로

$$\mu=\begin{pmatrix}2/3\\-1/3\end{pmatrix},\qquad E_{\min}=-\tau/3,\qquad U=\mathbb E[E]=2\tau/3.$$

을 얻는다. 공분산은 바뀌지 않는다. source가 그릇의 곡률을 바꾸지 않고 새 최소점으로 구름을 옮긴 것이다. 두 준비를 비교하면 중심 이동과 요동 폭의 변화를 분리할 수 있다.

여기서 A/τ와 h/τ는 한 준비를 지정한 비다. 온도를 바꿀 때마다 A와 h도 함께 바꾸라는 지시가 아니다. 온도 미분에서는 Hamiltonian의 계수들을 고정할 것이다.

에너지·엔트로피·열용량을 유도하자

중심을 뺀 이차 에너지는 실수 이차 좌표 하나당 평균τ/2를 갖는다. 두 좌표에서는

$$U=E_{\min}+\tau,\qquad F=-\tau\ln Z=E_{\min}-\tau\left[\ln(2\pi\tau)-\frac12\ln\det A\right],\qquad \frac{C}{k_B}=1.$$

이다. 열용량은 A,h,c를 고정한 채 U를 T로 미분하여 얻는다. 우리가 지정한 면적 측도에 대한 미분 엔트로피는

$$H_x=-\int p(x)\ln p(x)\,dx =1+\ln(2\pi\tau)-\frac12\ln\det A =\frac12\ln\!\left[(2\pi e)^2\det\Sigma\right].$$

이다. 이 기준 관례에서 고전적 엔트로피는 kB H_x이며 U−F=τH_x를 만족한다. 미분 엔트로피는 음수일 수 있다. 유한한 셀 이름 목록의 Shannon 엔트로피와는 다른 양이고, 좌표의 크기를 바꾸면 수치도 달라진다.

온도를 바꾸며 A/τ를 고정하면 A도 변한다. h/τ까지 고정하면 밀도 모양이 같게 남을 수 있지만, 그 미분은 서로 다른 Hamiltonian들을 잇는 경로다. 앞의 고정 Hamiltonian 열용량과 같은 미분이 아니다. 실험에서 응답 공식을 비교하기 전에 어떤 슬라이더를 물리적으로 고정하는지 밝혀야 한다.

밀도의 높이와 셀 확률을 구분하자

밀도의 최대값은 μ에서 나타난다.

$$p(\mu)=\frac{\sqrt{\det A}}{2\pi\tau},\qquad \Pr(x\in B)=\int_Bp(x)\,dx.$$

첫 값은 높이이고 둘째 값은 확률 질량이다. 이상적인 등방 준비 A/τ=100 I에서는 공분산이0.01 I이고 최대 밀도는100/(2π), 약15.9155이다. 확률의 상한을 위반한 것이 아니다. 전체 적분이1이면 된다.

μ를 중심으로 한 변이0.01인 정사각형의 최대 밀도×면적은 약0.00159155이다. 이는 작은 셀 확률의 근삿값이지 밀도 자체가 아니다. 이 예제에서 정사각형 안의 지수는 최대0.0025만큼 변한다. 따라서 정확한 셀 확률은 최대 밀도×면적에 exp(−0.0025)를 곱한 값과 최대 밀도×면적 사이에 있다. 픽셀 값을 정확한 질량으로 간주하는 대신 구체적 오차 범위를 얻은 것이다.

시각화의 색이 밀도인지 에너지인지 셀 질량인지 구분해서 표시하자. 색칠한 픽셀들을 다시 정규화하여 합을1로 만들면 뜻이 바뀐다. 원래 전체 평면 Gaussian이 올바르게 정규화되어 있어도 유한한 그림 창은 꼬리 질량을 빠뜨릴 수 있다.

절댓값 Jacobian을 포함해 좌표를 바꾸자

가역 실수 행렬 C와 평행이동 d로 x=Cz+d라고 하자. 같은 영역에 부여한 확률은 같아야 하므로

$$p_z(z)=p_x(Cz+d)|\det C|,\qquad \mu_z=C^{-1}(\mu_x-d),\qquad \Sigma_z=C^{-1}\Sigma_xC^{-\mathsf T}.$$

이다. 같은 비정규화 에너지에 이 좌표변환을 합성하면 dz에 대한 정규화 적분은 달라진다.

$$\ln Z_z=\ln Z_x-\ln|\det C|,\qquad H_z=H_x-\ln|\det C|,\qquad F_z=F_x+\tau\ln|\det C|.$$

이것은 물리적 결과에 대한 새로운 확률 측도를 만든다는 뜻이 아니다. 같은 측도를 다른 기준 부피와 좌표 이름으로 표현한 것이다. 방향을 뒤집는 변환에서는 행렬식의 절댓값이 중요하다.

계산기는 두 비영 크기 계수와 독립적인 평행이동을 갖는 대각 C를 구현한다. C=diag(−2,3)이면 절댓값 Jacobian은6이다. 변환한 최대 밀도는6배, 미분 엔트로피는 ln 6만큼 감소한다. 교차 공분산은−6으로 나누므로 부호가 바뀐다. 평균과 타원이 그럴듯해 보여도 Jacobian을 빠뜨리면 정규화를 잃는다.

이 관계는 유한 기준 가중치와도 연결된다. 결과를 어떻게 측정하는지 지정하지 않으면 정규화된 법칙만으로 기준 의존적인 정규화 상수와 엔트로피 수치를 정할 수 없다.

source 응답과 공분산의 척도를 구분하자

A와 양의 τ를 고정한 이차 가족에서는

$$\frac{\partial\mu}{\partial h}=A^{-1}=\Sigma/\tau,\qquad \frac{\partial\mu}{\partial(h/\tau)}=\Sigma.$$

이다. 첫 미분은 차원이 있는 에너지 source에 대한 것이고 둘째는 무차원 source에 대한 것이다. τ인자가 다르다. 상관 예제에서는 역행렬의 교차 원소가 음수이므로 h1을 증가시키면 둘째 평균은 음의 방향으로 움직인다.

AI의 Gaussian 근사는 흔히 음의 로그 밀도나 목적함수의 국소 Hessian에서 나온다. 그 목적함수가 이미 무차원이더라도, Hessian을 precision이라고 읽으려면 척도와 기준 관례가 맞아야 한다. J 단위의 에너지 Hessian은 τ로 나누어야 한다. 이 척도를 혼동하면 예측하는 불확실성이 달라진다.

국소 최소점의 양의 Hessian은 일반 밀도의 전역 정규화 가능성을 보장하지도 않는다. 양의 에너지 척도 E_에 대해 E(x,y)/E_=(x²+y²)/2−x⁴은 원점의 Hessian이 양의 정부호지만 큰 |x|에서는 에너지가−∞로 간다. 국소 Gaussian은 이웃을 근사할 수 있어도 전체 평면의 Boltzmann 적분은 발산한다. 정확한 이차식의 판정법을 모든 비선형 에너지 모델에 그대로 확대하면 안 된다.

경계나 그림 창의 변경은 다른 준비로 다루자

한 에너지 단위에서 A=[[1,1],[1,1+δ]]를 생각하자. 정확한 양의 δ는 양의 행렬식, δ=0은 평평한 방향, 음의 δ는 음의 곡률을 준다. 임의의 고윳값 허용 오차는 서로 다른 이 경우들을 하나로 합칠 수 있다. 수치 모델은 epsilon으로 수정한 행렬 대신 실제 이진 입력을 판정한다.

특이 Gaussian은 별도의 낮은 차원 측도와 함께 직선 위에 정의할 수 있다. 전체 R²의 양의 반정부호 에너지는 대신 무한한 비구속 부피를 남긴다. 역행렬을 유사역행렬로 바꾸어도 이 차이는 해결되지 않는다. 마찬가지로 유한 box는 별도의 잘린 모델을 정규화하게 만든다. 그 box 안의 격자 합을1로 맞추는 것은 원래 전체 평면 적분이 유한하다는 증거가 아니다.

모델은 비양수 온도를 거부한다. 여기의 양의 정부호 Hamiltonian에서는 음의 온도가 무한한 높은 에너지 방향에서 가중치를 증가시킨다. 양의 쪽에서 T가0으로 가면 공분산은0으로 가고 확률 측도는 μ의 점질량으로 약하게 수렴한다. 그 점질량은 원래 이차원 면적 측도에 대한 밀도가 아니다.

A,h,c를 고정하고 양의 온도를 따라가면 미분 엔트로피는−∞로 가고 C/kB는1을 유지한다. U가 E_min으로 가더라도 양의 온도에서의 기울기는 여전히 kB다. 반대로 유한한 간격을 갖는 스펙트럼에서는 들뜬 확률이 지수적으로 억제되어 열용량이0으로 갈 수 있다. 이 고전 연속 근사가 양자적 저온 행동이나 일반 제3법칙을 유도한 것은 아니다.

정확한 판정과 방향성 수치 결과를 읽자

구현은 입력 stiffness, source, 공통 이동과 온도 척도의 정확한 이진 유리 곱과 합을 보존한다. 역행렬이나 그림 근사를 만들기 전에 행렬식의 부호를 결정한다. 평균, 공분산, precision과 affine 좌표변환은 유리수로 계산한 뒤 표시 범위에 투영한다.

정규화와 엔트로피에 쓰는 π는 Machin의 교대 arctan 항등식에서 각 항을 바깥쪽으로 반올림하고 나머지 항을 제한하여 감싼다. 로그에도 방향성 경계를 쓴다. 제곱근은 상대 유효숫자 정밀도를 사용한다. 절대 양자가 너무 거칠다는 이유로 아주 작은 양의 행렬식의 제곱근을0으로 바꾸지 않는다.

정밀도는128–8192비트로 적응한다. 해결된 비영 값은 확정된 부호와2^-48이하 상대 구간 폭을 갖는다. binary64 표시 범위 밖 비영은 null 선형 값과 부호를 보존하며, 상한에서 충분히 정밀하지 못하면 미해결이다. 어느 상태도 수학적 정규화 불가와 같지 않다. 부동소수점에서 범위를 넘은 행렬식이 수학적 무한 행렬식인 것은 아니고, 언더플로한 공분산이 정확한 제약인 것도 아니다.

독립 참조는 실제 이진 입력을 정확한 Fraction으로 분류하고 Gaussian 항등식을 고정밀 Decimal로 계산한다. 양·음의 경계, 공통 이동, 작은 stiffness와 온도,1보다 큰 밀도, 표시 범위 밖 평균, 방향 반전 좌표변환을 포함한다. 이 수치 검사는 명시한 수학 모델의 근거다. 등고선 렌더러·표본추출기·실제 실험 장치에 대한 주장에는 별도 근거가 필요하다.

해설이 있는 연습문제

1. 어떤 행렬이 정규화될까? 양수·0·음수 δ에 대해 [[1,1],[1,1+δ]]를 비교하자. 해설: 첫 leading minor는 양수이고 행렬식은δ이다. 양수면 전체 평면 Gaussian이 되고,0이면 비구속 방향, 음수면 음의 곡률이 남는다. 유사역행렬이나 고윳값 cutoff는 원래 밀도를 정규화하지 않고 질문을 바꾼다.

2. 타원은 어느 방향으로 넓을까? A/τ=[[2,1],[1,2]], h=0을 사용하자. 해설: 같은 부호 방향은 곡률3τ와 공분산 고윳값1/3, 반대 부호 방향은 곡률τ와 공분산 고윳값1을 갖는다. 따라서 반대 부호 대각선이 더 넓으며 상관−1/2와 일치한다.

3. 최대 밀도15.9는 잘못된 값일까? A/τ=100 I를 사용하자. 해설: 최대값은 밀도 높이지 확률이 아니다. 평균 중심의 한 변0.01 정사각형은 최대 밀도×면적 추정값이 약0.00159155이고, 정확한 질량은 이 값과 exp(−0.0025)를 곱한 값 사이에 있다. 전체 공간 적분은 여전히1이다.

4. 온도를 두 배로 하면 무엇이 바뀔까? A,h,c를 고정하자. 해설: 평균 A inverse times h는 그대로, 공분산은 두 배, precision은 절반이다. U는 원래τ만큼 늘고 미분 엔트로피는 ln 2만큼 증가한다. 열용량은kB다. A/τ를 고정하면 A를 바꾸는 다른 Hamiltonian 경로가 된다.

5. x1=−2z1+1, x2=3z2−2이면 어떻게 될까? 해설: 절댓값 Jacobian은6이다. 평행이동을 뺀 평균 좌표를−2와3으로 나누고, 공분산을 해당 크기 계수들의 곱으로 나눈다. 최대 밀도는6배, 미분 엔트로피는 ln 6만큼 감소한다. Jacobian을 포함하면 영역의 확률은 같다.

6. 0처럼 보이는 공분산은 정확한 제약일까? 양의 정부호 모델의 선형 공분산 값이 null이고 부호가 양수다. 해설: 실제 공분산은 양수이지만 표시 범위 밖이라는 뜻이며 특이 분포가 아니다. 평균 에너지는 표현 가능하고 C/kB=1일 수도 있다. 정확한 제약은 지지집합과 기준 측도로 선언해야 하며 언더플로한 원소를 삭제하여 만들지 않는다.

Gaussian 기하를 실험 화면과 연결하기

상관된 기본 타원에서 시작해 선형 source·중심 이동과 비교하세요. 그림의 축은 평균을 빼므로 μ가 달라져도 타원은 중심에 남습니다. 선택한 좌표의 평균 표에서 (2/3,−1/3) 이동을 확인하세요. 공분산이 그대로인 것은 선형 source가 이차 구속을 바꾸지 않고 중심을 옮겼기 때문입니다.

실험	비교할 것	설명할 내용
엄밀히 양의 작은 행렬식 → 평평한 방향 → 음의 곡률	그림보다 먼저 정확한 정규화 판정 확인	얇지만 올바른 법칙·평평한 비정규화 법칙·불안정한 법칙은 다름
1보다 큰 밀도 높이	p(max)와 앞의 확률 적분 예제 비교	밀도 높이는 셀 질량이 아님
방향 반전·절댓값 Jacobian	원래 좌표 x와 변환 좌표 z 전환	공분산·엔트로피 수치는 좌표에 따라 달라져도 Jacobian을 포함한 영역 확률은 같음

현재 그림은 평균을 뺀 상대 확률 등고선이며, 별도의 에너지 등고선 패널이나 절대 위치 그림이 아닙니다. L은 그림 척도이고 r은 상대 밀도 등고선 p/p(max)=exp(−r²/2)의 레이블입니다. 어느 것도 픽셀 하나의 확률이 아닙니다. 절대 평균과 최대 밀도는 각자의 표에서 읽으세요. 올바른 타원이 너무 얇거나 그림 범위를 벗어나면 안내와 정확한 정규화 판정을 확인하세요. 구름이 없다는 사실만으로 정규화 불가라고 해석하지 마세요.

온도 응답을 확인하려면 모든 stiffness·source·공통 기준을 고정하고 양의 T를 두 배로 늘리세요. 평균은 그대로, 공분산은 두 배, C/kB는1입니다. 동시에 A/τ를 유지하면 Hamiltonian을 바꾸는 다른 실험이 됩니다. 모델의 좌표 입력은 대각 크기 계수와 평행이동입니다. 유도의 임의 회전 행렬을 별도 입력으로 제공하는 것은 아닙니다. 크기 계수0이나 비양수 온도는 유사역행렬이나 유한 그림 상자로 고치지 않고 거부합니다.

개별 수치 입력은 Enter를 누르거나 다른 곳으로 초점을 옮길 때 적용합니다.