OU 밀도와 Euler 모멘트

확률 벡터에서 실수축 위의 확률 법칙으로

아래 실험은 독립적으로 대조한 모멘트 모델을 사용한다. 정확 유리수·방향성 포함 구간·표시 근사를 구별한다.

앞선 master equation 단원에서는 유한한 상자마다 확률이 들어 있었다. 이제 잡음이 있는 완화 실험을 여러 번 반복하여 각 실험의 실수 위치를 기록한다고 생각하자. 확률밀도는 이 실험 집단이 실수축에 어떻게 퍼져 있는지 나타낸다. 밀도 곡선의 높이는 정확히 한 위치에 있을 확률이 아니다. 구간 아래의 넓이가 그 구간에 있을 확률이다.

기존 확률과정 단원에서는 OU 경로, 수치 방법과의 잡음 결합, Gaussian 밀도의 국소 흐름을 살폈다. 여기서는 모멘트에 관한 어떤 주장이 정확한지, 수치 방법이 확률 법칙을 유지하면서도 동역학을 잘못 나타낼 수 있는지, 초기 법칙이 점 질량이면 무엇이 달라지는지 살핀다. 이 구별은 다음 공간 격자의 Fokker–Planck 해법을 이해하는 기반이 된다.

과정과 초기화, 단위를 먼저 지정한다

전체 실수축 위의 1차원 Itô 방정식을 사용하자.

$$dX_t=-\gamma X_t\,dt+\sqrt{2D}\,dW_t, \qquad \gamma\geq0,\quad D\geq0, \qquad X_0\sim\mathcal N(m_0,v_0),\quad v_0\geq0.$$

초기 확률변수는 이후 Brownian 증분과 독립이다. v0=0이면 이 표기는 m0에 있는 점 질량을 뜻한다. gamma와 D는 독립적으로 지정하는 상수다. 조화 퍼텐셜과 열저장고의 물리 모형을 만들려면 이동도·강성·온도·확산의 관계를 추가로 가정해야 한다. 여기서는 그 관계를 추정하지 않는다.

양	의미	단위
X, m0, m(t)	위치 또는 실험 집단의 평균	m
v0, v(t)	실험 집단의 분산	m²
gamma	선형 완화율	s⁻¹
D	확산계수	m²/s
W_t	표준 Brownian 좌표	s¹ᐟ²
p(x,t)	위치에 대한 확률밀도	m⁻¹
J(x,t)	한 위치를 시간당 통과하는 확률량	s⁻¹

짧은 시간 h에서 잡음의 분산은 2Dh다. 잡음의 진폭을 2Dh라고 쓰면 안 된다. 독립 증분의 표준편차가 시간의 제곱근에 비례한다. gamma h는 무차원이며 D/gamma는 분산 단위다. 이 단위 검사는 제곱근 누락과 계수 2의 혼동을 찾는 데 유용하다.

밀도 방정식과 경계 가정을 유도한다

매끄러운 시험함수 phi에 Itô 공식을 적용하면 기댓값의 변화율은 E[−gamma X phi'(X)+D phi''(X)]다. 충분히 규칙적인 밀도로 공간 미분을 옮기면 다음을 얻는다.

$$\partial_t p=\gamma\partial_x(xp)+D\partial_{xx}p =-\partial_xJ,\qquad J=-\gamma xp-D\partial_xp.$$

드리프트 항은 확률을 원점 쪽으로 운반한다. 확산 항은 밀도가 높은 쪽에서 낮은 쪽으로 확률을 퍼뜨린다. 두 항은 확률의 흐름이다. 각각이 입자 하나의 속도 경로이거나 열 측정값인 것은 아니다.

a부터 b까지 적분하면 그 구간 확률의 변화율은 J(a,t)−J(b,t)다. 무한대의 경계 흐름이 사라지면 전체 실수축의 정규화가 보존된다. 아래의 양의 분산 Gaussian에서는 다항식과 Gaussian 꼬리의 곱이 무한대에서 사라지므로 이 조건을 만족한다. 유한한 그림 창을 그렸다고 반사벽이 생기지 않으며 Gaussian 확률 전체가 그 안에 들어오지도 않는다. 잘라 보이는 넓이를 1로 맞추기 위해 재정규화하면 안 된다.

MIT OU 강의록의 부록 A는 선형 구속의 참고 자료다. 이 단원의 독립 초기 Gaussian 모멘트는 아래에서 직접 유도한다.

선형 SDE 하나를 풀어 실험 집단의 법칙을 얻는다

exp(gamma t)를 곱하면 드리프트가 곱의 미분에 흡수된다. 적분하면

$$X_t=e^{-\gamma t}X_0+ \sqrt{2D}\int_0^t e^{-\gamma(t-s)}\,dW_s.$$

첫 항은 초기 확률변수를 감쇠시켜 전달한다. 확률적분은 그 항과 독립인 평균 0 Gaussian이다. 확률적분의 분산은 결정론적 적분 핵을 제곱해 적분한 값에 2D를 곱한 것이다. 따라서

$$m(t)=m_0e^{-\gamma t},\qquad v(t)=v_0e^{-2\gamma t}+ \frac D\gamma(1-e^{-2\gamma t})\quad(\gamma>0).$$

gamma=0에서는 gamma로 나누지 않는다. m(t)=m0, v(t)=v0+2Dt를 사용한다. 영 시간에서는 원래 초기 법칙으로 돌아간다. D=0이어도 X0에 이미 있던 무작위성은 감쇠하면서 남는다. 강제 잡음을 없애는 것과 모든 실험의 위치가 같아지는 것은 별개의 조건이다.

gamma=1/s, D=1/2m²/s, m0=2m, v0=1/4m²이면 1초 뒤 평균은 약 0.735759m, 분산은 약 0.466166m²다. 평균이 줄어들면서 분산이 커져도 모순이 아니다. 중심은 원점으로 이동하고, 처음에 좁았던 실험 집단은 정상 폭에 가까워지며 넓어진다.

밀도 모양을 추측하지 않고도 같은 모멘트를 얻는다

SDE의 기댓값을 취하면 평균 방정식을 얻는다. X²에 Itô 공식을 적용하면 이차변동에서 2D가 추가된다. 여기서 평균 제곱의 미분을 빼면

$$\dot m=-\gamma m,\qquad \dot v=2D-2\gamma v.$$

이 유도는 모멘트 공식과 잡음의 계수 관례를 별도로 확인한다. 법칙이 Gaussian이라는 사실은 선형 해와 Gaussian 초기화에서 나온다. 두 모멘트를 아는 것만으로 얻는 결론이 아니다. 초기화가 비Gaussian이어도 이차 모멘트가 유한하면 같은 모멘트 방정식이 성립하지만 평균과 분산만으로 전체 법칙을 정할 수 없다.

분산이 양수일 때 Gaussian 밀도와 score는

$$p(x,t)=\frac{e^{-(x-m)^2/(2v)}}{\sqrt{2\pi v}}, \qquad \partial_x\log p=-\frac{x-m}{v}.$$

분산이 0이면 이 공식은 제공할 수 없다. 법칙은 Dirac 측도이며 매우 높은 유한 Gaussian이 아니다. 보통의 밀도 높이나 score를 그릴 수 없어도 전체 확률 질량은 1이다.

정상성, 모멘트 수지, 한순간의 항등 사상을 구별한다

gamma>0이고 D>0이면 유일한 정상 확률 법칙은 평균 0, 분산 D/gamma인 Gaussian이다. gamma>0이고 D=0이면 원점의 점 질량이 유일하다. gamma=0이고 D>0이면 Brownian 확산은 전체 실수축에 정상 확률 법칙을 갖지 않는다. 상수 밀도는 그 공간에서 정규화할 수 없다. 두 계수가 모두 0이면 모든 초기 법칙이 정상이다.

분산이 정상값과 같아도 평균이 0이 아닌 Gaussian은 정상이 아니다. 중심이 계속 움직인다. 또한 t=0에서 시간 진화 사상은 모든 초기화에 대해 항등이다. 한순간에 변화가 없었다는 관찰은 정상성을 증명하지 않는다. 정상성은 이후의 모든 시간에 전체 법칙이 불변이라는 조건이다.

gamma>0에서는 분산 편차를 다음과 같이 직접 계산한다.

$$v(t)-\frac D\gamma= \left(v_0-\frac D\gamma\right)e^{-2\gamma t}.$$

반올림한 두 분산 표시를 빼면 작지만 0이 아닌 편차가 사라질 수 있다. 준비 모델은 오른쪽 식을 별도로 구간에 포함시킨다. 정확한 정상성, 표시 해상도보다 작은 양의 값, 구간이 넓어 부호를 결정할 수 없는 값은 서로 다른 관측이다.

Euler–Maruyama를 별개의 확률 모형으로 유도한다

최종 물리 시간 T를 고정하고 N개 같은 수치 단계 h=T/N을 선택한다. 독립 표준 Gaussian 혁신을 사용하면

$$X_{n+1}^{E}=(1-\gamma h)X_n^{E}+\sqrt{2Dh}\,Z_n, \qquad Z_n\sim\mathcal N(0,1).$$

a=1−gamma h라 놓자. 독립성에 의해 이 이산 모형의 정확한 모멘트는

$$m_{n+1}^{E}=a m_n^{E},\qquad v_{n+1}^{E}=a^2v_n^{E}+2Dh.$$

이 값들은 표본이 아니므로 Monte Carlo 오차를 갖지 않는다. 입력 계수와 시간이 유리수이면 정확한 유리수로 계산된다. 이 이산 모형의 모멘트가 대응하는 물리 시간에서 연속 OU 모멘트를 근사하는 것이다.

a가 음수이거나 크기가 1보다 커도 각 단계는 Gaussian 또는 점 질량 확률 법칙을 정의한다. 음수 행렬 성분 때문에 확률의 양수성을 잃을 수 있었던 앞선 유한 상태 Euler와 구별해야 한다. 여기서는 정규화가 정확해도 평균이 진동·팽창하거나 분산이 크게 편향되는 실패가 생긴다.

수치 안정성과 올바른 정상 통계는 다른 조건이다

양의 시간 단계에서 평균의 엄격한 수축 조건은 0<gamma h<2다. 이때 이산 사슬은 유일한 불변 법칙을 가지며 그 분산은

$$v_E^*=\frac{2Dh}{1-(1-\gamma h)^2} =\frac{D}{\gamma(1-\gamma h/2)}.$$

D>0이면 D/gamma보다 크다. 안정적인 방법도 정상 폭을 잘못 계산할 수 있다. gamma h=1이면 Euler는 초기 평균을 한 단계 만에 없앤다. 정확한 OU는 0이 아닌 초기 평균에서 출발해 유한 시간에 평균 0에 도달하지 않는다. gamma h=2이면 a=−1이고 양의 확산이 매 단계 분산에 2Dh를 더한다. 2보다 크면 초기 평균이 우연히 0인 경우를 제외하고 평균 모드가 팽창한다.

D=0이고 |a|=1이면 분산이 반드시 증가하지는 않는다. a=−1에서는 두 단계 진동과 대칭 불변 법칙이 가능하다. h=0이면 잡음 분산도 0이며 모든 Euler 단계가 항등이다. 분자와 분모가 모두 0인 식을 나누어 엄격한 수축이나 유일한 불변 법칙을 주장하면 안 된다.

경로를 동일시하지 않으면서 score와 확률 흐름을 연결한다

v>0에서 J를 밀도 p와 속도장의 곱으로 쓰면 확률 흐름장은

$$u(x,t)=-\gamma x-D\partial_x\log p =-\gamma x+\frac Dv(x-m).$$

이 상수 확산의 스칼라 경우는 Song 외, 4.3절과 부록 D의 probability-flow 구성을 이해하는 예다. 고차원 score 학습과 수치 적분 오차 제어는 추가 문제다. 여기의 정확 Gaussian 계산은 그 학습이나 제어를 수행하지 않는다.

정상 Gaussian에서는 u가 모든 위치에서 0이다. 그 Gaussian에서 시작한 결정론적 흐름은 각 좌표를 고정한 채 OU SDE와 같은 각 시각의 법칙을 유지할 수 있다. 그러나 SDE의 시간 상관은 감쇠한다. 정상 초기화와 gamma,D>0에서

$$\operatorname{Cov}(X_0,X_t)_{\mathrm{SDE}} =\frac D\gamma e^{-\gamma t},\qquad \operatorname{Cov}(X_0,X_t)_{\mathrm{frozen\ flow}} =\frac D\gamma.$$

매 시각의 주변밀도가 같아도 여러 시간에 걸친 결합 법칙은 같지 않다. 밀도가 변하는 애니메이션은 표시한 속도장이 입자 하나의 확률적 속도라는 증거가 아니다.

특이한 초기 끝점을 명시적으로 다룬다

v0=0이고 D>0이면 양의 시간에는 매끄러운 Gaussian 밀도가 생기지만 t=0에는 없다. 시간이 0에 가까워질 때 v(t)는 2Dt처럼 행동하고 D/v는 1/(2t)처럼 발산한다. 따라서 score를 사용한 속도장은 그 끝점에서 특이하다.

한 점의 보통 결정론적 사상은 다시 한 점이다. 유일하고 규칙적인 흐름으로 결정론적 초기점을 여러 위치의 분포로 바꿀 수 없다. 매끄러운 Gaussian probability-flow 표현을 쓰려면 지정한 양의 epsilon에서 그 시각의 법칙으로 시작해야 한다. 이 OU 예의 epsilon부터 t까지 사상은 중심화한 초기 좌표에 sqrt(v(t)/v(epsilon))를 곱하고 m(t)를 더하는 아핀 사상이다. 이 사상은 해당 Gaussian을 올바르게 운반한다. 영 시간부터 점을 Gaussian으로 운반하는 규칙적인 흐름이 존재한다는 증명은 아니다.

D=0인 원자 법칙은 원래의 결정론적 드리프트를 따라 움직인다. 보통의 score가 없다고 드리프트 ODE까지 없어지는 것은 아니다. 밀도를 사용하는 논증과 측도값 시간 진화에는 서로 다른 제공 조건이 있다.

실험과 비교의 의미

준비	바꾸는 것	결론 전에 읽을 것
기준과 세밀한 Euler	T를 고정하고 N 증가	표본 경로 하나가 아닌 두 모멘트의 부호 오차
정상 Gaussian	m0=0, v0=D/gamma	정확 모멘트는 고정, Euler 분산은 변할 수 있음
올바른 폭과 이동 중심	v0=D/gamma 유지, m0 변경	일정 분산과 정상 법칙의 구별
평균 초기화·경계·팽창	gamma h=1,2,3 선택	확률의 유효성과 동역학 충실도의 구별
Brownian과 항등	gamma=0, 이어서 D=0	나눗셈의 극한과 정상 가족
원자와 거의 원자인 초기화	v0=0, D와 T 변경	정의되지 않은 원자 밀도와 양의 폭의 구별

준비 계산은 정확 유리수 계수를 받으며 gamma는 5/s까지, D는 2m²/s까지, 평균은 −5..5m, 분산은 5m²까지, T는 10초까지, N은 1..128로 제한한다. 이는 계산량의 범위이며 교육 내용의 한계가 아니다. 다음 공간 실험에는 격자·경계 조건·보존 법칙·양수성 제약을 추가로 지정해야 한다. 전체 실수축 Gaussian 해를 유한 영역의 공간 해법으로 조용히 재사용하면 안 된다.

해설 문제

1. 자유롭게 퍼지는 법칙 확인

gamma=0, D=1/2m²/s, m0=2m, v0=1/4m², T=1s에서 최종 평균과 분산을 구하라. 이 두 모멘트를 재현하려면 Euler의 시간 단계가 작아야 하는가?

해설. 평균은 2m이고 분산은 5/4m²다. a=1이며 Euler의 각 분산 증가는 2Dh다. N개를 더하면 양의 정수 N에 관계없이 정확히 2DT가 된다. 이 일치는 기록한 시간의 법칙에 관한 것이다. 결합 경로 오차는 공통 잡음 구성을 따로 지정해야 하는 다른 질문이다.

2. 안정적이지만 편향된 정상 분산

gamma=1/s, D=1/2m²/s, h=1/2s에서 연속 과정과 이산 과정의 불변 분산을 비교하라.

해설. 정확한 값은 1/2m²다. Euler는 a=1/2이고 불변 분산은 (1/2)/(1−1/4)=2/3m²다. 평균은 수축하고 법칙은 정규화되지만 정상 분산은 더 크다. 정확한 정상 Gaussian에서 Euler를 시작해도 이 편향이 사라지지 않는다.

3. 실패한 근사를 잘라내지 말고 해석하기

gamma=1/s, D=1/2m²/s, m0=2m, v0=0, T=2s, N=1에서 Euler 법칙을 구하고 정확 평균과 비교하라.

해설. a=−1이므로 Euler 평균은 −2m이고 분산은 2m²다. 유효한 Gaussian이므로 잘라낼 음수 확률이 없다. 정확 평균은 2exp(−2)m으로 약 0.270671m이며 분산은 (1−exp(−4))/2m²다. 큰 차이는 Gaussian 정규화의 실패가 아니라 동역학 오차다.

4. 밀도의 제공 조건 판별

m0=2m, v0=0에서 시작하자. D=0이고 T=1s, D>0이고 T=0, D>0이고 T=1s인 세 경우를 비교하라.

해설. 처음 두 경우는 점 질량이다. 첫째는 결정론적으로 이동하고 둘째는 특이한 초기화가 그대로 남는다. 셋째만 분산이 양수여서 보통의 Gaussian 밀도와 score가 존재한다. 처음 두 경우를 좁은 곡선으로 대신 그리면 지정한 법칙을 바꾸는 것이다.

5. 같은 주변분포가 동역학을 식별하지 못함을 보이기

gamma=1/s, D=1/2m²/s인 SDE를 정상 법칙에서 시작한다. 1초 시차 공분산을 정상 probability-flow ODE와 비교하라.

해설. 두 과정의 각 시각 법칙은 평균 0, 분산 1/2m²다. SDE의 공분산은 exp(−1)/2m²로 약 0.183940m²다. 고정된 결정론적 흐름에서는 1/2m²다. 각 시각의 히스토그램은 같아도 두 시각에 짝지어 측정하면 차이를 확인할 수 있다.

6. 평균 0만으로는 부족한 이유

gamma h=3인 Euler를 m0=0, v0=1/4m²로 초기화하고 D=1/2m²/s, gamma=1/s로 두자. 평균이 계속 0이므로 믿을 만한 이산화인가?

해설. 승수가 −2이므로 초기 평균 0이 팽창하는 평균 모드를 가린다. 다음 분산은 1/4의 네 배에 3을 더한 4m²다. 평균이 올바르게 보여도 중심이 같은 곡선이 빠르게 넓어질 수 있다. 분산 점화식, 계수 영역, 정확 기준을 함께 확인해야 한다.