숨은 변수의 기억과 Markov 근사

1. 관측값 하나가 전체 상태는 아니다

두 연결된 상자가 같은 측정값 x를 보여도, 보이지 않는 상자 y의 준비가 다르면 그 뒤의 x는 달라질 수 있다. y를 측정하지 않겠다는 선택이 y의 영향까지 지우지는 않는다. 앞 단원의 이산 집계에서 과거가 남았듯, 연속 시간에서는 과거를 더하는 적분이 남는다.

이번에는 관측 x와 숨은 y를 각각 실수 하나로 둔다. 이 작은 모형에서 소거·근사·안정성·계산 정밀도를 직접 비교한 뒤 더 큰 계로 생각을 확장한다. 숨은 초기값은 지정한 수이며 임의의 잡음 표본이 아니다.

2. 시간과 계수의 단위를 지정한다

상태 x,y와 시간척도 비 ε는 무차원, 시간은 s, a,b,c,d의 단위는 s⁻¹이다. a,d는 양수이고 b,c는 부호를 가질 수 있다.

$$\dot x=-ax+by,\qquad \varepsilon\dot y=cx-dy,\qquad a,d,\varepsilon>0,\quad ad-bc\geq0.$$

마지막 조건은 이번 안정·경계 안정 가족의 범위다. 행렬의 trace는 음수이고 determinant는 음수가 아니므로, 양의 실수부 고유값은 없다. 같음에서는0모드가 있을 수 있다. 불안정한 양의 성장률을 몰래 안정화하지 않고 입력 범위 밖으로 구분한다. 안정성만으로 특정한 물리적 에너지나 열·엔트로피 식을 정할 수도 없다.

3. 숨은 변수의 방정식을 먼저 푼다

x의 시간 경로가 주어졌다고 생각하고 y의 선형 비동차 방정식에 적분 인자를 곱한다. κ=d/ε라 쓰면 다음과 같다.

$$y(t)=e^{-\kappa t}y_0+\frac c\varepsilon\int_0^t e^{-\kappa(t-s)}x(s)\,ds,\qquad \kappa=\frac d\varepsilon.$$

첫 항은 초기 숨은 준비의 잔여 효과이고 둘째는 x가 y에 남긴 과거의 누적이다. x를 실제 해로 쓰면 이 식은 정확하다. y를0으로 놓거나 즉시 평형에 있다고 가정한 것이 아니다. κ가 작을 때에는 과거의 영향이 오래 남는다.

4. 관측 방정식에는 세 항이 생긴다

y의 해를 x의 방정식에 대입한다. 현재 상태, 초기 준비, 기억이 분리된다.

$$\dot x(t)=-ax(t)+F(t)+\int_0^t K(t-s)x(s)\,ds,\quad F(t)=by_0e^{-\kappa t},\quad K(u)=\frac{bc}{\varepsilon}e^{-\kappa u}.$$

초기 준비 y₀를 정했으므로 F는 결정론적이다. 그 분포를 따로 지정하지 않았는데 백색 잡음이라고 부르면 다른 모형이 된다. bc<0이면 커널도 음수일 수 있다. 커널은 확률밀도가 아니며, 적분한 영향이 x의 속도와 같은 단위를 갖는다. 초기 t=0에는 기억 적분이0이어도 F(0)는 남을 수 있다.

5. 준정상 치환은 새 근사다

y가 매우 빠르게 반응한다면 y≈(c/d)x를 고려할 수 있다. 이를 대입한 비교 모형을 xM이라 쓰자.

$$\dot x_M=\mu_Mx_M,\qquad \mu_M=-a+\frac{bc}{d},\qquad x_M(t)=x_0e^{\mu_Mt},\quad y_M(t)=\frac cd x_M(t).$$

여기서 ε는 식에서 사라진다. 따라서 ε만 바꿀 때 이 비교 궤적은 같지만 실제 궤적은 바뀔 수 있다. 소거로 얻은 정확한 기억식과 과거를 현재 값으로 치환한 근사를 구분하자. 선형 숨은 변수 소거의 일반 형태는 Gouasmi·Parish·Duraisamy의 연구 2(a)절과 비교할 수 있다.

6. 처음에 준정상이면 계속 준정상일까

w=y−(c/d)x를 정의한다. 처음에 w₀=0이라도 그 뒤에 유지되는지는 따로 확인해야 한다.

$$\dot w=-\Gamma w-\frac cd\mu_Mx,\qquad \Gamma=\frac d\varepsilon+\frac{bc}{d}.$$

μM과 c와 x가0이 아니라면 마지막 항이 새로운 편차를 만든다. y=(c/d)x는 일반적으로 불변 다양체가 아니다. 초기 y를 잘 준비하는 일은 초기 층을 줄이는 데 도움이 되지만, 전체 근사를 정확한 해로 바꾸지는 않는다. 전체계가 안정하더라도 bc<0이면 Γ가 양수라는 보장도 없다.

7. 오차식과 추가 가정이 필요한 경계

e=x−xM이라 쓰면 e의 방정식은 직접 확인할 수 있다. 두 모형의 x 초기값은 같다.

$$e(t)=b\int_0^t e^{\mu_M(t-s)}w(s)\,ds,\qquad |e(t)|\leq |b|\int_0^t|w(s)|\,ds.$$

이번 범위에서는 μM≤0이므로 마지막 부등식이 성립한다. 오른쪽에는 여전히 실제 w가 있다. 이것만으로 입력만 보고 쓸 수 있는 보편적 작은 오차 상계를 얻은 것은 아니다. 유한 창에서 |x|≤X를 알고 Γ>0이라면 다음 조건부 경계를 얻는다.

$$|w(t)|\leq e^{-\Gamma t}|w_0|+\frac{|c\mu_M|X}{d\Gamma}(1-e^{-\Gamma t}).$$

계수와 초기값·관측 창을 고정하고 ε를 줄이면 Γ는 커진다. 하지만 초기 w₀, 결합 크기와 시간 창도 함께 바꾸면서 동일한 결론을 주장할 수 없다. 초기의 짧은 층을 보려면 그 시간척도에 맞는 관측 시각을 선택해야 한다. 화면 기록 수를 늘리는 것과 물리적 ε를 줄이는 것은 다른 조작이다.

8. 전체계의 고유 모드를 비교한다

행렬 M의 중심 감쇠 τ와 B=M+τI를 쓰면 B의 제곱은 스칼라 η에 비례한다. 이를 이용해 고유벡터 분해 없이 해를 구할 수 있다.

$$M=\begin{pmatrix}-a&b\\c/\varepsilon&-d/\varepsilon\end{pmatrix},\quad \tau=\frac{a+d/\varepsilon}{2},\quad B=M+\tau I,\quad B^2=\eta I,\quad \eta=\frac{(d/\varepsilon-a)^2}{4}+\frac{bc}{\varepsilon}.$$

η>0이면 두 실수 모드, η<0이면 감쇠 진동이다. η의 부호는 정확한 유리수로 정한다. a=2,b=1,c=2,d=3인 비교표에서 x₀=1,y₀=0이다. 모든 ε에서 μM=−4/3이다.

ε	숨은 이완시간 ε/d [s]	실제 느린 고유값 [s⁻¹]	Markov 성장률 [s⁻¹]
1	1/3	−1	−4/3
1/2	1/6	−4+2√2	−4/3
1/16	1/48	−25+√561	−4/3

빠른 변수가 상대적으로 더 빨라질수록 실제 느린 모드가 근사율에 가까워지는지 확인하자. 숨은 변수의 단독 이완시간과 전체계의 느린 모드 시간은 같은 양이 아니다.

9. 중복 고유값도 계산해야 한다

η=0이면 B²=0이다. B=0일 수도 있지만,0이 아닌 nilpotent 행렬일 수도 있다.

$$e^{Mt}=e^{-\tau t}(I+tB)\qquad(\eta=0).$$

a=d=ε=b=1,c=0,x₀=0,y₀=1이면 x=t e⁻ᵗ다. Markov 비교는 xM=0이다. 기억 커널은0이지만 초기 숨은 항이 관측을 움직인다. 따라서 ‘기억 커널이0’과 ‘모든 숨은 초기값에 대해 x만으로 닫힌다’는 다른 명제다. 후자의 충분하고 필요한 조건은 이 가족에서 b=0이다.

10. 독립적인 적분 상태로 검산한다

독립 참조에는 J̇=x−κJ,J(0)=0을 추가한다. 그러면 J는 소거식의 convolution이고, (x,y,J)의3차원 행렬 지수로 함께 계산할 수 있다. 생산 계산은2차원 흐름과 별도의 해석적 convolution 공식을 쓰므로 같은 식을 복사해 답을 만든 검사가 아니다.

예를 들어 표의 ε=1에서는 x=(2e⁻ᵗ+e⁻⁴ᵗ)/3, y=2(e⁻ᵗ−e⁻⁴ᵗ)/3이다. 이 값과 초기 항·적분 항을 관측 방정식에 넣어 속도를 재구성한다. 계산된 두 쪽의 구간 차이가0을 포함하는지 확인한다. 구간에0이 있다는 이유만으로 그 안의 모든 수가 정확히0이라는 뜻은 아니다.

11. 표시할 수 없는 작은 항을0으로 만들지 않는다

아주 빠른 감쇠는 고정 정밀도의 지수 구간이 양의 하한을 유지하지 못하게 할 수 있다. 이때 초기 항의 해석적 부호와 로그를 따로 계산한다. 로그는 기준1s⁻¹로 나눈 무차원 크기다.

$$\log\frac{|F(t)|}{1\,\mathrm{s}^{-1}}=\log\frac{|by_0|}{1\,\mathrm{s}^{-1}}-\frac d\varepsilon t\qquad(by_0\ne0).$$

예를 들어 b=y₀=1,d=8,ε=10⁻⁹,t=4s이면 오른쪽은−32×10⁹다. 그 항은 양수지만 일반 Number로 표시할 수 없고512bit 고정소수점의 상대 정밀도도 부족하다. 반환값은 미해결 구간과 별도 로그·부호를 남긴다. 이를 구조적으로0인 경우와 합치지 않는다. 두 큰 항을 빼서 생기는 구간 폭도 지우지 않는다.

12. 계산 범위와 시간 조작

입력은 소유 정수17개와 양의 분모를 쓴다. 정수 크기는10⁹ 이하이고 a,d>0, ε>0, a,d와 b,c의 절댓값은8 이하, ε≤4, |x₀|,|y₀|≤4, 시간0…4s, 기록1…64다. ad−bc≥0의 부호도 정수로 검사한다. 매우 가까운 안정·경계 경우를 부동소수점 차이로 분류하지 않는다.

해는 시간 적분 간격을 잘게 나눈 결과가 아니다. 두 실수 감쇠 모드·감쇠 회전·고유값 합류 근처의 전체함수 급수를 구별해 방향성512bit 구간을 계산한다. 급수는 꼬리 경계를 포함한다. 기록 수가 바뀌어도 같은 물리 끝점의 값은 같다. 정확한 정상 초기 상태는 그 항등식으로 유지한다. 전체0초기값,0시간, b=0, c=0과 중복 고유값도 따로 검산한다.

13. AI 축약 모형에서 무엇을 검증할까

다음 구별은 관측 표현이나 잠재 동역학을 설계할 때에도 중요하다.

조건	기억 커널	초기 항	올바른 결론
b=0	0	0	모든 숨은 준비에서 x가 자율적
c=0,b≠0	0	남을 수 있음	y₀를 버린 x만의 초기값 문제와 다를 수 있음
y₀=(c/d)x₀	일반적으로 남음	남을 수 있음	초기 준정상이 미래의 불변성을 보장하지 않음
ad=bc와 정확한 정상 준비	남을 수 있음	남을 수 있음	전체 합이 정상 해를 재구성함

훈련 자료에서 하나의 y₀만 본 모델은 다른 숨은 준비의 초기 층을 놓칠 수 있다. ε가 작은 한 사례의 성공을 다른 결합·시간 창·초기화에 확대하지 않는다. 비선형 사영, 확률적 준비와 조건부 기대, 변동 소산 관계, 불안정 모드, 공간 재규격화와 유효 결합의 연구 범위는 별도다. 이 작은 안정 선형 가족만으로 그 전체를 완료했다고 판단하지 않는다.

14. 풀이와 함께 확인하기

1. 소거한 항을 구하라. a=2,b=1,c=2,d=3,ε=1,y₀=0이면 F와 K는? 풀이: F=0,K(u)=2e⁻³ᵘ다. 초기 항이 없다고 기억도 없는 것은 아니다.

2. 두 시간척도를 비교하라. 같은 계수에서 ε=1과1/16의 숨은 이완시간과 Markov 성장률은? 풀이: 숨은 시간은1/3s와1/48s다. μM은 둘 다−4/3s⁻¹이다. 실제 느린 고유값은 표처럼 다르므로 비교 모형의 동일성을 실제 궤적의 동일성으로 읽지 않는다.

3. 기억이 없어도 숨은 준비가 남는 예. a=d=ε=b=1,c=0,x₀=0,y₀=1일 때 x와 xM은? 풀이: y=e⁻ᵗ,x=t e⁻ᵗ,xM=0이다. 초기 강제 항이 관측을 만든다.

4. 안정한 진동의 손계산. a=d=ε=1,b=2,c=−2,x₀=1,y₀=0일 때 해를 구하라. 풀이: x=e⁻ᵗcos(2t),y=−e⁻ᵗsin(2t)다. Markov 비교는 e⁻⁵ᵗ이므로 진동과 같은 궤적이라고 볼 수 없다. 여기서 Γ=−3이므로 Γ>0에 의존하는 경계는 쓰지 못한다.

5. 경계 안정과 준비. a=b=c=d=ε=1에서 (x₀,y₀)=(1,1)과(1,0)을 비교하라. 풀이: 첫 준비는 상수(1,1)이다. 둘째는 x=(1+e⁻²ᵗ)/2,y=(1−e⁻²ᵗ)/2다. xM은 두 준비 모두1이므로 초기 숨은 정보가 장시간 결과에도 영향을 준다.

6. 아주 작은 양의 초기 항. b=y₀=1,d=8,ε=10⁻⁹,t=4s의 F는 정확한0인가? 풀이: 아니다. 부호는 양수, 기준1s⁻¹에 대한 로그는−32×10⁹다. 미해결 구간·로그와 별도 부호를 함께 확인하며 표시할 수 없는 값을0으로 확정하지 않는다.