집계한 상태의 닫힘과 기억

1. 같은 화면 뒤에 다른 내부 상태가 있다

대기 중인 작업을 모두 A, 완료된 작업을 B라고 표시한다고 하자. A 안에는 곧 끝나는 작업과 오래 걸리는 작업이 섞여 있다. 현재 A의 비율만 같다고 다음 순간 B로 이동할 비율도 같을까? 내부 구성이 다르면 다를 수 있다.

이것이 coarse graining의 동역학적 질문이다. 앞의 거시 관측 단원에서는 미시 상태를 같은 이름으로 묶어 확률·정보 손실을 계산했다. 여기서는 묶은 변수를 다음 시각으로 보내는 규칙까지 알아본다. 계산 결과를 압축하는 일과 압축된 상태만으로 다음 결과를 예측하는 일은 다르다.

2. 확률 법칙과 한 번의 관측을 구분한다

이번에는 세 상태0,1,2의 이산 Markov 사슬을 지정한다. T의 열은 출발 상태, 행은 도착 상태다. 확률 벡터 p는 열벡터이며 합이1이다.

$$p_{k+1}=Tp_k,\qquad T_{ij}=\Pr(X_{k+1}=i\mid X_k=j),\qquad \sum_iT_{ij}=1.$$

k는 갱신 횟수다. 이 모형에 초 단위 시계나 연속 시간 생성자를 지정하지 않았다. 자기 전이는 남는 확률이다. 관측값 하나의 경로를 무작위로 생성하는 대신, 지정한 초기 법칙의 정확한 분포를 전파한다. 한 미시 상태에서 시작하는 준비도 허용한다.

3. 합치는 사상과 되돌리는 선택

A={0,1}, B={2}로 묶는다. 거시 법칙 m의 첫 성분은 p₀+p₁, 둘째는 p₂다. 거시 A를 미시적으로 다시 표현할 때에는 내부 비율 α를 선택해야 한다.

$$C=\begin{pmatrix}1&1&0\\0&0&1\end{pmatrix},\quad m=Cp,\quad R=\begin{pmatrix}\alpha&0\\1-\alpha&0\\0&1\end{pmatrix},\quad CR=I_2,\quad 0\leq\alpha\leq1.$$

C는 내부 구성을 잃는다. R은 그 구성을 복원한 것이 아니라 하나를 선택한 것이다. 실제 p가 Rm과 다를 수 있다. α는 학습자가 지정하는 lifting의 일부이며 모든 시각에서 참인 조건부 확률이라고 자동으로 해석하지 않는다. α=0과1도 허용하지만, 경계 선택이 숨은 동역학의 감쇠를 보장하지는 않는다.

4. 모든 초기 상태에서 닫히는 조건

거시 상태만으로 정확히 예측하려면 같은 블록 안의 출발 상태들이 모든 도착 블록에 같은 확률로 이동해야 한다. 이번 두 블록에서는0→2와1→2의 확률을 비교하면 된다.

$$CT=AC\quad\Longleftrightarrow\quad T_{20}=T_{21},\qquad A=CTR.$$

이 조건이 성립하면 m의 다음 법칙은 항상 Am이다. 특정 정상 초기화에만 맞는 것이 아니라 모든 초기 법칙에 적용된다. 이 의미를 strong lumpability라고 부르겠다. 필요성은 같은 거시 상태를 갖는 초기 미시 점질량0과1을 비교하면 보인다. 충분성은 CT의 첫 두 열이 같으므로 직접 확인할 수 있다. 문헌의 여러 lumpability 명칭은 관례가 달라, 여기서는 이 정확한 대수 조건과 초기화 범위를 기준으로 삼는다.

5. 정상 확률을 맞추어도 미래가 다를 수 있다

다음 행렬의 열 합과 행 합은 모두1이다. 따라서 균등 미시 법칙은 정상이다. 하지만0과1의 B 출구 확률은 다르다.

$$T=\begin{pmatrix}1/2&1/4&1/4\\1/4&0&3/4\\1/4&3/4&0\end{pmatrix}.$$

α=1/2를 선택한 비교표다. 정상 거시 법칙은 (2/3,1/3)이고 A도 이 법칙을 보존한다.

초기 미시 법칙	초기 거시 법칙	실제 다음 B	A가 예측한 다음 B
(1,0,0)	(1,0)	1/4	1/2
(0,1,0)	(1,0)	3/4	1/2
(1/3,1/3,1/3)	(2/3,1/3)	1/3	1/3

정상 자료만으로 검증하면 마지막 행의 성공만 볼 수 있다. 그러나 앞의 두 행은 같은 거시 입력에 서로 다른 정답을 준다. 현재의 m만 받는 결정적인 예측기는 둘을 동시에 맞출 수 없다. 이는 추정 오차를 줄이는 것만으로 해결되지 않는 관측 정보의 문제다.

6. 버린 정보를 정확히 분리하기

되돌려 표현한 부분 Rm과 나머지 h를 분리한다. h는 확률 분포가 아니라 부호 있는 편차다.

$$H=I_3-RC,\qquad h_k=Hp_k,\qquad p_k=Rm_k+h_k,\qquad Ch_k=0.$$

A 안에서0의 확률을 조금 늘리고1을 같은 만큼 줄이면 거시 합은 변하지 않는다. 이 방향이 숨은 공간이다. H는 사영으로 H²=H이지만 이 선택은 임의의 Euclidean 직교 사영이라고 주장하지 않는다. h에 음의 성분이 있는 것은 정상이며, 이를0으로 잘라내면 원래 분해를 잃는다.

7. 거시와 숨은 부분을 함께 전파하기

분해를 미시 갱신식에 대입하고 C와 H를 곱하면 두 연립식이 나온다.

$$m_{k+1}=Am_k+Bh_k,\qquad h_{k+1}=Dm_k+Eh_k,\qquad B=CT,\quad D=HTR,\quad E=HT.$$

표면적으로는 여전히 숨은 변수가 있다. 하지만 둘째 식은 이전의 거시 상태가 숨은 부분을 어떻게 만들었는지 보여준다. 초기 h₀=0이어도 Dm₀가0이 아니면 다음 시각에는 숨은 성분이 생긴다. 처음에 lifting과 일치했다는 사실만으로 미래의 기억 항을 생략할 수 없다.

8. 숨은 변수를 없애면 과거가 남는다

둘째 식을 반복 대입하여 h를 제거한다. 이 식은 근사가 아니라 미시 선형 갱신의 다른 표현이다.

$$m_{k+1}=Am_k+F_k+\sum_{j=0}^{k-1}K_{k-1-j}m_j,\qquad F_k=BE^kh_0,\quad K_\ell=BE^\ell D.$$

첫 항은 현재 상태만의 효과, F는 초기 숨은 준비의 효과, 합은 과거 거시 상태의 기억이다. k=0에는 합이 비어 있다. 이산 식은 직접 유도했으며, 연속 선형계의 기억 적분과 비교할 수 있다. Gouasmi·Parish·Duraisamy의 연구 2절은 연속 선형계에서 숨은 변수를 제거하는 과정을 제시한다. 정확한 기억식을 썼다는 사실만으로 계산 비용이 줄거나 기억이 짧아지는 것은 아니다.

9. 기억 커널은 확률 전이 행렬이 아니다

K의 성분은 부호가 있을 수 있으며 열 합은0이다. 과거 항의 양·음이 현재 항과 합쳐져 올바른 확률 법칙을 만든다. 각 항만 떼어 확률이라고 해석하지 않는다.

이번 숨은 공간은1차원이므로 관측 가능한 커널의 시간 의존성은 스칼라 λ의 거듭제곱으로 정리된다. aᵢⱼ는 상태 i에서 j로 가는 확률이다.

$$\lambda=1-a_{01}-a_{10}-(1-\alpha)a_{02}-\alpha a_{12},\qquad K_\ell=\lambda^\ell K_0.$$

양의 λ는 같은 부호의 기억, 음의 λ는 번갈아 바뀌는 기억을 만들 수 있다. 절댓값이1에 가까우면 느리게 줄어든다. λ=0에서는 첫 커널 이후가0이지만 첫 커널까지0이라는 뜻은 아니다. 또한 숨은 모드가 오래 남더라도 B가 그 방향을 관측하지 못하면 거시 영향은 없을 수 있다. 숨은 감쇠와 거시 오차를 같은 수치로 판단하지 않는다.

10. 세 가지 계산을 나란히 비교한다

기준은 실제 미시 법칙을 전파한 뒤 합친 결과다. A만 반복하는 순수 Markov 근사와, 초기 항은 보존하면서 최근 L개 기억 항만 남기는 근사를 비교한다.

$$\widetilde m_{k+1}^{(L)}=A\widetilde m_k^{(L)}+F_k+\sum_{j=\max(0,k-L)}^{k-1}K_{k-1-j}\widetilde m_j^{(L)}.$$

L=0도 초기 항 F는 남는다. 따라서 이 근사는 A만 반복하는 것과 다르다. 전체 표시 궤적을 얻는 데 필요한 모든 지연을 남기면 정확한 궤적과 같다. 짧은 기억이 항상 확률 분포를 주거나, L을 하나 늘릴 때마다 전역 오차가 단조롭게 감소한다고 보장하지 않는다.

방법	초기 숨은 항	기억 합	보장되는 성질
실제 미시 전파 후 집계	미시 상태에 포함	미시 상태에 포함	정확한 확률 법칙
A만 반복	버림	버림	확률 법칙이지만 참 거시 과정과 다를 수 있음
유한 기억 L	보존	최근 L개만	일반적으로 부호 있는 근사, 정확도·양수성 별도 검사

11. 음의 확률이 나오면 근사의 실패다

0→2가1, 1→0이1/4, 2→0과2→1이 각각1/2이고 나머지 비자기 전이가0인 예제를 보자. α=0, 초기 상태0, L=0이면 첫 거시 결과는 맞지만 둘째에는 (5/4,−1/4)가 나온다. 실제 둘째 거시 법칙은 (1,0)이다.

이는 미시 사슬이 잘못된 확률을 만든 것이 아니다. 필요한 기억을 버린 근사가 확률 공간을 벗어난 것이다. −1/4를0으로 자르거나 합을 다시1로 맞추면 다른 알고리즘이 되므로 원래의 근사로 표시하지 않는다. 이 상태와 실제 법칙 사이의 half-L1 차이는1/4지만, 확률 법칙 둘의 total variation이라고 이름 붙이지 않는다.

$$\varepsilon_L(k)=\frac12\sum_{b\in\{A,B\}}\left|m_b(k)-\widetilde m_b^{(L)}(k)\right|.$$

실제 과거 궤적에 생략 커널을 곱한 국소 누락 항도 전체 근사 궤적의 오차 경계와 다르다. 과거의 근사 오차가 다시 전파되기 때문이다. 향후 오차 경계를 유도하려면 안정성과 커널 크기를 함께 다뤄야 한다.

12. 정확 계산에도 표시 한계가 있다

계산은 모든 입력·행렬 거듭제곱·기억 항·확률·잔차를 유리수로 유지한다. 정수 크기10⁶ 이하, 갱신0…32회, 기억 깊이0…32를 허용한다. 초기 세 무게는 합으로 한 번 정규화하고, 각 전이 열의 남는 확률은 자기 전이다. 임의의 갱신마다 법칙을 재정규화하지 않는다.

정확한 항이 일반 부동소수점 표시 범위보다 작을 수 있다. 예를 들어 λ=10⁻¹²의31번째 커널은0이 아니어도 화면의 Number 값으로 나타내지 못할 수 있다. 부호와 유리수 분자·분모를 확인하며0으로 대체하지 않는다. 실제 분포의 질량 보존 잔차와 완전 기억 재구성 잔차는 정확히0이어야 한다.

기록은 k=0부터 요청한 끝점까지다. 각 행에는 다음 한 갱신의 재구성 진단도 포함한다. 마지막 행의 이 진단을 표시 궤적에 몰래 추가한 시각과 혼동하지 않는다. 연속 곡선 보간을 정확한 중간 시간의 확률이라고 주장하지도 않는다.

13. AI의 상태 표현과 유효 이론

학습된 잠재 상태가 작다고 충분한 예측 상태인 것은 아니다. 같은 표현으로 합쳐진 두 준비가 서로 다른 미래를 갖는다면, 과거 기록·추가 특징·확률적 상태 추론 중 무엇을 더 유지할지 결정해야 한다. 임의의 무작위 잡음을 추가한다고 누락된 초기 정보와 기억이 자동으로 복원되지는 않는다.

α를 바꾸면 순간 행렬과 기억·초기 항의 분할은 바뀌지만 정확한 거시 궤적은 바뀌지 않는다. 이는 lifting 선택을 물리적 관측 변화와 구별하는 검사다. 현재 예제는 한 고정 분할의 유한 이산 사슬이다. 연속 시간, 빠른 변수 제거, Markov 극한의 시간척도·초기 층, 공간 블록 변환·재규격화·유효 결합과 보편성은 별도의 유도와 후속 연구 범위다. 유한 예제 검산으로 그 모든 주제가 끝났다고 판단하지 않는다.

14. 풀이와 함께 확인하기

1. 숨은 준비의 구별. 표의 상태0과1이 같은 거시 초기 상태인지 확인하고 다음 B 확률을 구하라. 풀이: 모두 A에 있을 확률1이다. 다음 B는 각각1/4와3/4이므로 현재 거시 상태만으로 둘을 동시에 예측할 수 없다.

2. 정상성의 함정. 표의 균등 미시 법칙과 A의 정상 거시 법칙이 맞으면 strong lumpability인가? 풀이: 아니다. 모든 초기 법칙에 대한 조건은 두 출구 확률의 일치다. 이 예제에서는1/4와3/4로 다르다.

3. 초기 h가0이면 충분한가? 초기 미시 법칙이 (1/2,1/2,0), α=1/2일 때 둘째 거시 예측을 비교하라. 풀이: 첫 결과는 둘 다 (1/2,1/2)다. 실제 둘째는 (13/16,3/16), A 반복은 (3/4,1/4)이므로 차이는1/16이다. D가 새 숨은 성분을 만들었다.

4. 분할의 불변성. 같은 미시 준비에서 α를 바꿀 때 무엇이 같아야 하나? 풀이: C와 T 및 실제 초기 p가 같으므로 정확한 m 궤적은 같다. 순간 A와 F,K는 바뀔 수 있다. 전체 재구성을 더한 결과로 검사해야 한다.

5. 음수의 해석. L=0의 둘째 근사가 (5/4,−1/4)이면 어떻게 보고할까? 풀이: 확률 법칙이 아닌 부호 있는 근사로 표시하고, 실제 (1,0)과의 half-L1 차이1/4를 보고한다. 강제로 자르거나 재정규화하지 않는다.

6. 기억과 수치0. λ=0과 λ=10⁻¹²를 같은 경우로 취급해도 될까? 풀이: 아니다. λ=0에서는 지연1 이후가 대수적으로0이다. 양의 작은 λ에서는 높은 지연의 값이 표시 범위를 벗어나도 정확히0이 아니다. 유리수·부호를 보고 적용하려는 근사와 그 오차 기준을 명시해야 한다.