엔트로피 생성과 경로의 시간 방향

1. 정상 상태의 영상에도 방향이 있다

세 방을 오가는 사람들의 영상을 보자. 각 방의 평균 인원은 일정하다. 이 영상을 거꾸로 틀면 어떨까? 대부분 시계 방향으로 이동했다면, 방별 인원 사진은 같아도 거꾸로 움직이는 영상은 덜 그럴듯할 수 있다.

정상성은 한 시각의 확률에 관한 말이고 비가역성은 전체 경로의 확률을 비교한다. 정상분포의 Shannon 엔트로피가 일정해도 평균 경로 비가역성은 관측 시간에 비례해 늘 수 있다. 한 경로의 값·평균 생성률·지수 평균은 서로 다른 관측량이다.

2. 엔트로피의 이름보다 실험을 먼저 정한다

시간에 무관한 연속 시간 Markov 사슬을 사용한다. 시계 방향0→1→2→0의 전이율은 a,b,c, 반대 방향은 d,e,f이며 모두 양수다. 확률은 행 벡터, 진화식은 ṗ=pQ이고 유일한 정상분포 π에서 시작한다. 상태는 시간 역전에 대해 짝이므로 영상을 뒤집어도 상태 이름 자체는 바뀌지 않는다.

모든 역방향 변이 존재하므로 유한한 점프 경로의 로그 확률 비를 비교할 수 있다. 시간 의존 제어·홀 변수·숨은 상태·역방향 전이의 부재에는 추가 처리가 필요하다. 열저장고나 에너지 준위를 지정하지 않았으므로 여기서 로그 엔트로피의 단위는 nats이며 곧바로 열/T가 아니다.

3. 통행량·순흐름·비가역성은 다르다

정상 방향별 통행량 Fᵢⱼ=πᵢqᵢⱼ의 단위는 s⁻¹이다. 양방향 통행이 많아도 순흐름은0일 수 있다. 세 상태 고리에서는 각 변의 시계 방향 순흐름이 같다:

Z는 앞의 정상 Markov 단원에서 구한 세 나무 가중치의 합이다. 순흐름에는 부호가 있고 활동량과 같은 관측이 아니다. 양방향 통행을 함께 늘려도 상세 균형을 유지할 수 있다.

4. 비음수 평균 생성률을 얻는다

각 변의 양방향을 묶으면 정상 엔트로피 생성률은

이다. 첫 합은 무방향 변을 한 번만, 두 번째 합은 모든 방향 변을 센다. 계수2를 다시 곱하지 않는다. 양수 x,y에서 x−y와 ln(x/y)의 부호가 같으므로 묶은 각 항이 비음수다. 하지만 방향 하나의 항이나 개별 점프 증가량은 음수일 수 있다.

고리의 통행량 비를 모두 곱하면 정상확률이 소거되어

를 얻는다. affinity는 무차원이며 σ는 nats/s다. 순흐름과 affinity가 함께 음수이면 곱은 양수다. 양의 전이율을 가진 이 고리에서는 σ=0과 상세 균형이 동치다.

5. 구동 예제를 직접 확인한다

(a,b,c,d,e,f)=(2,3,4,1,1,1)/s이면 π=(17,11,10)/38, J=23/38/s다. 시계 방향 통행량 비는34/11,33/10,40/17이고 곱은24다. 따라서 σ=(23/38)ln24≈1.92356 nats/s다.

앞의 두 예제는 히스토그램과 Shannon 엔트로피 ln3이 같지만 경로 비가역성의 생성률은 다르다. 세 번째는 상세 균형이 균일 분포나 양방향 전이율의 단순한 같음을 뜻하지 않음을 보여 준다.

6. 경로에는 대기시간도 들어간다

연속 시간 경로는 초기 상태·점프 순서·점프 시각·관측 끝 시간 T를 함께 지정한다. 그 밀도에는 초기 확률, 점프 전이율의 곱, 각 체류 구간의 생존 지수 인자가 들어간다.

같은 자율 생성자로 경로를 뒤집으면 상태별 총 체류시간이 같아 생존 인자가 상쇄된다. 이는 지금 정한 켤레 실험의 성질이며, 서로 다른 임의 생성자의 비교에서도 대기시간을 버려도 된다는 규칙이 아니다.

정상 초기 무게를 포함하면

다. Θ는 [0,T]의 전체 경로를 뒤집는다. 마지막 등식은 정상확률 경계항의 망원합이다. 점프 수별 경로 밀도 자체는 시간 단위를 포함하지만, 대응하는 역전 경로와의 비는 무차원이다.

7. 열린 경로에는 경계항이 필요하다

시계 방향으로 한 바퀴 돌아 시작 상태로 오면 경계항은0이고 S=𝒜다. 반대 방향은−𝒜다. 하지만 열린 경로의 끝 상태는 초기 상태와 정상확률이 다를 수 있다.

비균일 상세 균형 예제 (2,3,1,1,2,3)/s에서 열린0→1점프의 전이율 항은 ln2다. 경계항은 ln(π₀/π₁)=−ln2이므로 총 S는0이다. 전이율 비만 읽으면 상세 균형 경로의 총 비가역성을 잘못 계산한다.

5절의 구동 예제에서 같은 열린 점프의 총값은 ln(34/11)이며 ln2가 아니다. 정상 초기화라고 모든 열린 경로의 경계항이0인 것은 아니다. 그 경계항의 앙상블 평균이0이라는 사실과 구별한다.

8. 음수 실현과 양수 평균은 모순이 아니다

현재 정한 정상 실험에서는

이다. 시계 방향으로 구동하는 계에서도 반대 방향 한 바퀴는 음의 S를 가질 수 있다. 그런 경로는 지수 평균에서 큰 역할을 한다. 음수 경로를 거의 관측하지 못한 유한 히스토그램으로는 두 번째 관계의 추정이 부정확할 수 있다.

두 번째 항등식은 exp(−S)가 원래 경로 법칙 P를 정규화된 역전 법칙으로 바꾼다는 사실에서 나온다. 잘라낸 경로 목록을 다시 정규화해서 항등식을 검증했다고 주장하지 않는다. 적절한 기댓값 조건에서 Jensen 부등식은 비음수 평균을 주고, 통행량 식은 그 생성률과 단위까지 알려 준다.

9. 정상 adjoint로 비교를 구체화한다

정상 adjoint 전이율은

다. 정상성 덕분에 확률이 보존되고 이탈률이 원래와 같다. 정상법칙은 π이며 변별 순흐름은 반대다. 일반적으로 여섯 전이율을 단순히 서로 맞바꾸고 다른 조건을 유지하는 것과 다르다.

원래 과정과 adjoint 과정의 경로 상대 엔트로피율도 σ다. 이탈률이 같으므로 이 비교에서는 생존 항이 상쇄된다. 이는 동역학의 통계적 구별 가능성과 비가역성을 연결하며, 형식적인 전이 네트워크에 열저장고를 자동으로 부여하지 않는다.

10. 균일 고리에는 독립적인 횟수 해가 있다

모든 시계 방향 전이율을 α, 반대 방향을 β로 두자. 모든 상태의 이탈률이 α+β로 같다. 점프는 Poisson 시계이고 방향 표지가 독립이므로 thinning으로 N₊∼Poisson(αT), N₋∼Poisson(βT)가 독립이다. 이는 균일성의 결과이며 일반적인 상태 의존 전이율에 그대로 적용하지 않는다.

π가 균일하므로 시계 방향 점프는 ln(α/β), 반대 방향은 그 음수를 더한다:

α=3/s, β=1/s이면 평균은2(T/s)ln3, 분산은4(T/s)(ln3)²다. 한 바퀴에는 점프 증가량 세 개가 있지만 관측 경로가 반드시 한 바퀴를 완성하는 것은 아니다. 완성한 순환 횟수만으로 열린 경로의 엔트로피를 대체하지 않는다.

11. 기울인 연산자로 지수 평균을 계산한다

일반적인 양의 전이율에서 Aᵢⱼ=ln(Fᵢⱼ/Fⱼᵢ)로 쓰자. tilted 연산자와 생성함수는

다. 일반 z에서 L_z는 확률 생성자가 아니다. 대각은 Q의 대각을 유지하며, 행 합을0으로 강제하면 다른 양을 계산한다. z=0에서는 Q, z=1에서는 정상 adjoint이므로 M_T(0)=M_T(1)=1이다.

현재 자율·정상·짝 상태 실험에서는 M_T(z)=M_T(1−z)다. 균일 고리에서는 앞의 횟수 공식으로 직접 확인할 수 있다. 일반 구동, 불완전 관측, 역방향 지지의 부재에는 실험과 가정을 다시 확인해야 한다.

12. 수학적 의미와 물리적 의미를 나눈다

nats 단위의 경로 엔트로피는 명시한 모형에서 잘 정의되는 통계량이다. 점프 전이율의 로그를 물리적 저장고 엔트로피로 해석하려면 적절한 국소 상세 균형·상태 에너지·저장고 결합 등 미시적 정보가 더 필요하다. 상수를 곱하는 것만으로 빠진 물리 모형이 생기지는 않는다.

AI 시스템의 사건 기록을 뒤집어 비교하면 통계적 방향성을 조사할 수 있다. 그것만으로 하드웨어의 방출 열을 측정했다고 할 수는 없다. 숨은 상태, 표본화 간격, 잘못된 Markov 가정, 전이율 추정 오차도 관측 결과를 바꾼다. 이는 경로 관점을 버릴 이유가 아니라 연구할 질문이다.

13. 해설이 있는 연습 문제

1. 같은 히스토그램에서 생성률이 다를 수 있는가? 그렇다. 표의 첫 두 배경은 모두 균일한 π지만 생성률은0과2ln3 nats/s다. 히스토그램만으로 전이 통행량이나 경로 확률을 정할 수 없다.

2. 역방향 한 바퀴의 S=−ln24이면 σ도 음수인가? 아니다. 그것은 가능한 개별 실현이다. 구동 예제의 평균 생성률은 σ=(23/38)ln24>0이다. 점프나 순환의 기여와 앙상블 생성률을 구별한다.

3. 열린 평형 점프0→1의 총 S가 왜0인가? 전이율 항 ln2와 정상확률 경계항−ln2가 상쇄된다. 어느 한 항만 남기면 다른 관측량을 계산한다.

4. 균일 고리의 적분 요동 관계를 확인하라. 횟수 공식에 z=1을 넣으면 α(β/α−1)+β(α/β−1)=β−α+α−β=0이다. 따라서 모든 유한 T에서 M_T(1)=exp0=1이며 경로를 잘라 합할 필요가 없다.

5. P(S=0)은 무점프 확률뿐인가? 아니다. α≠β에서 양의 시계·반시계 점프 수가 같아도 S=0이다. exp[−(α+β)T]는 한 기여일 뿐이다. α=β이면 점프가 많아도 모든 경로에서 S=0이다.

6. 모든 전이율에 c>0을 곱하면 무엇이 달라지는가? π와 affinity는 같고 J와 σ는 c배다. 관측 시간을 T/c로 줄이면 점프 시각을 재척도한 전체 증가량 분포가 원래 T에서의 분포와 같다. 정상 사진이 같아도 영상의 물리적 시계는 중요하다.

14. 적용 범위와 다음 학습

이 단원은 자율·시간 독립 전이율, 정상 초기분포, 시간 역전에서 짝인 상태, 모든 양의 역방향 전이를 가정한다. 경로 법칙과 정상 엔트로피 생성의 배경은 Seifert의 저자 원고6.1–6.2절에서 이어 읽을 수 있다. 세 상태 고리와 균일 계수 참조는 그 가정을 구체적인 계산으로 확인하는 예다.

그림은 지정한 정상 과정의 집합 평균을 계산한다. 시간0·tilt0/1·상세 균형의 정확 항등식과 나머지 tilt의 전파 계산은 다른 근거다. 예시 경로 몇 개나 잘린 경로 합을 다시 정규화해 경험적 요동 관계를 확인한 것으로 해석하지 않는다.

물리적 열·일을 해석하려면 에너지와 저장고, 국소 상세 균형을 추가로 정해야 한다. 비정상 수지·다중 저장고·숨은 생성·거친 입자화·유한 데이터 추정·불확실성 관계·연구 응용은 이어지는 전체 교육과정에서 다룬다. 주차·분량 제한은 없다.