Markov 과정과 평형

시간에 따라 확률도 움직인다

확률과정은 시간별 확률변수의 모음입니다. 두 상태 이산시간 Markov 사슬부터 시작합니다. 상태 0은 확률 $a$로 1로, 상태 1은 확률 $b$로 0으로 갑니다. 현재 상태가 다음 상태의 조건부 분포를 정하는 데 충분하다는 가정이지 시간 관측들이 독립이라는 뜻은 아닙니다.

실험은 무작위 경로 하나가 아니라 분포 자체를 정확히 갱신합니다. 정규화·정상성·수렴을 직접 확인할 수 있습니다. 분포가 정상이더라도 개별 궤적은 계속 바뀔 수 있습니다.

행·열 방향부터 정하기

행분포를 쓰면

이며 각 행의 합은 1입니다. 상태 1의 확률을 $p_t$라고 하면 분포는 $(1-p_t,p_t)$이고

입니다. 열분포 규약이라면 전이 행렬을 전치해야 합니다. 규약을 섞으면 그럴듯한 숫자로 잘못된 과정을 계산할 수 있습니다.

정상분포 구하기

정상성은 $\pi_1=a+(1-a-b)\pi_1$입니다. $a+b>0$이면

입니다. $a=0.2,b=0.3$의 정상 점유는 0.4입니다. $p_0=1$의 첫 값들은 0.7, 0.55, 0.475입니다. 양방향 전이가 계속되므로 0이 아니라 0.4로 갑니다.

정상 상태의 두 방향 흐름은 $\pi_0a=\pi_1b$로 균형입니다. 두 상태 예제에는 비자명한 순환 전류가 없습니다. 더 복잡한 네트워크의 정상 전류는 별도 상태와 조건으로 다뤄야 합니다.

수렴을 직접 증명하기

두 번째 고유값은 $1-a-b$입니다. $0<a+b<2$이면 절댓값이 1보다 작아 수렴합니다. 음수이면 정상값 주변에서 부호를 바꾸며 편차가 줄어듭니다.

$a=b=1$에서도 정상분포 $(1/2,1/2)$는 존재하지만 초기 상태 1은 영원히 교대합니다. 정상분포의 존재·유일성과 모든 초기값에서의 수렴은 다릅니다.

$a=b=0$이면 모든 분포가 정상입니다. 공식의 $0/0$에 임의 값을 넣지 않고 유일한 정상 점유가 없다고 표시합니다. 수치 고정점을 읽을 때 이런 경계를 확인해야 합니다.

의존성과 표집

정상 주변분포가 연속 표본의 독립을 뜻하지는 않습니다. 전이가 느리면 긴 상관된 구간이 생깁니다. 궤적 평균의 오차에는 의존성을 고려해야 하며 모든 시간 단계를 독립 관측으로 세면 정보를 과장합니다.

MCMC는 전이를 통해 목표 분포를 표집합니다. 올바른 정상분포 외에도 혼합·초기화·진단이 필요합니다. 이 작은 계산만으로 임의의 고차원 표집법을 검증할 수 없습니다.

시각화와 물리 해석의 범위

파랑은 30회 전이의 정확한 상태 1 확률이고 주황은 유일하게 정의된 정상값입니다. 입자 위치나 관측된 이진 경로 하나가 아닙니다. 두 번째 고유값을 표로 표시해 수렴을 행렬 구조와 연결합니다.

전이 행렬만으로 물리적 온도나 엔트로피 생산을 정하지 마세요. 에너지·저장고·시간 역전 규약·단위가 필요합니다. 학습 동역학과의 교육적 비유가 이 가정을 대신하지 않습니다.

연습과 근거

1. $a=0.1,b=0.4$의 정상 점유는? 답: 0.2입니다.
2. 기준 사슬에서 $p_0=0$의 두 갱신은? 답: 0.2, 0.3입니다.
3. 정상 궤적과 상태가 바뀌지 않는 궤적의 차이를 설명하세요.
4. 평균이 0.5에 가깝다는 이유로 주기 2 예제를 수렴이라고 판정하지 않을 진단을 설계하세요.

배경은 MIT Introduction to Probability의 Random Processes를 참고하세요. 경계 사례의 결론은 위 점화식에서 직접 얻습니다.