Markov 전이·연속시간 Generator

조건부 전이 법칙부터 명시한다

Markov 모형은 현재 상태가 주어지면 다음 전이에 더 과거의 정보가 필요하지 않다고 말합니다. 이웃 상태가 독립이라는 뜻은 아닙니다. 상태 0·1에서 a는 0→1, b는 1→0의 확률입니다.

p_n은 state1의 주변 확률입니다. 행은 현재 상태에 대한 조건부 법칙이고 상태 확률 벡터는 현재의 불확실성입니다. 둘을 섞으면 행렬 모양은 맞아도 의미가 틀릴 수 있습니다.

수렴 곡선 대신 실제 법칙을 반복한다

이산 그림은 실제 확률 갱신입니다. a=0.2, b=0.4, 초기 state1이면 1→0.6→0.44입니다. a+b>0의 정상 확률은 a/(a+b)이지만 정상 법칙의 존재가 모든 경우의 수렴을 보장하지는 않습니다.

위 그림의 화살표는 선택한 구간의 P^n, 원 안은 현재 주변 확률입니다. n=0이면 화살표 행렬은 항등입니다. 항상 한 step의 전이라고 읽지 마세요. 주기성·기약성·시간 평균은 뒤의 ergodicity 단원에서 보강합니다.

연속시간에는 Generator가 필요하다

연속 모형에서 a,b는 step 확률이 아니라 시간 역수 단위의 jump rate입니다.

a+b>0에서 state1 확률은 pi1+(p0-pi1)exp(-(a+b)t)입니다. 구현은 시간 0 근처에서 expm1을 사용합니다. 두 rate가 0이면 모든 상태가 흡수되어 항등 전이를 유지하며 유일한 정상 법칙을 만들어 내지 않습니다.

역전 조건부 확률에는 Support가 필요하다

선택한 horizon 행렬 K와 초기 p에서 Bayes는 R_ji=p_i K_ij/pnext_j를 줍니다. 양 끝 상태의 joint law를 뒤집는 식입니다. pnext_j=0이면 이 joint law만으로 그 조건부 행을 정할 수 없습니다. 표는 0으로 나누거나 임의 행을 채우지 않고 비워 둡니다.

직접 풀기: 서로 다른 세 행렬

a=b=1의 이산 전이는 교대하므로 P²=I입니다. 연속시간에서는 rate이므로 t=1에 state1에 남을 확률은 (1+exp(-2))/2이며 0이 아닙니다. Generator와 유한시간 전이를 같게 두면 왜 틀리는지 설명하세요. a=b=0, 초기 state1에서는 어떤 reverse 행을 조건부로 정의할 수 없는지도 구하세요.

더 읽기: MIT 확률과정 노트.