Cadena de Màrkov de temps continu

Gràfic de transició amb probabilitats de transició, exemplar per als estats 1, 5, 6 i 8. Hi ha un passatge secret bidireccional entre els estats 2 i 8.

Una cadena de Màrkov de temps continu (CTMC) és un procés estocàstic continu en el qual, per a cada estat, el procés canviarà d'estat segons una variable aleatòria exponencial i després passarà a un estat diferent segons l'especifiquen les probabilitats d'una matriu estocàstica. Una formulació equivalent descriu el procés com un estat canviant segons el valor mínim d'un conjunt de variables aleatòries exponencials, una per cada estat possible al qual es pot moure, amb els paràmetres determinats per l'estat actual.

Un exemple de CTMC amb tres estats $\{0,1,2\}$ és el següent: el procés fa una transició després de la quantitat de temps especificada pel temps de retenció : una variable aleatòria exponencial $E_i$, on i és el seu estat actual. Cada variable aleatòria és independent i tal que $E_0\sim \text{Exp}(6)$, $E_1\sim \text{Exp}(12)$ i $E_2\sim \text{Exp}(18)$. Quan s'ha de fer una transició, el procés es mou segons la cadena de salt, una cadena de Màrkov de temps discret amb matriu estocàstica:

$\left[\begin{array}{ccc}0& \frac{1}{2}& \frac{1}{2}\\ \frac{1}{3}& 0& \frac{2}{3}\\ \frac{5}{6}& \frac{1}{6}& 0\end{array}\right].$

De manera equivalent, per la propietat d'exponencials competidors, aquest CTMC canvia d'estat des de l'estat i segons el mínim de dues variables aleatòries, que són independents i de manera que $E_{i,j}\sim \text{Exp}(q_{i,j})$ per $i\ne j$ on els paràmetres estan donats per la matriu Q $Q=(q_{i,j})$

$\left[\begin{array}{ccc}-6& 3& 3\\ 4& -12& 8\\ 15& 3& -18\end{array}\right].$

Cada entrada no diagonal $q_{i,j}$ es pot calcular com la probabilitat que la cadena de salt es mogui de l'estat i a l'estat j, dividida pel temps de retenció esperat de l'estat i. Les entrades diagonals es trien de manera que cada fila sumi 0.

Un CTMC satisfà la propietat de Màrkov, que el seu comportament depèn només del seu estat actual i no del seu comportament passat, a causa de la manca de memòria de la distribució exponencial i de les cadenes de Màrkov de temps discret.