Procés de renovació de Markov

Una il·lustració d'un procés de renovació de Markov

Els processos de renovació de Markov són una classe de processos aleatoris en probabilitat i estadístiques que generalitzen la classe de processos de salt de Markov. Altres classes de processos aleatoris, com les cadenes de Markov i els processos de Poisson, es poden derivar com a casos especials entre la classe de processos de renovació de Markov, mentre que els processos de renovació de Markov són casos especials entre la classe més general de processos de renovació.

Definició

En el context d'un procés de salt que pren estats en un espai d'estats $\mathrm{S}$, considereu el conjunt de variables aleatòries $(X_n,T_n)$, on $T_n$ representa els temps de salt i $X_n$ representa els estats associats en la seqüència d'estats (vegeu la figura). Sigui la seqüència de temps entre arribada ${\tau }_n=T_n-T_{n-1}$. Per a la seqüència $(X_n,T_n)$ Per ser considerat un procés de renovació de Markov, s'ha de complir la condició següent:

$\begin{array}{cc}& \mathrm{Pr}({\tau }_{n+1}\le t,X_{n+1}=j\mid (X_0,T_0),(X_1,T_1),\dots ,(X_n=i,T_n))\\ =& \mathrm{Pr}({\tau }_{n+1}\le t,X_{n+1}=j\mid X_n=i)\mathrm{\forall }n\ge 1,t\ge 0,i,j\in \mathrm{S}\end{array}$

Aplicacions

Els sistemes de la teoria de les cues, per exemple, tenen propietats que no sempre es poden representar mitjançant processos simples de Markov. Un exemple és l'autocorrelació. Per aconseguir-ho, sovint s'utilitzen processos semi-Markov per modelar les taxes d'arribada.