| Las probabilidades de transición | Matriz de transición |
Las probabilidades de transición en n pasos satisfacen la ecuación de Chapman-Kolmogorov, es decir, para cualquier k tal que 0 < k < n se cumple que:
Donde E denota el espacio de estados. Cuando la cadena de Markov es homogénea, muchas de sus propiedades se pueden obtener a través de su matriz de transición, definida, entrada a entrada, como:
En donde la entrada i, j corresponde a la probabilidad de ir del estado i a j en un paso. De la misma manera se puede obtener la matriz de transición en n pasos como:
|
Una matriz de transición, para una cadena de Markov de n estados, es una matriz de n X n con todos los registros no negativos y con la propiedad adicional de que la suma de los registros de cada columna (o fila) es 1. Los
|
se agrupan en la matriz de transición de la cadena de Markov, de tal forma que: 