Es común ver en el espacio público un porcentaje de personas que fuman y otras que no lo hacen. Cabe la posibilidad de que aquellos que no fuman más adelante sí lo hagan y los que actualmente fuman dejen el cigarrillo. Esta sucesión de observaciones con determinado número de resultados, cada uno de los cuales tiene una probabilidad, depende sólo del resultado de la etapa inmediatamente anterior. Este proceso en el que intervienen variables aleatorias indexadas en el tiempo se denomina cadenas de Markov, haciendo honor al matemático ruso Andrei Andreyevich Markov, quien creó este método. De esta forma la probabilidad de ocurrencia de un evento depende del evento anterior.

Las cadenas de Markov son una de las herramientas más importantes para solucionar situaciones de la vida real, ya sea en tiempo discreto o en tiempo continuo.

Objetivo general

Emplear las cadenas de Markov como una herramienta de resolución para situaciones relacionadas con procesos estocásticos.

Objetivos específicos

• Reconocer las generalidades de una cadena de Markov.

• Identificar las características de un proceso estocástico markoviano.

• Clasificar de forma general las cadenas de Markov.

• Formular modelos soportados en cadenas de Markov

Una cadena o modelo de Markov es una herramienta que sirve para analizar procesos en donde una sucesión de variables aleatorias evolucionan en función de otra variable. Así, estas variables o el conjunto de ellas, las cuales originan efectos aleatorios, reciben el nombre de proceso estocástico.

Una cadena de Markov es una secuencia X₁, X₂, X₃,… de variables aleatorias. El valor de X_n es el estado del proceso en el tiempo n. De esta forma se obtiene la propiedad markoviana.

El desarrollo de este método y su inclusión en las matemáticas se le atribuye a Andrei Andreevich Markov.

La probabilidad de ir del estado i al estado j en n unidades de tiempo está dada por:

En la probabilidad de transición, en un paso, se omite el superíndice y de esta forma se obtiene:

Para ampliar la información sobre este tema, consulte más detalles de las probabilidades de transición y una matriz de transición.

Algunos ejemplos de matrices de transición son:

Las probabilidades de un estado a otro se pueden representar a través de un diagrama de transición de estados, el cual es un grafo dirigido en donde los nodos son los estados de la cadena de Markov y cuyos arcos se deben etiquetar con la probabilidad de transición entre los estados que unen. Cuando la probabilidad es cero, no se pone arco.

La mejor evidencia de todo lo mencionado hasta el momento es a través de la ejemplificación, por eso consulte:

• Ejemplo 1

• Ejemplo 2

• Ejemplo 3

Las cadenas de Markov están caracterizadas por tres factores claves que describen el comportamiento del sistema. Estos factores corresponden a:

• Tiempos de entrada.
• Recurrencia de sus estados.
• Periodicidad.

Consulte un ejemplo haciendo clic aquí.

Existen cinco tipos de cadenas de Markov. Ellas son:

• Cadenas irreducibles

• Cadenas positivo-recurrentes

• Cadenas regulares

• Cadenas absorbentes

• Cadenas ergódicas. Consulte un ejemplo de este tipo de cadena.

En algunos casos en los que se requiere un parámetro de tiempo continuo, porque la evolución del proceso se está observando de manera continua a través del tiempo, se emplean las cadenas de Markov en tiempo continuo, lo cual significa que si en lugar de considerar una secuencia discreta X₁, X₂,..., X_i,.. con i indexado en el conjunto N de números naturales, se consideran las variablesaleatorias X_t con t que varía en un intervalo continuo del conjunto R de números reales, se tendrá una cadena en tiempo continuo.

Para este tipo de cadenas en tiempo continuo,la propiedad de Markov se expresa de la siguiente manera:

Para una cadena de Markov continua con un número finito de estados puede definirse una matriz estocástica dada por:

La cadena se denomina homogénea si

Para cualquier estado i y j y números no negativos t y s

Un par de estados i y j se comunican si existen tiempos t₁ y t_2, tales que Todos los estados que se comunican forman una clase. Si todos los estados forman una sola clase, es decir, si la cadena es irreducible entonces, para toda y todos los estados i y j

Siempre existe y es independiente del estado inicial de la cadena de Markov, para j=0,1,… M, estas propiedades limitantes conocidas como probabilidades de estado estable.

Consulte una de las ecuaciones más importante para obtener la probabilidad del estado estable.

Para evidenciar lo mencionado en este tema, observe un ejemplo.

Las cadenas de Markov son de variada utilización en el mercado y la industria, por esta razón son un instrumento importante en la solución de problemas de diversa índole a nivel empresarial, como por ejemplo, los relacionados con el share de marcas, las dinámicas de mantenimiento y la planeación de tareas administrativas.

Sin embargo, su utilización también abarca distintos campos, donde su uso permite formular modelos climatológicos, resolver problemas estadísticos, solucionar casos de termodinámica, realizar simulaciones como el modelo M/M/1 y rankear las páginas web de Google, entre muchas otras tareas.

Luego de haber visto el desarrollo del tema, consulte un caso en donde quedarán en evidencia todos los conceptos vistos sobre cadenas de Markov.

Una cadena de Markov es una sucesión de ensayos similares u observaciones en la cual cada ensayo tiene el mismo número finito de resultados posibles y en donde la probabilidad de cada resultado para un ensayo dado depende sólo del resultado del ensayo inmediatamente anterior y no de cualquier resultado previo.

Existen cinco tipos de cadenas de Markov. Ellas son:

• Cadenas irreducibles.
• Cadenas positivo-recurrentes.
• Cadenas regulares.
• Cadenas absorbentes.
• Cadenas ergódicas.