INTRODUCCIÓN

Dentro de esta investigación y resumen se planteó el objetivo de definir cada uno

de los conceptos que integran el proceso de Markov, comenzando desde los más
básicos hasta los más complejos, al igual el por qué es llamado así a dicho
estudio, dándole este nombre por su autor (Markov) en este documento se plasma
acerca de su biografía, así como todos sus logros que ejecutó.
Una cadena de Márkov, por tanto, representa un sistema que varía un estado a lo
largo del tiempo, siendo cada cambio una transición del sistema.
 PROCESOS DE MARKOV
¿QUÉ ES EL PROCESO DE MARKOV?
Las cadenas de Markov fueron introducidas por el matemático ruso Andrey
Markov alrededor de 1905. Su intención era crear un modelo probabilístico para
analizar la frecuencia con la que aparecen las vocales en poemas y textos
literarios. El éxito del modelo propuesto por Markov radica en que es lo
suficientemente complejo como para describir ciertas características no triviales de
algunos sistemas, pero al mismo tiempo es lo suficientemente sencillo para ser
analizado matemáticamente. Las cadenas de Markov pueden aplicarse a una
amplia gama de fenómenos científicos y sociales, y se cuenta con una teoría
matemática extensa al respecto. En este capítulo presentaremos una introducción
a algunos aspectos básicos de este modelo.
La cadena de Markov es una serie de eventos, en la cual la probabilidad de que
ocurra un evento depende del evento inmediato anterior. En efecto, las cadenas
de este tipo tienen memoria, "Recuerdan" el último evento y esto condiciona las
posibilidades de los eventos futuros. Esta dependencia del evento anterior
distingue a las cadenas de Markov de las series de eventos independientes, como
tirar una moneda al aire o un dado. En los negocios, las cadenas de Markov se
han utilizado para analizar los patrones de compra, los deudores morosos, para
planear las necesidades de personal y para analizar el reemplazo de equipo. El
análisis de Markov, llamado así en honor de un matemático ruso que desarrollo el
método en 1907, permite encontrar la probabilidad de que un sistema se
encuentre en un estado en particular en un momento dado. Algo más importante
aún, es que permite encontrar el promedio a la larga o las probabilidades de
estado estable para cada estado. Con esta información se puede predecir el
comportamiento del sistema a través del tiempo. La tarea más difícil es reconocer
cuándo puede aplicarse. La característica más importante que hay que buscar en
la memoria de un evento a otro.
Una cadena de Markov se define como una secuencia de variables aleatorias que
representan los estados de un determinado sistema durante una serie de
intervalos de tiempo, de modo tal que el estado del sistema en el intervalo actual
depende únicamente de su estado en el intervalo inmediato anterior y no de los
estados previos.
CONSIDERACIONES DE PROCESO DE MARKOV
Para el estudio de las cadenas de Markov, deben tenerse en cuenta algunos
conceptos claves como los siguientes:
Estados
El estado de un sistema en un instante t es una variable cuyos valores solo
pueden pertenecer al conjunto de estaos en el sistema. El sistema modelizado por
la cadena, por lo tanto, es una variable que cambia con el valor del tiempo, cambio
al que llamamos transición.

Matriz de transición
Los elementos de matriz representan la probabilidad de que el estado próximo sea
el correspondiente a la columna si el estado actual es el correspondiente a la fila.

Posee 3 propiedades básicas:

1. La suma de las probabilidades de los estados debe ser igual a 1.
2. La matriz de transición debe ser cuadrada.
3. Las probabilidades de transición deben estar entre 0 y 1.
Distribución actual (Vector Po): Es la manera en la que se distribuyen las
probabilidades de los estados en un periodo inicial, (periodo 0). Esta información
permitirá averiguar cuál será la distribución en periodos posteriores.
Estado estable: Se puede decir que el estado estable es la distribución de
probabilidades que en cierto punto quedará fija para el vector P y no presentará
cambios en periodos posteriores.
Vamos a considerar procesos estocásticos a tiempo discreto {Xn} que cumplen la
propiedad de Markov. Para describir a esta propiedad y varias de sus condiciones
equivalentes de una manera simple, a la probabilidad P(Xn = xn) se le escribiría
como p(xn), es decir, el subíndice indica también la variable a la que se hace
referencia. El significado de la probabilidad condicional p(xn+1 | xn) es análogo.
Probabilidades de transición en n pasos. La probabilidad P(Xn+m = j | Xm = i)
corresponde a la probabilidad de pasar del estado i al tiempo m, al estado j al
tiempo m + n. Dado que hemos supuesto la condición de homogeneidad en el
tiempo, esta probabilidad no depende realmente de m, por lo tanto coincide con
P(Xn = j | X0 = i), y se le denota por pij (n). A esta probabilidad también se le
denota como p (n) ij , en donde el número de pasos n se escribe entre paréntesis
para distinguirlo de algún posible exponente, y se le llama probabilidad de
transición en n pasos. Cuando n = 1 simplemente se omite su escritura, a menos
que se quiera hacer énfasis en ello. También cuando n = 0 es natural definir pij (0)
= δij = 0 si i 6= j, 1 si i = j. Es decir, después de realizar cero pasos la cadena no
puede estar en otro estado más que en su lugar de origen. Esta es la función delta
de Kronecker.

PROCESOS DE MARKOV CON ESTADOS ESTACIONARIOS (P)

Aquí se presentan algunos cálculos de álgebra lineal básica y simulación a través

de un simple ejemplo de cadena Markov. Considere una ciudad teórica, donde el
clima se describe por tres estados posibles: (1) 'Fine', (2) 'Cloudy' y (3) 'Rain'. En
cada día, dado un cierto estado, hay una distribución de probabilidad para el
estado del tiempo del día siguiente. Este modelo meteorológico simplista
constituye una cadena Markov discreta (homogénea). Esta cadena de Markov
puede ser descrita por la Matriz de Probabilidad de Transición, P, donde la entrada
Pi,jindica la probabilidad de pasar al estado jdado que el estado actual es i. Las
probabilidades de transición se ilustran en la Figura 1.8.
Una cantidad calculada importante para un modelo de este tipo es la proporción a
largo plazo de ocupación en cada estado. Es decir, en estado estacionario, qué
proporción del tiempo es el clima en el estado 1, 2 o 3. La obtención de
esta distribución estacionaria, denotada por el vector π = [π1, π2, π3](o una
aproximación de este), se puede lograr de varias maneras. Por razones
pedagógicas y exploratorias utilizamos los siguientes cuatro métodos para resolver
la distribución estacionaria:

1. Al elevar la matriz P a una alta potencia, (repetida multiplicación de matriz de P

consigo mismo), la distribución limitante se obtiene en cualquier fila.
Matemáticamente,

πi = limn→∞[Pn]j,i para cualquier index, j.

2. Resolvemos el sistema lineal (sobredeterminado) de ecuaciones,

πP = π   and   sum(i=1-->3) πi=1

Este sistema lineal de ecuaciones se puede reorganizar en un sistema con 3

ecuaciones y 3 incógnitas al darse cuenta de que una de las ecuaciones dentro
de πP = πes redundante.

3. Al hacer uso del hecho conocido (Perron Frobenius Theorem) que el

eigenvector correspondiente al valor propio de la magnitud máxima, es
proporcional a la palabra π. Encontramos este eigenvector y lo normalizamos.

4. Ejecutamos una simple simulación de Monte Carlo generando valores aleatorios

del clima de acuerdo con P, y luego tomamos las proporciones a largo plazo de
cada estado.

PROCESOS DE MARKOV CON ESTADOS ABSORBENTES

Los estados que pueden sucederse a sí mismos y, además, es posible alcanzar,

por lo menos, alguno de los restantes desde ellos se llaman estados transitorios.
Un estado tal que si el proceso entra en él permanecerá indefinidamente en este
estado (ya que las probabilidades de pasar a cualquiera de los otros son cero), se
dice estado absorbente.
De una cadena de Markov que consta de estados transitorios y absorbentes se
dice que es una cadena absorbente de Markov.
Si una cadena de Markov contiene algún estado absorbente, la línea de la matriz
de transición correspondiente a las probabilidades de transición de dicho estado
constará de un 1 en la diagonal principal y ceros en los demás elementos. Será
por lo tanto una matriz no regular.
Para poder estudiar las cadenas de Markov absorbentes es preciso reordenar la
matriz de transición de forma que las filas correspondientes a los estados
absorbentes aparezcan en primer lugar. Así ordenada se dirá que la matriz de
transición está en la forma canónica.
Podemos dividir la matriz en forma canónica en cuatro submatrices. La primera es
la matriz unidad I, del orden correspondiente. La segunda, la matriz nula. La
tercera contiene las probabilidades de paso de estados transitorios a estados
absorbentes. La cuarta contiene las probabilidades de estados transitorios a
estados transitorios.

Generalizando:
Una cadena de Markov absorbente  contiene p estados transitorios y q estados
absorbentes. La matriz canónica del proceso  presentará el aspecto siguiente:
I: matriz identidad de dimensión q
O: matriz nula de dimensión qxp
Q: matriz de dimensión pxq que contiene las probabilidades de paso de estados
transitorios a absorbentes.
M: matriz pxp con las probabilidades de los estados transitorios a estados
transitorios.
 
Se llama matriz fundamental de la cadena a la matriz resultado de la operación:
F=(I-M)-1
 
1º)Escribe en la forma canónica las siguientes matrices , indicando el o los
estados absorbentes y los transitorios. Observa el diagrama correspondiente y
ayúdate de las escenas siguientes realizadas para matrices de orden 3
 
CONCLUSIÓN
Para concluir podemos decir que las cadenas de Markov son una herramienta
para analizar el comportamiento y el gobierno de determinados tipos de procesos
estocásticos, esto es, procesos que evolucionan de forma no determinística a lo
largo del tiempo en torno a un conjunto de estados.
Que para su elaboración requieren del conocimiento de diversos elementos como
son el estado y la matriz de transición.
Dichos elementos fueron descubiertos por su creador Markov, el cual realizó una
secuencia de experimentos conectados en cadena y la necesidad de descubrir
matemáticamente los fenómenos físicos
Este método  es muy importante, ya que ha comenzado a usarse en los últimos
años como instrumento de investigaciones de mercadotecnia, para examinar y
pronosticar el comportamiento de los clientes desde el punto de vista de su lealtad
a una marca y de sus formas de cambio a otras marcas, la aplicación de esta
técnica, ya no solo se limita a la mercadotecnia sino que su campo de acción se
ha podido aplicar en diversos campos.
 REFERENCIAS BIBLIOGRÁFICAS
 Cadenas de Markov. (s/f). Unam.mx. Recuperado el 7 de octubre de 2022, de
https://www.ingenieria.unam.mx/javica1/ingsistemas2/Simulacion/Cadenas_de_Ma
rkov.htm
 Estado estacionario de una cadena Markov. (s/f). Livejournal.com. Recuperado el 7
de octubre de 2022, de https://deoxyt2.livejournal.com/178478.html
 Tutoriales, G. E. O. (2013, octubre 10). Distribución Límite de una Cadena de
Markov en Tiempo Discreto. Gestión de Operaciones.
https://www.gestiondeoperaciones.net/cadenas-de-markov/distribucion-limite-de-
una-cadena-de-markov-en-tiempo-discreto/
 (S/f-a). Gestiopolis.com. Recuperado el 7 de octubre de 2022, de
https://www.gestiopolis.com/analisis-de-markov/
 (S/f-b). Unam.mx. Recuperado el 7 de octubre de 2022, de
https://lya.fciencias.unam.mx/lars/libros/procesos.pdf
 (S/f-c). Imt.mx. Recuperado el 7 de octubre de 2022, de
https://www.imt.mx/archivos/Publicaciones/PublicacionTecnica/pt396.pdf