Instituto Tecnológico de Piedras Negras

Investigación de Operaciones II
Docente: Ing. Norma Eleonor Hernández Ochoa

Alumno: Ezdine Viesca Juárez

Carrera: Ingeniería Industrial
Núm. de Control: 15430012 Semestre: 5to
Horario: 10:00-11:00
 Miércoles 15 de noviembre del 2017
Piedras Negras, Coahuila
CADENAS DE MÁRKOV

Las cadenas de Márkov son una herramienta que se utiliza para analizar procesos
estocásticos, en los que la probabilidad de que ocurra un evento depende del evento
inmediatamente anterior en un tiempo determinado en torno a un conjunto de estados.
Estos modelos muestran una estructura de dependencia simple, pero muy útil en
muchas aplicaciones. De hecho, se dice que las cadenas de este tipo tienen memoria,
ya que “recuerdan" el último evento y esto condiciona las posibilidades de ocurrencia
de los eventos futuros.
De esta manera, una cadena de Markov representa un sistema que varía su estado a lo
largo del tiempo, cada cambio corresponde a una transición del sistema. Estos cambios
están sujetos a la probabilidad de ocurrencia de un estado en función de los
anteriores.
Una cadena de Markov se determina con los siguientes elementos:
 Un conjunto de estados del sistema.
 La definición de transición.
 Una ley de probabilidad condicional, que defina la probabilidad del nuevo estado
en función de los anteriores, con un estado inicial P 0.

DEFINICIÓN DE UNA CADENA DE MARKOV

Sea Xi una variable aleatoria que caracteriza el estado del sistema en puntos discretos
en el tiempo t=1,2 … . La familia de variables aleatorias {X i} forma un proceso
estocástico con una cantidad finita o infinita de estados.
Ejemplo
La condición de una máquina en el momento del mantenimiento preventivo mensual es
mala, regular o buena. Para el mes t, el proceso estocástico en esta situación se
representa como sigue:

{
0, si lacondición es mala
Xt 1, sila condición es regular t=0, 1, 2
2, si lacondición es buena
La variable aleatoria Xt es finita porque representa tres estados: malo (0), regular (1) y
bueno (2).

MATRIZ DE TRANSICION

Una matriz de transición para una cadena de Markov de n estado es una matriz de n X
n con todos los registros no negativos y con la propiedad adicional de que la suma de
los registros de cada columna (o fila) es 1.

CLASIFICACION DE LOS ESTADOS DE LA CADENA DE MARKOV

Los estados de una cadena de Markov se clasifican dependiendo de la fracción de
tiempo que la cadena pasa en cada uno de ellos.
Los estados de una cadena de Markov pueden ser:
 Transitorios: Un estado es transitorio si después de haber entrado a este estado, el
proceso no regresara a él.
 Recurrentes: Se dice que un estado es recurrente si después de haber entrado a
este estado el proceso definitivamente regresara a ese estado. Por consiguiente, un
estado es recurrente si y solo si no es transitorio.
 Absorbentes: Un estado se llama absorbente si después de haber entrado ahí el
proceso nunca saldrá de ese estado. Por consiguiente, el estado i es un estado
absorbente si y solo si Pij=1.

MATRIZ DE TRANSICIÓN EN ESTADO ESTABLE

Un estado es estable cuando ya no hay cambios en el sistema, es decir que se alcanza

el equilibrio. Una manera posible de obtener las condiciones del sistema para el estado
estable es repetir iterativamente los cálculos para cada periodo con el fin de hallar el
periodo con aquellas probabilidades que se mantienen constantes o no cambian.
Sin embargo, también es posible utilizar los métodos para resolver sistemas de
ecuaciones que nos permiten encontrar directamente estas probabilidades de estado
estables.
Ejemplo: Las granjas de cierta región se pueden clasificar con 3 tipos: agrícolas, pecuarias o
mixtas. Actualmente 30% son agrícolas, 40% pecuarias y 30% son mixtas.
En primera medida lo que hacemos es hallar la traspuesta de la matriz de transición, es
decir:

El sistema de ecuaciones quedaría así:

Esta última ecuación es agregada siguiendo la propiedad de que la sumatoria las

probabilidades de los estados debe ser igual a 1.

Utilizando el método de eliminación, restamos las ecuaciones (1) y (2) eliminando z.

Ahora sumamos las ecuaciones (3) y (4), multiplicando la ecuación 4 por 0.2 con el fin
de eliminar z
Despejando de la ecuación (6) y y reemplazando en (5), tenemos:

Reemplazando x en (6)

LOS ESTADOS ABSORBENTES

Los estados absorbentes describen procesos que terminan o finalizan después de

alcanzar determinadas condiciones y dan como resultado un caso especial de cadenas
de Markov, algunos ejemplos son:

1. En control de calidad, después de encontrar un número predeterminado de

partes que pueden ser aceptadas o rechazadas, se suspende la inspección
secuencial.
2. Después de “x” horas de funcionamiento, una máquina se detiene para repararla
o reemplazarla.
3. Después de que una persona ha trabajado en una empresa, puede jubilarse o
recontratarse.
4. Después del seguimiento que se hace a una cuenta bancaria esta se paga o se
considera perdida.

CARACTERÍSTICAS.
a) Un estado absorbente es aquel que tiene una probabilidad de ser abandonado igual
a cero, o sea que una vez comenzado es imposible dejarlo y el proceso se detiene
completamente o se detiene para luego comenzar a partir de algún otro estado.

b) Una cadena de Markov es absorbente si:

1. Tiene por lo menos un estado absorbente.

2. Es posible ir desde cada estado no absorbente hasta por lo menos un estado
absorbente. No es necesario efectuar esta transición en un paso; ni es necesario
alcanzar cada estado absorbente a partir de cualquier estado no absorbente.

PROBABILIDAD DE TRANSICIÓN ESTACIONARIA DE N PASOS

Suponga que estudiamos una cadena de Markov con matriz P de probabilidad de

transición conocida. Como todas las cadenas con las que trataremos son estacionarias,
no nos importara identificar nuestras cadenas de Markov como estacionarias. Una
pregunta de interés es: si una cadena de Markov está en el estado i en el tiempo m,
¿Cuál es la probabilidad que n periodos después de la cadena de Markov este en el
estado j? como se trata de una cadena de Markov estacionaria, esta probabilidad será
independiente de m y, por tanto, podemos escribir
P(Xm+n= j\ Xm= i) = P(Xn= j\ X0= i)= Pij(n)
donde Pij (n) se llama probabilidad en la etapa n de una transición del estado i al
estado j.
Es claro que Pij(1) = Pij. Para determinar Pij(2) nótese que si el sistema se encuentra
hoy en el estado i, entonces para que el sistema termine en el estado j dentro de 2
periodos, debemos pasar del estado i al estado k y después pasar del estado k al
estado j(Fig. 2). Este modo de razonar nos permite escribir

probabilidad de transición de i a k }x ( probabilidad de transición de k a j)

¿¿
s
Pij(2) ∑ ¿
k=1

De acuerdo con la definición de P, la matriz de probabilidad de transición, replanteamos

la última ecuación en la siguiente forma:
s
( 3 ) Pij (2)=∑ pik p kj
k=1
El segundo miembro de la ecuación (3) es tan sólo el producto escalar del renglón i de
la matriz P por la columna j de esa matriz. Por lo tanto, Pij
(2) es el ij-ésimo elemento de la matriz P2. Generalizando este modo de razonar, se
puede demostrar que para n >1,
(4) Pij(n) = elemento ij-ésimo de Pn

Naturalmente, para n = 0, Pij (0) = P (X0= j | X0= i) y, por lo tanto, debemos escribir

{
Pij (0)= 1 si i= j
0 sii ≠ j

SOFTWARE

Se pueden resolver utilizando Microsoft Excel.

Ejemplo:

Una distribuidora de autopartes vende partes de vehículos de carga a distintas

empresas en la ciudad, a las cuales se les da 3 meses para cancelar sus cuentas. Si
estas no son pagadas durante este plazo la cuenta será cancelada y enviada a una
agencia de cobranza y da por terminadas las transacciones con el cliente. Por esto, la
distribuidora clasifica sus cuentas en nuevas, con 1 mes de retraso, 2 meses de
retraso, 3 meses de retraso, pagadas e incobrables. La distribuidora estudió sus
antiguos registros y llegó a la siguiente conclusión:

 70% de las cuentas nuevas se pagan en un mes.

 60% de las cuentas con un mes de retraso se liquidan al final del mes.
 50% de las cuentas con dos meses de retraso se pagan a fin de mes.
 60% de las cuentas con tres meses de retraso se pagan al final del mes.

De acuerdo con esto, se pide:

a) Matriz de transición.
b) Determinar si la matriz es regular o absorbente.
c) Probabilidad de que una cuenta nueva se liquide.
d) Cuantos meses debería esperar la distribuidora para que un cliente promedio
liquide su cuenta.
 Fuentes de información:
http://invoperaciones2-ingindustrial.blogspot.mx/2011/05/cadenas-de-markov-
conceptos.html
http://www.ingenieria.unam.mx/industriales/descargas/documentos/catedra/invop.pdf
http://www.kramirez.net/IO/Material/Presentaciones/apuntes%202-01.pdf
Investigación de operaciones, Hamdy A. Taha, Novena edición, PEARSON
EDUCACIÓN, México, 2012