You are on page 1of 67

CADENAS DE

MARKOV

INTRODUCCIÓN

Cadenas de Markov es un modelo matemático que se basa en dos conceptos:
estado y transición. El sistema ocupa un estado i con probabilidad p i y, después
de un periodo, procede a una transición para el estado j con probabilidad de
transición tij. Sean N los estados del sistema, entonces, para cualquier estado i:
N

t
j1
ij  1, con 0  tij  1
En los modelos más simples de cadenas de Markov, los valores de las
probabilidades de transición tij no dependen ni de cómo el sistema llegó al estado i,
ni del periodo n. Las probabilidades de ocupar un estado i dependen del número de
periodos o de transiciones efectuadas.
Por lo tanto una secuencia de intentos de un experimento es una cadena de
Markov.

Algunas veces nos interesa saber cómo cambia una variable aleatoria a través
del tiempo. Por ejemplo, desearíamos conocer cómo evoluciona el precio de las
acciones de una empresa en el mercado a través del tiempo. El estudio de cómo
evoluciona una variable aleatoria incluye el concepto de procesos
estocásticos. En este capítulo explicaremos esos procesos, en especial uno que
se conoce como cadena de Markov. Las cadenas de Markov se han aplicado en
áreas tales como educación, mercadotecnia, servicios de salud, contabilidad y
producción.

Definición de Cadena de Markov

El proceso estocástico de tiempo discreto puede estar en uno de un número finito
de estados identificados por 1, 2,...,s.

Un proceso estocástico de tiempo discreto es una CADENA DE MARKOV sí, para t
= 0,1,2,... y todos los estados,
P(Xt+1=it+1/Xt=it) =
P(Xt+1=it+1/X0=i0, X1=i1,...Xt-1=it-1, Xt=it)

Además para todos los estados i y j y toda t, P(Xt+1=j / Xt=i) es independiente de t.
Esta hipótesis permite escribir:
pij = P(Xt+1=j / Xt=i)

Con frecuencia se llaman probabilidades de transición a las pij en una cadena de
Markov.

La ecuación: pij = P(Xt+1=j / Xt=i)

Indica que la ley de probabilidad que relaciona el estado del siguiente período con
el estado actual no cambia, o que permanece estacionaria en el tiempo.

Toda cadena de Markov que cumple con esta condición se llama cadena
estacionaria de Markov.

Se necesita saber las probabilidades de encontrar la cadena en el estado i en el
tiempo “0”, es decir, P(X0=i) = qi

Al vector q = [q1 q2 .....qn] se le llama vector de condiciones iniciales o distribución
inicial de probabilidad.

Σ q= 1
j=1,n j

Las probabilidades de transición se presentan como una matriz P de probabilidad
de transición s x s. La matriz de probabilidad de transición se puede escribir como:

Dado que el estado es i en el tiempo t, el proceso debe estar en algún lugar en el
tiempo t+1. Esto significa que para cada i:

Σ j=1,s P(Xt+1=j / Xt=i) = Σ j=1,s pij = 1(pij≥ 0)

Elementos de una Cadena de Markov:

Estados del Sistema: X(t)
Período de Transición

Probabilidades de Transición: Matriz de probabilidades
Distribución inicial de probabilidad

IMPORTANCIA:

Permite encontrar la probabilidad de que un sistema se encuentre en un estado en
particular en un momento dado.

Permite encontrar el promedio a la larga o las probabilidades de estado estable.

APLICACIONES

Biología (Comportamiento de moléculas y predicción de comportamientos).

Genética y Paleontología (Evolución de las especies).

Marketing (Identificar patrones de comportamiento de clientes).

Gobierno (Efecto de Políticas Gubernamentales).

¿Qué es un Proceso Estocástico?

Supóngase que observamos alguna característica de un sistema en puntos
discretos en el tiempo (que llamamos 0, 1, 2,...). Sea Xt el valor de la
característica del sistema en el tiempo t. En la mayor parte de los casos no se
conoce Xt con certeza antes del tiempo t y se puede considerar como variable
aleatoria. Un proceso estocástico de tiempo discreto es simplemente una
descripción de la relación entre las variables aleatorias X0, X1, X2,... A continuación
daremos algunos ejemplos de procesos estocásticos de tiempo discreto.
Sucesión de eventos que se desarrolla en el tiempo, en el cual el resultado en
cualquier estado contiene algún elemento que depende del azar.

Ejemplo
Xt = Condiciones de tiempo en una ciudad

con probabilidad 38% será soleado al día siguiente. Ejemplo Xt = Temperatura registrada en cada día del año en la ciudad de Arequipa. En el caso del lanzamiento de una moneda. No obstante la sucesión es tan compleja que dicho comportamiento cambia día a día de una manera que en apariencia es algo aleatorio. Ejemplo Cadena de Markov con 2 estados Supongamos. Por lo mencionado. sino que es afectado en cierto grado por el tiempo de días previos. Hallar la Matriz de Transición. si un día está nublado. Ejemplo Xt = Cantidad de alumnos que egresan semestralmente en la especialidad de ingeniería industrial. su estado en un tiempo determinado no es aleatorio por completo. que en Lima.Ejemplo Xt = El valor de venta del kilogramo de pollo cada semana Ejemplo Xt = Lanzamiento de una moneda En los casos de la condición del clima y del precio de venta de la carne de aves. decimos que un proceso estocástico discreto en el tiempo es la relación entre variables aleatorias. el resultado en cualquier etapa es independiente de todos los resultados previos. Gráfico: . el 65% del tiempo será nublado al día siguiente y que si un día está soleado.

Y. si está molesto. 30% de que siga triste y 50% de que esté molesto.Matriz de transición: Ejemplo Cadena de Markov con 3 estados Supongamos que el estado de ánimo de Enzo puede ser. habrá una probabilidad de 80% de que siga alegre al día siguiente y 15% de que esté triste. Si está alegre. triste o molesto. Hallar la Matriz de Transición. 80% de que no siga molesto y 50% de que esté alegre al día siguiente. Gráfico: Matriz de transición: . alegre. Si está triste.

Por último. Gráfico: Matriz de transición: Ejemplo: . Si la acción subió hoy y ayer . si la acción bajó hoy y ayer. la probabilidad de que suba mañana es “d”. Si la acción bajó hoy y ayer subió. la probabilidad de que suba mañana es “c”. Si la acción subió hoy y ayer bajó. Si la acción sube o no mañana depende de si subió o no hoy y ayer.Ejemplo: Cadena de Markov con 4 estados Considere el siguiente modelo para el valor de una acción. mañana subirá con probabilidad “b”. Determine la matriz de transición de un paso para la cadena de Markov. mañana subirá con probabilidad “a”.

Línea telefónica

Sea una línea telefónica de estados ocupado=1 y desocupado=0. Si en el instante
t está ocupada, en el instante t+1 estará ocupada con probabilidad 0,7 y
desocupada con probabilidad 0,3. Si en el instante t está desocupada, en el t+1
estará ocupada con probabilidad 0,1 y desocupada con probabilidad 0,9

Gráfico:

Matriz de transición:

Ejemplo: Lanzamiento de un dado

Se lanza un dado repetidas veces. Cada vez que sale menor que 5 se pierde 1 €,
y cada vez que sale 5 o 6 se gana 2 €. El juego acaba cuando se tienen 0 € o 100
€.
Sea Xt=estado de cuentas en el instante t. Tenemos que { Xt } es una CM
S={0, 1, 2, …, 100}

Gráfico:

Ejemplo: Lanzamiento de una moneda

Lanzamos una moneda al aire 6 veces. El jugador gana 1 € cada vez que sale
cara (C), y pierde 1 € cada vez que sale cruz (F).
Xi = estado de cuentas del jugador después de la i-ésima jugada
La familia de variables aleatorias {X1, X2,…, X6} constituye un proceso
estocástico
={CCCCCC,CCCCCF,…}
Combinaciones () = 26 = 64
P()=1/64 
T={1, 2, 3, 4, 5, 6}
S={–6, –5, …, –1, 0, 1, 2, …, 5, 6}

Usando diagramas de árbol:

 Si fijo ω, por ejemplo 0=CCFFFC, obtengo una secuencia de valores
completamente determinista:
 X1(0)=1, X2(0)=2, X3(0)=1, X4(0)=0, X5(0)= –1, X6(0)=0
 Puedo dibujar con estos valores la trayectoria del proceso:

Si fijo t, por ejemplo t0=3, obtengo una de las variables aleatorias del proceso:
X3 :   

1. B y C por 1000 personas dará al inicio (n=0) y después de un periodo (n=1) los siguientes resultados: Se desea saber: . 3} Podemos hallar la probabilidad de que el proceso tome uno de estos valores: APLICACIONES Aplicación 1: Participaciones de mercado Una investigación de mercados sobre el consumo de 3 marcas de cerveza: A.   X 3   Los posibles valores que puede tomar el proceso en :X3()={–3. –1.

3 0.7.29 0.a) El porcentaje de los clientes que consumen cada marca de cerveza después de un periodo. 200 20 La probabilidad de que un consumidor en A pase a C es tAC =  0. resulta: Xo = [pA(0) pB(0) pC(0)] = [0. y X1 = [0. y utilizando el cuadro correspondiente a las transiciones.44] Donde X1 es el vector de distribución de estados después de un periodo (n=1). c) A la larga cómo se reparte el mercado de bebedores de cerveza entre las tres marcas? Gráficamente se tiene: Observamos que estamos delante de un fenómeno dinámico. 200 Entonces las probabilidades de transición resultan: Donde observamos que la suma de los elementos de cada fila siempre es 1. Para visualizar mejor el fenómeno. Las probabilidades del vector X1 nos indican que después de un periodo. b) El porcentaje de los clientes que consumen cada marca de cerveza después de 2 periodos. se tiene que: La probabilidad de que un consumidor de A (o en A) permanece con A es: tAA = 140  0. Siendo p la probabilidad de que un consumidor está demostrando preferencia por uno de los tres productos (o sea la participación de cada producto en el mercado) y observando que cada producto (o el hecho de estar consumiendo un determinado producto) corresponde a un estado.27 0. el comportamiento del mercado será: 29% consume el producto A. Deseando analizar como ocurren estas alteraciones.5] Donde X0 es el vector de distribución de estados al inicio. en el cual A aumentó su participación en el mercado de 20% a 29%.1. diseñamos la siguiente cadena: .2 0. 27% el B y 44% el producto C.

el comportamiento del mercado será: 34% consume el producto A. 26% el B y 40% el producto C. resulta: X3 = X2 T = X0T2 T = X0T3 .34 0. tij i 1 En forma matricial: X1 = X0T Después de la segunda transición (n=2).La probabilidad de ocupar estado j después de un periodo es: N pj(1)=  pi(0). También X2= X0T T = X0T2 Después de la tercera transición (n=3).40] Lo que significa que después de 2 periodos.26 0. resulta: X2 = X1 T X2 = [0.

Entonces si C quiere promover una campaña publicitaria para quebrar el proceso.24C = 0 0.1 (muy pequeño).2A .2A + 0. eliminamos una de las tres últimas ecuaciones (por ejemplo la última). Después de muchas transiciones. tenemos: además de: A + B + C =1 El sistema de ecuaciones sería: A + B + C = 1 0.1B + 0.T Deseando calcular los elementos de =[ABC].9%. Por lo tanto:  = .1B + 0.376 0. que pasa de 20% a 37. La siguiente tabla muestra las distribuciones de estado para diferentes periodos de transición: . lo contrario de transitoria) en la cual las participaciones de mercado no se alteran más. dirigirla hacia los actuales consumidores de A.16C = B 0. para resolverlo.6C = C Este sistema es redundante y.3A + 0.1A + 0. debería.24C = A 0. que cae de 50% a 35.5B + 0.16C = 0 y la solución es:  = [ 0. En este caso: Xn= Xn-1 =  dónde : Vector de distribución de estado estable).6%.359] Observamos el aumento en la participación de A. se llega a una situación estacionaria o de régimen de equilibrio dinámico (o sea. principalmente. principalmente a costa de C. A + B + C = 1 -0.0. Se observa que tBC es bastante grande.5B + 0.265 0. ya que t AC=0.7A + 0.4B + 0.Después de n transiciones se tiene: Xn=Xn-1T =X0Tn-1T =X0Tn Donde Xn es el vector de distribución de probabilidad de estados en el periodo n.

por cada cliente ganado aumenta sus ventas en $40 ¿por cuántos períodos se debe realizar la campaña publicitaria. NOTA. ANÁLISIS ECONOMICO: Si la marca A. luego cambiar.Se observa que a partir del periodo 7.. T = [tij] es regular si tij> 0 en al menos una de sus potencias Tm Ejemplos: 1 / 2 1 / 2  a) T=   es regular ya que tij> 0 1 / 3 2 / 3 . sabiendo que esta cuesta $500 por semana? Para dar respuesta a esta inquietud realizamos el siguiente cuadro: En consecuencia se deberá realizar la campaña durante 3 semanas. las variaciones en los tres estados son casi despreciables.Para que exista un único vector de distribución estacionaria . se requiere que T sea regular.

1 / 2 1 / 2 2 1 / 4 3 / 4 b) T=  . el precio y muchos otros factores. El 74% de los clientes son leales. Aplicación 2: Competencia de mercado Las compras de los consumidores están influidas por la publicidad. y se le agrada el sabor. Coca-Cola es la marca de interés. Según datos recolectados en el cafetín de ingeniería industrial (2 semanas): Si alguien compra una bebida Coca-Cola.  0 1 / 2 1 / 2 1 / 2 1 / 4 1 / 4 T= 1 / 2 0 1 / 2 . Pepsi es su competencia directa. La oposición conserva el 62% de sus clientes. Un factor clave en las compras de los consumidores es la última compra.T =  .     1 / 2 1 / 2 0  1 / 4 1 / 4 1 / 2 Por lo tanto T es regular. T2= 1 / 4 1 / 2 1 / 4 .  0 1   0 1  1 / 8 7 / 8 T3=  . ¿Qué porcentaje del mercado esperará recibir Coca-Cola en el largo plazo? . por lo tanto T no es regular. Si T es matriz regular  existe un vector  único de tal forma que T =  donde  es llamado a menudo vector de distribución de estado estable compuesto por probabilidades de estar en cada estado a largo plazo. quedará dispuesto a comprar otra Coca-Cola (lealtad a la marca).  0 1  entonces cualquier Tm no cumplirá la condición tij> 0 ya que siempre existirá el elemento t21= 0.

62B A + B = 1 De donde: A = 0.40625 Coca-Cola esperará recibir el 59.38B B = 0.26A + 0.62B ] A = 0.26A + 0.38B 0.74A + 0.Hay que resolver el siguiente sistema: =P  = 1 Donde:  = [A B] [A B] = [A B] P = [0.375% del mercado en el largo plazo Ejemplo – solución (elevando Pn para estabilizarlo en el largo plazo) .74A + 0.59375 B = 0.

..59375 B = 0. cada fila poseen valores iguales. Dichos valores han sido tomados de un día anterior al día que irían a ser puestos a conocimiento de la población arequipeña. Estos datos se pueden expresar mediante la siguiente matriz de transición: .40625 Podemos observar que las probabilidades se han estabilizado.... es decir. P(13) = P(14) = P(15) = . = P(n) A = 0. Aplicación 3: Pronóstico del clima Las probabilidades del estado del tiempo para la ciudad de Arequipa el mes de enero del presente año fueron extraídas de la base de datos de SENAMHI Arequipa.

Pronosticando el clima. dado un día de tipo j. en donde dice que un día es soleado es 90% posible de que sea seguido por otro día soleado y un día lluvioso es 50% posible de que sea seguido por otro día lluvioso.- El clima en el día 0 es conocido como soleado. Esto es representado por el vector en donde la entrada de “soleado” es 100% y la de “lluvioso” es 0% El clima en el día 1 puede ser pronosticado de la siguiente manera Por eso. Las columnas pueden ser nombradas como “soleado” y “lluvioso” respectivamente y las filas pueden ser nombradas en el mismo orden. sea seguido por un día i.Gráficamente: La matriz P representa el modelo del clima. es así porque P es una matriz estocástica. hay un 90% de posibilidad de que el día 1sea también soleado El clima para el día 2 puede ser pronosticado de la siguiente manera: . (P) es la probabilidad que. Nótese que las columnas de P suman 1.

8333 y LL = 0. Par el caso que se está tratando: Asi que. 83% de los días fueron soleados en la ciudad de Arequipa para el mes de Enero del presente año.- Para este caso.5LL = LL 0. las predicciones para el clima en días más distantes son incrementalmente imprecisas y tienden a tornarse en un vector de estado estacional. 0.1SO + 0.1667 Repuesta. no debe ser alterada cuando transformada por P.5LL = SO . Este vector representa las probabilidades de condiciones soleadas y lluviosas para todos los días y son independientes del clima inicial.1SO + 0.5LL = 0 0.Las reglas generales para el día n son: Xn = X(n-1)P o Xn = XoPn Estado estacional del clima. Desde que q es independiente desde condiciones iniciales.9SO +0.5LL = 0 Además SO + LL = 1 Resolviendo: SO = 0. Se apuesta $1 por jugada. a final de cuentas.En conclusión.0.. Esto genera un eigenvector (vocablo alemán que significa vector propio) y significa que puede ser derivado de P. Se gana $1 con probabilidad p y se pierde $1 . Aplicación 4: La ruina del jugador Cierto juego tiene las siguientes características: Se dispone de $3 para jugar. En cada jugada se gana $1 o se pierde $1 (no hay empate). El vector del estado estacional se define como: Xn = X(n-1) pero solo converge si P es una matriz de transición regular.1SO -0.

. Por ejemplo X1=4 con probabilidad p y X1=2 con probabilidad 1-p.3. si es que lo hay. entonces Xt+1 y todas las demás Xt serán 0 también. pero que X1 y las demás Xt son aleatorias.2. En los tiempos 1. si Xt=0. La meta es tener la máxima cantidad de dinero posible.. Matricialmente Gráficamente: .. y tan pronto como lo logre se suspende el juego. 4 y 5 participo en un juego en el que apuesto 1 dólar. Igualmente. Nótese que X0=3 es una constante conocida. El juego también se suspende si mi capital se reduce a 0 dólares. El proceso es el siguiente. Si definimos que Xt es mi capital después del juego cuando el tiempo es t. entonces Xt+1 y todas las demás Xt también serán igual a 5. Nótese que si Xt=5. Gano el juego con probabilidad p. y lo pierdo con probabilidad 1-p. .con probabilidad 1 – p. Xt son procesos estocásticos de tiempo discreto. X1. en el tiempo 0 se tiene 3 dólares. El juego termina cuando se llega a $5 o cuando el capital se reduce a $0. entonces se puede considerar que X0. Mi meta es aumentar mi capital a 5 dólares como máximo.

Usando diagramas de árbol: Matricialmente .

Gráficamente: Aplicación 5: Urna de bolas .

La matriz de probabilidades de transición será: .Usando diagramas de árbol En consecuencia se responderán las preguntas: a.

iniciamos en E0 y nos preguntan cuál es la probabilidad de pasar al estado [0 1 1] (E3) después de haber pintado tres bolas (a tres pasos). Después de haber pintado dos bolas se inicia con dos bolas sin pintar (E0) y nos piden la probabilidad de que pasemos al estado [0 2 0] (E4) después de pintar dos bolas (a dos pasos). Elevamos la matriz P al cubo y nos queda: Ejemplo: Compañía de seguros . Elevamos la matriz P al cuadrado: c. Entonces nos piden P³ = P*P*P. b. Después de haber pintado dos bolas. Entonces nos piden P² = P*P.

E0: No ha tenido accidentes los últimos dos años [N N]. ($400) E2: Tuvo un accidente el primero de los dos últimos años. ($300) Usando diagramas de árbol . ($100) E1: Ha tenido un accidente en cada uno de los dos últimos años [S S]. [N S]. [S N]. ($300) E3: Tuvo un accidente el segundo de los dos últimos años.

Encontrando las probabilidades de estado estable por medio de ecuaciones .

SOLUCIÓN Probabilidad de transición de n pasos Si una cadena de Markov se encuentra en el estado i en el tiempo m. es: . la probabilidad que n períodos después la cadena de Markov esté en el estado j.

Entonces: pij (n) = Σ k=1.s pik(v)pkj(n-v) Para n=0. si i  j Probabilidad de Transición de 2 pasos Pij (2) = Σk Pik * Pkj Pij (2) = P( Xm+2=j / Xm=i ) Probabilidad de Transición de 3 pasos .pij (n) = P(Xm+n= j / Xm=i) = P(Xn= j / X0=i) Donde pij (1) = pij Las pij(n) se pueden representar en la matriz P(n): Probabilidad de transición de n pasos Se puede demostrar que pij(n) es el elemento ij-ésimo de la matriz Pn. pij(0) = P(X0 = j / X0 = i) y por lo tanto: pij (0) = 1. si i = j pij (0) = 0.

hay un 75% de probabilidad de que tampoco funcione al día siguiente. Si no funciona durante un día cualquiera. ¿Cuál es la probabilidad de que esté funcionando dentro de dos días? b.Pij (3) = Σk Σl ( Pik * Pkl * Plj ) Pij (3) = P( Xm+3=j / Xm=i ) Probabilidad de Transición de “n” pasos En general. Si actualmente no funciona.. ¿Cuál es la probabilidad que no está funcionando dentro de tres días? Solución . a... Si actualmente funciona. P( Xn+m=j / Xm=i ) = Pij (n) P (n) = P*P*P*.*P (n veces) Ejemplo Una fotocopiadora de oficina tiene uno de dos posibles comportamientos: FUNCIONA o NO FUNCIONA Si funciona durante un día.. la probabilidad de que al día siguiente siga funcionando es de un 75%.

Gráfico: Matriz: Clasificación de estados de una Cadena de Markov .

Definición: Dados dos estados i y j. i y j se comunican. si ningún estado fuera de S es alcanzable desde un estado S. de modo que cada transición tenga probabilidad positiva de presentarse. Definición: Dos estados. y además el estado i es alcanzable desde el estado j. Definición: Un estado j es alcanzable desde el estado i. Definición: Un conjunto de estados S en una Cadena de Markov es conjunto cerrado. la trayectoria de i a j es la sucesión de transiciones que comienza en i y termina en j. si hay una trayectoria que vaya de i a j. . si el estado j es alcanzable desde el estado i.

pero el estado i no es alcanzable desde el estado j. . Definición: Un estado i es periódico con período k > 1.Definición: Un estado i. es estado absorbente si pii = 1 Definición: Un estado i es estado transitorio si hay un estado j alcanzable desde i. si k es el menor número tal que todas las trayectorias que parten del estado i y regresan al estado i tienen una longitud múltiplo de k.

entonces diremos que i es periódico de periodo j.Si k>1. El estado j será periódico de periodo k>1 si existen caminos que llevan desde j hasta i pero todos tienen longitud mk. con m>0 Periodicidad Ejemplo: En la siguiente CM todos los estados son periódicos de periodo k=2: Ejemplo: En la siguiente CM todos los estados son periódicos de periodo k=3: Ejemplo de CM periódica de periodo k=3: .

Definición: Si un estado recurrente no es periódico. b. Definición: Si todos los estados de una cadena de Markov son recurrentes. con S={a. d. se llama aperiódico. e}: . se dice que la cadena es ergódica. c. evaluar la siguiente cadena de Markov Cadenas ergódicas Ejemplo: Analizar la siguiente CM. aperiódicos y se comunican entre sí. Ejemplo.

f.Ejemplo Clasificar los estados Recurrentes: a. d. d Periódicos: ninguno Absorbentes: ninguno Ejemplo: Analizar la siguiente CM. e Transitorios: b. c. b. c. e. g}: . con S={a.

se tiene que resolver el siguiente sistema de ecuaciones: ij = 1 + k  j pik kj . d. Cuando i = j. e. dado que estamos actualmente en el estado i. g Transitorios: b Periódicos: a. f. sea ij el número esperado de transiciones antes de alcanzar por primera vez el estado j. ij se llama tiempo promedio de recurrencia: ij = 1/i Cuando i ≠ j.Ejemplos Clasificar los estados Recurrentes: a. c. e (todos de periodo 2) Absorbentes: g Tiempos promedio de primera pasada En una cadena ergódica. ij se llama tiempo promedio de primera pasada del estado i al estado j. c.

432 1 + 2 = 1 De donde: 1 = 57/70 2 = 13/70 Por tanto: 11 = 1/1 = 1. lo que puede llevar más de una hora. Solución: Los estados del ejemplo están dados por: La matriz será: Las ecuaciones para hallar los  son: 1 = 0.131 + 0.43. Se encuentra que está trabajando o descompuesta.572 2 = 0. la probabilidad de que siga trabajando la siguiente hora es 0. se repara. Si está trabajando. la probabilidad de que siga descompuesta la siguiente hora es 0. Si está descompuesta.871 + 0.38 horas Hay que resolver el siguiente sistema: ij = 1 + k  j pik kj . Encontrar las ij.23 horas 22 = 1/2 = 5. Siempre que la computadora está descompuesta.87.Ejemplo Una computadora se inspecciona cada hora.

A esas cadenas se les llaman cadenas absorbentes. Nota.. La probabilidad de que el sistema esté en un estado transitorio disminuye al aumentar el número de intentos. el estado i es absorbente sí y sólo sí t ij=1. CADENAS DE MARKOV ABSORBENTES Una cadena de Markov es absorbente.4321 Dónde: 12 = 7. Una cadena de Markov es absorbente si tiene uno o más estados absorbentes y es posible llegar a un estado absorbente a partir de cualquiera de los estados no absorbentes o transitorios. Un estado i de una cadena de Markov se dice que es absorbente si. la probabilidad de transición de i a j es de 1. el sistema permanece en el estado i en todos los intentos futuros. . y es posible ir de cada estado no absorbente hasta por lo menos un estado absorbente.  Probabilidad de terminar en estados absorbentes. Máquinas malogradas.s (j Cj) Done: Cj = Inventarios.69 horas 21 =1. por unidad de tiempo está dado por: g =  j=1. etc. Nivel de ventas.Puede ser necesario pasar por varios estados transitorios para llegar a un estado absorbente.12 = 1 + p11 12 = 1 + 0. una vez alcanzado el estado i en algún intento. El número de estados absorbentes de una cadena de Markov es igual al número de unos en la diagonal de su matriz de transición. Muchas aplicaciones interesantes de las cadenas de Markov incluyen cadenas en las que algunos de los estados son absorbentes y el resto son transitorios. En una cadena de Markov absorbente se puede calcular:  Número esperado de veces que se estará en un estado transitorio antes de llegar a un estado absorbente. si tiene por lo menos un estado absorbente.8712 21 = 1 + p22 21 = 1 + 0. En otras palabras.75 horas Cadenas de Markov con recompensa El costo promedio a largo plazo. Si el estado i es absorbente.

I} . En conclusión: Para un determinado ejemplo se pueden definir 4 matrices {Q. R: es una matriz de orden (s-m) x m que representa las probabilidades de ir de un estado transitorio hasta un estado absorbente.Se requiere una matriz de transición ordenada como la que se muestra a continuación: Se puede entonces determinar:  Número esperado de veces en un estado antes de la absorción: (I – Q)-1  Probabilidad de terminar en cada uno de los estados absorbentes: (I – Q)-1R Así tenemos: I: Es una matriz identidad de orden m x m que representa las probabilidades de permanecer dentro de un estado absorbente. O. Q: es una matriz de orden (s-m) x (s-m) que representa las probabilidades de ir de un estado transitorio hasta otro estado transitorio. R. O: es una matriz nula de orden m x (s-m) que representa las probabilidades de ir de un estado absorbente hasta un estado transitorio.

Durante un año determinado hay una probabilidad 15% que un abogado principiante sea ascendido a abogado con experiencia y una probabilidad 5% que deje la empresa. con experiencia y socios. Por ejemplo: 1. También hay una probabilidad 20% que un abogado con experiencia sea ascendido a socio y una probabilidad 10% que deje la empresa. Surgen muchas preguntas interesantes que la empresa podría contestar. ¿Cuál es la probabilidad de que un abogado joven llegue a ser socio? 3.APLICACIONES Aplicación 1: Planificación de Personal La empresa de abogados “Los Justicieros” emplea a tres categorías de abogados: principiantes. ¿Cuál es la duración promedio de un abogado joven recién contratado en la empresa? 2. ¿Cuál es la duración promedio que pasa un socio en el bufete? entre muchas otras. La empresa nunca degrada a un abogado. También hay una probabilidad 5% que un socio deje la empresa. Solución: Modelaremos la trayectoria de un abogado en “Los Justicieros” como cadena absorbente con la siguiente matriz de probabilidad de transición: .

la información contenida en estas matrices debidamente interpretadas. t3= Socio. permite tomar decisiones. Entonces s=5. t2. Generamos el siguiente gráfico: Los dos últimos estados (a1. es necesario obtener las matrices: (I-Q)-1 y (I-Q)-1R. a1= Sale sin ser socio y a2 = Sale siendo socio. y . m=2. a2) son estados absorbentes y los demás son transitorios (t1. Sí hacemos la siguiente notación: t1= Principiante. pero no hay trayectoria que regrese de Sale sin ser socio ha Experimentado. porque hay una trayectoria de Experimentado a Sale sin ser socio. Por ejemplo. Suponemos que una vez que un abogado sale de la empresa nunca regresa. Experimentado es estado transitorio. Para dar respuesta a las preguntas formuladas anteriormente. t2 = Experimentado. t3).

Luego: Con el método Gauss-Jordan o el método de la matriz adjunta. el número esperado de periodos que pasarán en un estado transitorio t j antes de la absorción es el ij-ésimo elemento de la matriz (I-Q)-1. Matriz de probabilidades. la probabilidad de ser absorbidos finalmente por un estado absorbente a j es el ij- ésimo elemento de la matriz (I-Q)-1R. si en este momento estamos en el estado transitorio t i. se encuentra la matriz fundamental: La matriz de probabilidades es determinada : Interpretación: Matriz fundamental. si en este momento estamos es un estado transitorio t i. .

El tiempo esperado que un abogado principiante permanece en la empresa = (duración esperada del abogado principiante en la empresa como principiante) + (tiempo esperado que el abogado principiante permanece en la empresa como abogado con experiencia) + (tiempo esperado que el abogado principiante permanece en la empresa como socio). 2. a menudo es útil poder predecir el número de empleados de cada categoría que. Es razonable.5 + 10 = 17.. Este es justamente el elemento 33 de (I-Q)-1 = 20 años.5 años. si las tendencias actuales continúan. Como t3 = Socio. Con fines de planeación a largo plazo. 2 . el tiempo total esperado que un abogado principiante permanece en la empresa es 5 + 2. Como t 1 = Principiante y a2 = Sale siendo socio. por lo tanto. estarán disponibles en el estado estable.Tiempo esperado como socio = (I-Q)-113 =10 Por lo tanto. para i = 1. 3. dado que comenzamos en t3. ¿cuántos abogados de cada tipo deben contratar cada año? Solución: Sean . Número de personas que entran al grupo i durante cada periodo = Número de personas que salen del grupo i durante cada periodo Ejemplo: Regresemos al bufete de abogados “Los Justicieros” (Ejemplo anterior) Supongamos que la meta a largo plazo de ese bufete es tener 50 abogados principiantes. la respuesta es el elemento 12 de (I-Q)-1R = 50. Para alcanzar este censo de estado estable. 30 con experiencia y 10 socios.Por lo tanto. debe tardar un promedio de 20 años en dejar la empresa.5 . APLICACIÓN 2: MODELOS DE PLANEACION DE PERSONAL Muchas empresas. porque durante cada año hay una probabilidad de 0.Tiempo esperado como principiante = (I-Q)-111=5 . La probabilidad de que un abogado principiante recién ingresado llegue a ser socio es tan sólo la probabilidad de que salga de la empresa siendo socio.Tiempo esperado como con experiencia = (I-Q)-112=2. emplean varias categorías de personal. debe ser válido. respondemos a las preguntas 1. Si existe censo de estado estable podemos encontrarlo al resolver un sistema de S ecuaciones que se plantea como sigue: tan sólo nótese que para que exista ese estado.05 (1 en 20) que un socio deje el bufete y. como por ejemplo “Los Justicieros” del ejemplo de planificación de personal. S. Entonces . buscamos el número esperado de años que pasa en t 3.

un contralor proporciona la siguiente información: .5.10)30 (abogados con experiencia) (0.20)30 + H3 = (0.20 + 0.20.20(30) = 6 abogados con experiencia que pasan a ser socios.15 + 0. deben despedirse algunos de ellos.05)50 (abogados principiantes) (0. Esto significa que para mantener el censo deseado de estado estable. Esto es razonable. H2=1. Otra solución podría ser reducir. la fracción de abogados con experiencia que pasan a ser socios cada año. a menos de su valor actual de 0. permanecen en ese puesto un promedio de 20 años.15)50 + H2 = (0. Esto muestra que para mantener el número de asociados en 10. y una vez que lo hacen. “Los Justicieros” deben despedir 5. Aplicación 3 A través del análisis de cuentas por cobrar pasadas.H1= número de abogados principiantes a contratar H2 = número de abogados con experiencia a contratar H3 = número de abogados asociados a contratar Entonces: Generando el gráfico de Markov Número que ingresa al grupo i = número que sale del grupo i H1 = (0.5. porque cada año hay 0.5 socios cada año. H3=-5.05)10 (abogados asociados) La solución única de este sistema de ecuaciones es H1=10.

El balance de cuentas por cobrar indica que se tiene $60000 en cuentas por cobrar con retraso entre 0 y 30 días y $40000 en cuentas por cobrar con retraso entre 31 y 90 días. diferenciamos cada una de las matrices Graficamos . ¿Cuál debe ser la concesión? Solución: Generamos los estados del problema: Con los datos del problema.

Definimos las matrices absorbente (R) y transitoria (Q) Determinamos la matriz fundamental Determinamos la matriz de probabilidades La concesión será: 60000(0. se ha determinado que si la máquina I trabaja un día determinado. Las dos máquinas hacen copias que no se pueden distinguir. Según los registros anteriores.021) + 40000(0. Cada máquina funciona o no funciona.128)= $6380 APLICACIÓN 4.. la probabilidad es de . escogiendo entre dos máquinas.Una empresa necesita contratar copiadoras en renta.

T Siendo  = [ F NF ] Dónde : F: probabilidad de estado estable de que la máquina Funcione NF: probabilidad de estado estable de que la máquina No Funcione Además F + NF =1 Para la máquina 1 tenemos: [ F NF ]= [ F NF ]*T F + NF =1 Reemplazando los datos de matriz de Transición de estados de la máquina 1 y resolviendo el sistema de ecuaciones tenemos: F= 0.9375 y NF=0.0. la probabilidad es de 0.0625 .75 que funcione el siguiente día. Si no trabaja un cierto día.9 que trabaje mañana. Si la máquina II trabaja hoy. ¿Qué máquina debe rentar la empresa? SOLUCIÓN: Siendo los estados: F (funciona) y NF (no funciona). elaboramos las matrices de transición de estados respectivas. Si no funciona hoy. la probabilidad es de 0. Matriz de transición de estados (T) para la Máquina 1 Matriz de transición de estados para la Máquina 2 Luego hallamos los vectores de estado estable para ambas máquinas aplicando la relación:  = .95 que trabaje el día siguiente.8 que trabaje mañana. la probabilidad es de 0.

1 vez y 0 veces Por ejemplo. entonces hay una probabilidad de 80% de que sea rentado 5 veces la siguiente semana. 10% de .89% de la máquina 2. 4 veces. APLICACIÓN 5.Una pequeña tienda de videos lleva un control del número de veces por semana que es rentado un video y estima las siguientes probabilidades de transición (ver matriz siguiente).entonces 1= [ F NF ]= [ 0.1111 ] Por lo tanto se observa que la máquina 1 tiene mayor probabilidad de funcionamiento (93. 3 veces.9375 0.8889 0.0625 ] Para la máquina 2 tenemos 2 =[ F NF ]= [ 0.. si un video se rentó 5 veces esta semana.75%) frente a 88. Gráfico: Dónde: los estados en orden son: 5 veces. en consecuencia la empresa debe rentar la máquina 1. 2 veces.

0 0.51 0.30 0.8 0. ¿cuántas veces más será rentado antes de que se deseche? Para responder esta pregunta usamos la información de la matriz (I-Q)-1 (primera fila) . b) Suponga que un video fue rentado 3 veces esta semana. Se determina la matriz fundamental y expresan el número de semanas que serán rentados ( 5.15 0.0 ] X2 = X1T X2 = [ 0.1) veces: a) Suponga que un video fue rentado 5 veces esta semana.1 0.0 ] Entonces la probabilidad de que sea rentado 4 veces la próxima semana es 10%. ¿Cuál es la probabilidad de que sea rentado 2 veces durante la segunda semana? Entonces se tiene que: Xo = [ 0 0 1 0 0 0 ] Hallamos X2 X1 = XoT X1 = [ 0. ¿Cuál es la probabilidad de que sea rentado 4 veces durante la siguiente semana?.6 0.1 0. Entonces se tiene que: Xo = [ 1 0 0 0 0 0 ] Hallamos X1 X1 = XoT X1 = [ 0.004 ] Entonces la probabilidad de que sea rentado 2 veces la segunda semana es 30%.1 0. Cuando un video es rentado 0 veces.3 0.0 0. c) Suponga que un video fue rentado 5 veces esta semana. En promedio.0 0. 3. 2.0 0.probabilidades de que sea rentado 4 veces y 10% de probabilidades de que sea rentado 3 veces.0 0. este se desecha.0 0. 4.

333(2) + 2.481 semanas será rentado 3 veces 1. ¿Cuál es la probabilidad de que sea desechado? Usamos la información de la segunda fila: La probabilidad de que sea desechado es 100% APLICACIÓN 6.667(4) + 6.519 + 6.. Para responder esta pregunta usamos la información de la matriz (I-Q)-1 (primera fila) 3. ¿cuántas veces más será rentado?. Cada año Juan permite a los detallistas de árboles de navidad seleccionar y cortar árboles para la venta a clientes individuales.519(2) + 2. En promedio.667 semanas será rentado 4 veces 5. f) Suponga que un video fue rentado 4 veces esta semana.7 semanas.000 semanas será rentado 5 veces Entonces será rentado por lo menos 2 veces 3. En promedio. en tanto que los 3500 restantes están disponibles para corte. de alto) de manera que estén disponibles para la venta en años futuros.5(1) = 29 veces. ¿cuántas semanas será rentado por lo menos 2 veces?. Sin embargo.519 semanas será rentado 2 veces 6.5(5)+ 1. e) Suponga que un video fue rentado 3 veces esta semana. Actualmente están clasificados 1500 árboles como protegidos.481 + 1.5(1) = 61 veces d) Suponga que esta semana se rentó 5 veces.481(3) + 3. aunque en un año dado un árbol esté disponible para corte. Juan protege los árboles pequeños (por lo general de menos de 120 cm. Para responder esta pregunta usamos la información de la matriz (I-Q)-1 (tercera fila) 0(5)+ 0(4) + 6.Juan es propietario de un terreno con 5000 pinos.667(3) + 3. quizás no sea seleccionado sino hasta en .667 + 5 = 16.

definimos los cuatro estados siguientes: Estado 1. Estado3.años futuros. Perdido por enfermedad. Pequeño para cortarse Estado4. pero no cortado ni vendido La siguiente matriz de transición es apropiada Gráfico: Determinamos la matriz fundamental: Determinamos la matriz probabilidades: . Cortado y vendido. Aunque la mayoría de los árboles que no se cortan en un año dado viven hasta el siguiente. Disponible para cortar. Estado2. todos los años se pierden algunos pinos enfermos. Al estudiar la operación de los árboles de navidad de Juan como un proceso de Markov con periodos anuales.

a) ¿Cuántos de los 5000 árboles se venderán y cuántos se perderán? 1500*0. ¿cuál es el número de partes que se deben comenzar a producir en un lote? b.52 + 3500*0. Con los datos de tiempo de operación ¿cuáles son los requerimientos esperados de horas hombres en cada etapa? c. tres de fabricación y tres de inspección.8 = 3580 árboles se venderán 1500*0. se regresan para rehacerlos sólo en inspección. En la siguiente tabla se muestran datos del problema: El costo de los materiales es de 25.8 = 2.00 UM por parte. APLICACIÓN 7.2 = 1420 árboles se perderán b) ¿Cuántos años se espera que pase un árbol pequeño en el vivero antes de ser cortado y vendido o perdido por enfermedad? 2 + 0.48 + 3500*0. Con los costos de mano de obra y de materiales. Al final de cada etapa los productos se desechan. ¿cuáles son los costos directos esperados? . Describirlo como una cadena de Markov Si se desea producir 100 productos a.Problema de producción En un proceso de producción cada producto pasa por seis etapas.00 UM por parte y el de los residuos 2..8 años c) ¿Cuál es la probabilidad de que un árbol disponible para cortar sea cortado y vendido? ¿y cuál es la probabilidad de que se pierda por enfermedad? 80% de probabilidad de que un árbol disponible para cortar sea cortado y vendido y 20% de probabilidad de que un árbol disponible para cortar se pierda por enfermedad. o pasan a la siguiente etapa.

Solución: a) Describimos los estados que son generados en el problema por la fabricación de los artículos en las máquinas. las inspecciones realizadas a .

considerando los siguientes estados: Estado Descripción 1 Artículo en máquina 1 2 Artículo en inspección 1 3 Artículo en máquina 2 4 Artículo en inspección 2 5 Artículo en máquina 3 6 Artículo en inspección 3 7 Artículo en almacén 8 Artículo desechado El diagrama de operaciones está dada por: Gráfico: . los artículos en cada etapa de producción. los artículos desechados y almacenados.

Matriz: Si deseamos producir 100 artículos. ¿cuál es el número de partes que se deben producir en un lote? Definimos las matrices: .

.

747) – (2*0.Problema del ratón. ¿cuáles son los requerimientos esperados de horas hombres es cada etapa? Los requerimientos esperados de horas hombres en cada etapa se muestran a continuación: d. Con los datos de costos de mano de obra y de materiales. luego N = 134 partes c.94 UM Aplicación 7. Con los sobretiempos estimados por operación que se muestra en la tabla. ¿cuáles son los costos directos esperados? Los costos directos son: Costo total de mano de obra: sumatoria (4) = 100. la cocina. una habitación y la entrada.253/0. .747) = 32..El número esperado de partes buenas que desean completarse es N*P17 = N(0.79 UM Costos directos por unidad producida 132.15 UM Costo de materiales: (25/0. Tenemos un ratón encerrado en una casa dividida en cuatro habitaciones con diversas entradas: el salón.747) = 100.

La probabilidad de que el ratón pase a las habitaciones adyacentes es la misma por cada puerta.3 .2 PC = PS = 0. Las probabilidades pueden representarse en una matriz Para calcular el tiempo que permanece el ratón en cada estancia resolvemos el siguiente sistema de ecuaciones Resolviendo: PE = PH = 0.

Debido a que ahora tenemos una nueva puerta debemos tener en cuenta la aparición de un nuevo estado (SL). Este tipo de distribución es límite ya que existe una sola clase final y es aperiódica.Así que para un periodo de 5 horas (300 minutos) tE = tH = 60 min tC = tS = 90 min Ahora vamos a calcular la posibilidad de que el dueño de la casa mate al ratón poniendo queso envenenado en la cocina y abriendo una nueva puerta hacia el exterior desde la entrada. genera el gráfico siguiente: En esta nueva situación no tenemos una distribución límite ya que existen dos posibles estados finales que pueden acabar con el ratón. Además el estado inicial va a repercutir en el resultado del problema ya que si el ratoncito se encuentra en un principio en la cocina es más probable que muera envenenado en la cocina. .

Ahora nuestro problema se va a centrar en encontrar las probabilidades de que acabar en un estado final. dependiendo de las distintas situaciones iniciales. La matriz de probabilidad: La matriz de estados transitorios: La matriz de estados absorbentes: Resta de matriz identidad y matriz de estados transitorios: . D son estados transitorios. mientras que C y SL son estados absorbentes o finales. eliminando al ratón. S. Y calcular el tiempo que va a tardar el ratón en hacerlo. Para ello nos planteamos que los estados E.mientras que si se encuentra en la entrada tiene más posibilidades de salir de la casa.

9 y tQQ a 0.Una máquina puede estar en dos estados: F “funciona” o Q “averiada”.2.4. la probabilidad de ser absorbidos finalmente por un estado absorbente aj es el ij- ésimo elemento de la matriz (I-Q)-1R. considerando la situación de régimen estable: a) Calcule la ganancia media por periodo.Calcule la situación de régimen  para el modelo cuyas probabilidades de transición son las siguientes: . tQF = 0. cuando está averiada.3 ¿vale la pena? APLICACIÓN 2. APLICACIONES PROPUESTAS APLICACIÓN 1. si en este momento estamos es un estado transitorio t i. con tFF =0.8. si en este momento estamos en el estado transitorio t i.. b) Verifique si un plan de mantenimiento preventivo que cuesta $50 por periodo. el número esperado de periodos que pasarán en un estado transitorio tj antes de la absorción es el ij-ésimo elemento de la matriz (I-Q)-1. tQQ =0. alterando: tFF a 0. tFQ = 0. los gastos son de 160 por periodo.6.Determinamos la matriz fundamental: Matriz fundamental. Cuando funciona da una utilidad de 480 por periodo y.. Por último determinamos la matriz de probabilidades: Matriz de probabilidades.

7 t33=0. tcc = 0. Si la máquina está hoy en buenas condiciones. En promedio.6. Antes de mandar a ventas un casete o portacintas. Fugar de la delegación. Ser preso y llevado para la delegación. inicialmente suelto. Permanecer suelto. Continuar en la prisión.2. se analiza el lote.. Si la máquina está en mal estado hoy. mientras que los lotes excelentes se envían inmediatamente a ventas. tab = 0.  Calcule la probabilidad de que un asaltante.2.Un asaltante notorio puede estar en uno de tres estados:  Suelto.2.4 en vez de 0.3 t23=0. tba = 0. Ser llevado a prisión.5 t12= 0.La Zephyr Electronics Co. regular. esperando su transferencia.  Haga un diagrama de la situación. entonces estará en mal estado mañana con 80% de probabilidad.Se usa una máquina para producir herramientas de precisión.t11= 0. Considerando las siguientes probabilidades de transición: taa = 0. produce 100 herramientas por día.  Preso en la cárcel. siga suelto (practicando asaltos) después de dos periodos. bueno y excelente. APLICACIÓN 4.3 Repita en el caso de t23=0. Fugar de la prisión. Las proporciones de lotes regulares y buenos que cambian de categoría se dan en la tabla siguiente: . entonces estará bien mañana con 90% de probabilidad. SI la máquina está en buen estado.4. Los lotes regulares y buenos se regresan para ajustes y se vuelven a probar.  Preso en la delegación de policía. practicando asaltos. tbb = 0. Los portacintas NF se desechan..5 t13= 0.8. tbc = 0.4 t22=0. 60 herramientas por día. Fabrica tocacintas portátiles.3 t31=0. Las categorías de inspección son: no funciona (NF).7. tca = 0.. y si está en mal estado. APLICACIÓN 3. ¿cuántas herramientas por día se producen? APLICACIÓN 5.6. Continuar en la delegación.

b) ¿Cuántas veces. ¿Cuántos llegarán a ventas? APLICACIÓN 6. Si la fábrica redujera el plazo de garantía a dos años. puede predecir las proporciones de los estudiantes que pasarán de una categoría a otra en un año dado. La fábrica otorga una garantía en todos los refrigeradores que especifica cambio gratis de cualquier unidad que se descomponga antes de tres años.. ¿cuánto dinero se ahorraría en costos de reemplazo? APLICACIÓN 7. habrá 65% de probabilidades de que al principio del año siguiente sea del 4to año. después de haber recogido datos durante varios años. en promedio. La garantía no vale para el refrigerador de repuesto. Inc. 15% de probabilidad de que .El Programa Profesional de Ingeniería Industrial. en promedio. Estos datos se dan en la tabla siguiente.a) Descríbase este proceso de prueba como una cadena de Markov absorbente y calcúlese la matriz de transición. Se nos da la siguiente información: (1) el 3% de todos los refrigeradores nuevos falla durante su primer año de funcionamiento. y (3) el 7% de todos los refrigeradores con dos años de funcionamiento falla durante su tercer año. se volverá a inspeccionar un lote que ya se había probado y había resultado regular en la prueba anterior? c) ¿Cuántas veces. se inspeccionará de nuevo un lote que ya se había probado y dio por resultado ser bueno? d) ¿Cuál es la probabilidad de que se deseche un lote regular? e) ¿Cuál es la probabilidad de que un lote regular llegue a ventas? f) De 30 000 lotes probados como buenos originalmente. vende refrigeradores. Por ejemplo.Freezco. (2) el 5% de todos los refrigeradores con 1 año de funcionamiento falla durante el segundo año de trabajo... si un estudiante es del 3er año al principio de este año. Se observa el estado de cada estudiante al principio de cada año. a) Use la teoría de cadenas de Markov para predecir la fracción de todos los refrigeradores que deberá cambiar Freezco. b) Suponga que a Freezco le cuesta 500 dólares cambiar un refrigerador y que vende 10000 refrigeradores al año.

se clasifican los jugadores en cuatro categorías: Categoría 1: Estrella (Gana 1 millón de dólares al año). reserva o retirado al principio de la siguiente temporada son como sigue: Determine el valor de los jugadores del equipo.aún sea del tercer año y 20% de que se retire. a) Si un estudiante entra al Programa a primer año.Una fábrica de jabón se especializa en jabón de tocador de lujo. 9 novatos y 11 sustitutos. Categoría 4: Retirado (No gana salario). 80 de cuarto año y 50 de quinto año.El equipo de fútbol del FBC Melgar consta de 2 estrellas. Al inicio de cada temporada. Estadísticamente el 80% de las piezas son aceptadas y el 5% son rechazadas. 120 de tercer año. Suponemos que una vez de que se retire un estudiante ya nunca vuelve a inscribirse... APLICACIÓN 9. novato. los accionistas deben evaluar a los jugadores.y dependen de dos factores: 1) si hacen o no publicidad y 2) si los competidores anuncian y comercializan nuevos productos. las probabilidades de que pase a ser estrella. Si un jugador es estrella.En un proceso productivo las piezas una vez procesadas son inspeccionadas para determinar si son rechazadas. Categoría 2: Novato (Gana 400 mil dólares al año). novato o reserva el principio de ésta temporada. ¿Cuántos años se espera que pasen siendo estudiante? b) ¿Cuál es la probabilidad de que egrese un estudiante de nuevo ingreso? c) Si hay 250 estudiantes de primer año. Para fines de impuestos. ¿Cuántos de estos estudiantes culminarán la carrera? APLICACIÓN 8. Las ventas de este jabón fluctúan entre dos niveles –bajo y alto.. 150 estudiantes de segundo año. Se define el valor de cada jugador como el valor total del sueldo que gana hasta su retiro. El segundo factor está fuera de control de la . ¿Cuál sería el costo de un ítem que termine en ventas? b) En un lote de 10000 piezas ¿cuántas serán rechazadas? APLICACIÓN 10. Categoría 3: Reserva (Gana 100 mil dólares al año). reprocesadas o aceptadas para su posterior venta. a) Si el costo de proceso es de $15 por pieza y el de reproceso $5.

a) Construya la matriz de transición (de un paso) para cada una de las siguientes estrategias de publicidad: i) nunca hacer publicidad. Estado 3 Los pagos de la cuenta están retrasados dos meses. Cuando se hace publicidad en un trimestre.El estado de las cuentas por cobrar en una empresa se modela con frecuencia como una cadena absorbente de Markov.. b) Determine las probabilidades de estado estable para los tres casos del inciso a). ii) siempre hacer publicidad. Estas probabilidades bajan a ¼ y ½ cuando no se hace publicidad en el trimestre actual. la probabilidad de tener ventas altas el siguiente trimestre es ½ o ¾ según si en el trimestre actual se tiene ventas bajas o altas. Suponga que una empresa supone que una cuenta es incobrable si han pasado más de tres meses de su fecha de vencimiento. al principio de cada trimestre se dispone de la información necesaria para pronosticar con exactitud si las ventas serán altas o bajas ese trimestre y decidir si hacer publicidad o no. ¿Cuál de estas estrategias es la mejor según esta medida de desempeño? APLICACIÓN 11. Entonces. (De aquí en adelante utilice cifras en millones de dólares). se puede clasificar cada cuenta en uno de los siguientes estados específicos: Estado 1 Cuenta nueva.compañía. Estado 4 Los pagos de la cuenta están retrasados tres meses. c) Encuentre la ganancia promedio a la larga (incluyendo una deducción por los costos de publicidad) por trimestre para cada una de las estrategias del inciso a). iii) seguir la propuesta del gerente de comercialización. Estado 5 Se ha saldado una cuenta. Las ganancias trimestrales de la compañía (sin incluir los costos de publicidad) son de $4 millones cuando las ventas son altas pero sólo $2 millones cuando son bajas. pero quieren determinar cuál debe ser su propia política publicitaria. el gerente de comercialización propone hacer publicidad cuando las ventas están bajas y no hacerla cuando están altas. La publicidad que se hace en un trimestre dado del año tiene su impacto el siguiente trimestre. El costo de publicidad es de $1 millón de dólares cada trimestre del año que se haga. Estado 2 Los pagos de la cuenta están retrasados un mes. Estado 6 Se ha cancelado la cuenta por ser mal pagador. Supongamos que los últimos datos indican que la siguiente cadena de Markov describe cómo cambia el estado de una cuenta de un mes al siguiente: . De cualquier manera. al principio de cada mes. Por ejemplo.

Estado 5: De tercer año y Estado 6: De cuarto año a) ¿Qué estados son absorbentes? b) ¿Cuál es la probabilidad de que un estudiante de segundo año se gradúe?.00 0.00 T   0.05 0. Estado 4: De segundo año.En la siguiente matriz de probabilidad de transición se resume la información del progreso de los estudiantes universitarios en una universidad en particular. Suponga ademán que después de tres meses. ¿cuál la probabilidad de que abandone? c) En un discurso de bienvenida a 600 alumnos de nuevo ingreso.00 0.85   0. por lo tanto.20 0.00 0.00 0. Estado 3: De primer año. ¿cuánto dinero será incobrable cada año? APLICACIÓN 12.05 Donde los estados son: Estado 1: Graduado.00 0.00 0.15 0. que tenga tres meses de retraso y una probabilidad de 60% de que se pague. Una vez que una deuda se paga o se considera incobrable.90 0.00 0.00 0. la cuenta o se cobra o se considera incobrable. a) ¿Cuál es la probabilidad que una cuenta nueva sea cobrada alguna vez? b) ¿Cuál es la probabilidad que una cuenta atrasada un mes se vuelva finalmente incobrable? c) Si las ventas de la empresa son 100 000 dólares en promedio mensual.10 0.15 0.00 0.00 1.00 0. el rector les pide que se den cuenta de que aproximadamente 50% de los presentes no llegará .00 0.05 0.00  0.00 0.65 0.00 0.. Estado 2: Abandona.00 0.Por ejemplo si al principio de un mes una cuenta lleva dos meses de vencida.75 0. 1.00 0.00 0.00 0. se cierra y no se tiene más transiciones.00 0. hay 40% de probabilidades de que no se pague al principio del mes siguiente y.00 0.00 0.10 0.00 0.

Basándose en un estudio de una empresa de investigación de mercado. ¿cuál será la distribución de los 2000 estudiantes? APLICACIÓN 13. 520 de segundo año. tenían 40 y 20 por ciento. las panaderías Klosman controlaban el 40% de su mercado local. La panadería A retiene el 75% de sus clientes y gana 5% de los clientes de Klosman y 7% de los de B. ¿por cuántos periodos debe mantener su campaña publicitaria. La panadería B retiene 73% de sus clientes y gana 5% de los clientes de Klosman y 10% de los de A. 460 de tercero y 420 de cuarto. d) ¿Cuántos años se espera que pase en la universidad un estudiante de nuevo ingreso antes de que se gradúe? e) Hoy. respectivamente.. mientras que las otras dos panaderías. La panadería B retiene 83% de sus clientes y gana 5% de los clientes de Klosman y 10% de los de A. la universidad tiene 600 estudiantes nuevos. sabiendo que se compite en un mercado de 1000 clientes? .El 1 de enero (de este año). ¿Qué porcentaje se graduará de los 2000 estudiantes de la universidad? f) Dentro de 5 años. La panadería A retiene el 85% de sus clientes y gana 5% de los clientes de Klosman y 7% de los de B. y gana el 15% de los clientes de A y el 20% de los de B.al día de graduación. a) ¿Cuál será la participación de cada empresa en 1° de enero del año siguiente? b) Klosman decide hacer una campaña publicitaria a efectos de ganar clientes. A y B. del mercado. Si a Klosman le cuesta 350 dólares por mes una campaña publicitaria y por cada cliente ganado obtiene un ingreso igual a 10 dólares mensuales. se compilaron los siguientes datos: la panadería Klosman retiene el 90% de sus clientes. y gana el 5% de los clientes de A y el 10% de los de B. ¿Un análisis de los procesos de Markov apoya la declaración del rector? Explique. dicha campaña altera las probabilidades de transición de estados de la siguiente manera: la panadería Klosman retiene el 90% de sus clientes.