a para Cadenas de Markov Cadenas de Markov En esta seccién se discute una técnica matemdtica que se usa como modelo en una gran variedad de procesos en los negocios, asi como en las ciencias so- ciales, biol6gicas y fisicas. Dicho método, llamado eadenas de Markov, fue ideado por el matematico ruso A. A. Markov (1856-1922) en 1906. Inicialmen- te, se usaron las cadenas de Markov para analizar procesos en fisica y meteoro- logia. Una de las primeras aplicaciones fue para predecir patrones de clima, Las aplicaciones més recientes incluyen el andlisis de los movimientos de pre- ccios de bienes, el mantenimiento de maquinaria, el comportamiento de los ani- ‘males en el laboratorio, la seleccién de productos por el consumidor, la longi- tud de las colas en un supermercado o un aeropuerto, en el manejo de inventarios en cuanto a nivel y variedad, y en administracién de plantas, ‘Antes de empezar nuestra discusién de las cadenas de Markov, necesitamos desarrollar mas nuestra discusién de probabilidades del Capitulo 2, Sea E un evento (resultado de un experimento) con P(E) > 0. Entonces la pro- babilidad condicional de un evento A dado que £ ocurrié se denota por PIAIE) y se expresa por Pale = PAOD © = CAPITULO ), me- 9.1 Probabilidad condicional Ejemplo 1 Output 13s, Dos dados normales se lanzan (con mimeros 1 6). {Cual es la probabilidad de que (@) Ia suma de las tiradas sea 7? 147148 CAPITULO 9 + CADENAS DE MARKOV (b) a suma sea 7 dado que en al menos uno de los dados salié un 2? Soluciéa (a) Hay 36 posibilidades {(1,1), (1,2), -.«, (1,6), (21), 6,2), .«-, (6,0). De éstas, seis dan una suma de 6,2), G,4), (4,3). Asi que Pa) - £ - 2,6), -.., 61), 6), (6,1), (2,5), 1 a (b) Se nos informa que hay al menos un 2, Por lo tanto, los tinicos posibles resultados son (2,1), (2,2), (2,3). (214), (2,5), (2s6)s (1,2)s (3,2) (4,2), (5,2) ¥ (6,2). De estos resultados equiprobables, s6lo dos dan una suma de 7: @,5) y (5,2). Por lo tanto Pal menos un 2) = 2. Podemos llegar a esta respuesta usando la fSrmula de probabilidad con- dicional. . P(7y al menos un 2) PALal menos um 2) =" peal menos un 2) 236 2. 11736 11" Not. El evento 7 y al menos un 2 ocurre de dos maneras: (2,5) y (5,2), por Jo que su probabilidad es de 2/36. Los resultados del iltimo ejemplo se pueden representar usando un diagra~ ‘ma de drbol. Esto se hace en la Figura I. De hecho, siempre que tengamos un experimento de dos (o més) partes, se pueden representar las distintas probabi- lidades en un diagrama de arbol. Vamos a usar los diagramas de arbol para ilustrar la teoria de las cadenas de Markov. ‘Antes de dar definiciones generales, empezamos con un ejemplo. Hjemplo 2 La empresa de abastos Gourmet tiene el 40% del negocio de abastos en una ciudad de tamafio medio. Su nico competidor, Distribuciones Finas y Servi- cios (DFS) tiene el otro 60%. Para aumentar su competitividad, Gourmet con- trata a una empresa de publicidad para mejorar su imagen. Durante una exten- sa campaiia de publicidad, se recogen los datos de ventas mensuales. Se encuentra que el 90% de los clientes de Gourmet regresan a Gourmet el mes siguiente, mientras que el 20% de los clientes de DFS se cambian a Gourmet. (@) {Qué porcentaje de los clientes usa cada servicio después de un mes? (b) ZQué porcentaje usa cada servicio después de 2 meses? BE ia te targa como se repare el mereado entre la dos empress?Seccion 9.1 + Teora de Markov 149 primer dado segundo dado resultado suma ap 2) ay 6,1), 2,5), ibles (5,2) por = 0 gua i sera eh n un pabi- para \ SeluiéeResolveremos este problema en varios pasos. Primero, introducimos algo de terminologia. En el lenguaje de las cadenas de Markov, el mercado de abastos en nuestra ciudad es un sistema en el que hay dos estados: Gourmet y DFS. EI Un cliente de abastos est en el estado Gourmet si usa los servicios de Gout. una met. En el caso contrario, esté en el estado DFS. Las probabilidades de cam- servi biarse de un estado a otro se llaman probabilidades de transcién. En nuestro ae problema, indicamos las probabilidades de transiciGn en la Figura 2. Las eas cuatro probabilidades en las ramas de la derecha del rbot son todas proba . Se ddades condicionales. Escribiéndolas, tenemos an P(Gourmet|Gourmet) = 09 P(DFS|Gourmet) = 0.1 P(Gourmet|DFS) = 02 P(DFS|DFS) = 08150 CAPITULO 9 * CADENAS DE MARKOV. (@)Usando el teorema de la multiplicacién o simplemente multiplicando a tra- vés del arbol, obtenemos (denotando una preferencia por Gourmet des- pués de un mes por G; y una preferencia por DFS después de un mes por DFS), PGG,) = PG,|G)P(G) + P(G,|DFS)P(DFS) = (0.90.4) + (0.2K0.6) = 0.36 + 0.12 = 0.48 P(DFS,) = P(DFS,|G)P(G) + P(DFS,|DFS)P(DFS) = (O.1X04) + (0.8X0.6) = 0.04 + 0.48 = 0.52 Asi, después de 1 mes, el 48% de los clientes de abasto escogieron a Gour- ‘met y el $2% escogieron a DFS. Nétese que 0.48 + 0.52 = 1. Se puede llegar a esta respuesta de otro modo. Definimos el vector de probabilidades inicial p, como p, = (0.4 0.6). Se define la matriz de pXt G DFS re 5/99 04 pFs\o2 08 nay). eon mes bel sia 09 S04 x 09 = 0.36 o eee , ee Fish PDFS /G)=01—~ DFS, 04 x 01 =008 PDFS /DFS) = 08 DFS; 06 x 08=048 La matriz de transicién muestra las probabilidades de pasar de un estado a otro durante el experimento. Asi, por ejemplo, 1a componente 1,2 de Tes la probabilidad de pasar del estado 1 (Gourmet) al estado 2 (DFS) en un mes. Ahora, observamos que 9 0.1 02 08, el vector de probabilidades de las proporciones después de un mes. El lee- tor debe poder explicar por qué el producto p,T produce el mismo resul- tado que las multiplicaciones en el diagrama de arbol. PoT = (04 06) ) = (088 052) = pisoa tra et des- nes por :Gour- ntriz de estado 1,2 de 2 (DFS) - El lec- o resul- Seccion 9.1 + Teoria de Markov 157 () Hay dos maneras de obtener ps, el vector de proporciones después de 2 ‘meses. Primero, podemos dibujar un diagrama de arbol como en la Figu- Fa 3. Multiplicando @ lo largo del arbol, obtenemos PCG2) = (0.4(0.9(0.9) + (0.4)(0.1)(0.2) + (0.6)(0.240.9) + (0.6)(0.8)(0.2) = 0.536 PODFS,) = (0.4)(0.9)(0.1) + (0.4)(0.1(0.8) + (0.6)(0.2(0.1) + (0.6(0.8)(0.8) = 0.464. Ast, Bp el vector de proporciones después de 2 meses, esté dado por P: = (0.536 0.464), despues de dos meses Gespués de Un mes: 09.56, 04x09 x09 = 030 al Bite w Notese que 0.536 + 0.464 = 1, De otra manera, razonando como en la parte (a), se encuentra que DES, 04 «09 x 01 = 0036 04x01 x 02 = 0008 06 x02 x 09 = 0108 06 x 02 x 01 = 0012 06 x 08 x 02 = 0096 AN “Sn = a 06 «08 x 08 = 038s Po = pT = (0.48 osa(03 Me 02 as 04s, (©) De las partes (a) y (b) concluimos que Pi = PoT P= PT (Po T)T = poT?152 cAPITULO + CADENAS DEMARKOV ps =p:T = (TT = poT? pe =PsT = PoT* yy asf sucesivamente. Por ejemplo, 09 0 Ps = P2T = (0.536 460 aS. AP (0.5752 0.4248) Continuando los célculos en una caleuladora programable, obtenemos los resultados de la Tabla 1. Se ve que al aumentar m (el miimero de me- ses), las proporciones tienden a un vector fijo de probabilidades t= (0.6666... 0.3333...) =@ YD. Este se lama vector fijo para la matriz de probabilidades T ya que rad (03 gy) 4 D=* Es decir, el vector t no cambia al multiplicarse por la derecha por la ma- triz 7. Entonces concluimos que a la larga las proporciones del mercado son de 2/3 0 67% para Gourmet y 1/3 0 33% para DFS. at) ——__ awe oe eet ‘Vector de probablidades Mes (6 proporciones) después dm meses 4 06) (048 0.52) (0.536 0.464) (0.5752. 0.4248) (0160264 0.39736) (0.621848 0378152) (064470882. 0.35529448) (06591339934 0.3408660066) (0:6654006503 03345993497) (0.66645388730.3335461127) (0.6666309048._0.3333690952) (016665606562 03333393438) (016666664969 03333335081) i (nicialy seus ‘Antes de dar otros ejemplos, discutiremos algunas propiedades generales de una cadena de Markov. Vectorde El vector renglén dem componentes p = (p; Ps . -- P,) ¢s un vector de proba- probabilidades _bilidades si todas sus componentes son no nezativas y la suma de sus compo- nentes es 1: ASeceién 91 + Teoria de Markov 153 tet tpl Ejemplo 3 Los siguientes son vectores de probabilidades. O8D O€FD OF) OF 4D ©OO©10) HOOP} O% emos le me- at La matriz m x n designada por P = (p,) ¢s una matriz de probabllidades si probabilidades cada uno de sus renglones es un vector de probabilidades. Esto significa que ‘todas sus componentes son no negativas y la suma de sus componentes en cada “fl renglén es 1. Ejemplo 4 Las siguientes son matrices de Probabilidades. la ma- ercado @ ( A o) C i) © (244) @ fo oO 1d 34 O10 tia ds ches oor © /+o# tiagd dordleed ded, b Didi th, Los siguientes enunciados se demuestran al final de esta seccion. Teorema 1 1. El producto de un vector de probabilidades (a la izquierda) por una matriz de probabilidades (a la derecha) es un vector de probabilida- des. 2. El producto de dos matrices de probabilidades es una matriz de pro- babilidades. skied) de ss Fiemplo5 Scap=(4 4 HyP=(0 1 0}. Veritcar que pPes un vector de probabi- lidades. 444 Je proba- Rid s compo= ‘Solucin pP=( 4 af 1 O/=G # a edd