4.4 a) Estados absorbentes b) Probabilidad de transición estacionaria de estados estables. c) Tiempos de primer pasó. Definición 1.

- Un estado absorbente es aquel que tiene una probabilidad de ser abandonado igual a cero, o sea que, una vez comenzado es imposible dejarlo igual a cero y el proceso o se detiene completamente o se detiene para luego comenzar a partir de algún otro estado. Definición 2.- Una cadena de Markov es absorbente si: (1) tiene por lo menos un estado absorbente y (2) es posible ir desde cada estado no absorbente hasta por lo menos un estado absorbente. No es necesario tener la posibilidad de alcanzar cada estado absorbente a partir de cualquier estado no absorbente. La descripción de los procesos o sistemas que cesan (o por lo menos vuelven a comenzar) después de alcanzar determinadas condiciones se utiliza un caso especial de cadenas de Markov. Por ejemplo, después de hallar un numero predeterminado de partes aceptables o defectuosas, se suspende una inspección secuencial; después de x horas de funcionamiento se detiene una máquina para repararla o remplazarla, etc. Tales procesos pueden modelarse como una cadena de Markov absorbente. Ejemplo.- Se supone que se inspecciona componentes de un producto según el plan de inspección secuencial: seleccionar e inspeccionar artículo por artículo hasta hallar un defectuoso (rechazos) o hasta encontrar 5 partes buenas (aceptables). Los posibles estados de este problema son:
Descripción Física:

Estado

# de partes Buenas S1 (0,0) 0 S2 (1,0) 1 S3 (2,0) 2 S4 (3,0) 3 S5 (4,0) 4 S6(5,0) 5 S7 (0,1) 0 S8 (1,1) 1 S9 (2,1) 2 S10 (3,1) 3 S11 (4,1) 4

# de partes Defectuosas 0 Precisamente 0 Al comenzar 0 0 0 0 1 Absorbente 1 1 1 1

Si se espera que el 90% de las partes sean aceptables, la matriz de transición es:

A=Una matriz n x a contiene las probabilidades de ir desde cualquier estado no absorbente hasta un estado absorbentes) N= una matriz n x n contiene las probabilidades de ir desde cualquier estado ---no absorbente. la probabilidad de que el proceso permanezca en el respectivo estado es 1.1 0.1 0.1 0.9 0. n estados no absorbentes y a+n=m estados totales. El primer paso del análisis es reagrupar la matriz de transición de manera que haya cuatro submatrices: I 0 P= A N Estas matrices más pequeñas contienen elementos de probabilidad pero si se consideran individualmente no constituyen una matriz de transición. Por tanto es imposible (probabilidad cero) ir desde cualquiera de los estados hasta otro estado. Consideradas individualmente contienen la siguiente información con respecto a las probabilidades.S1 S2 S3 S4 S5 S6 S7 S8 S9 S10 S11 S1 S2 S3 S4 S5 S6 S7 S8 S9 S10 S11 0.9 0.9 0. La matriz de transición revisada es: . Es posible determinar los siguientes datos: 1) El numero esperado de pasos antes de que el proceso sea absorbido 2) El número esperado de veces que el proceso está en cualquier estado dado no absorbente. I=Una matriz identidad a x a representa las probabilidades de permanecer dentro de un estado absorbente.1 1 1 1 1 1 1 Se observa que una vez alcanzados los estados S6 hasta S11 .9 0. (Esta matriz no se utiliza en cálculos posteriores).9 0. 3) La probabilidad de absorción por cualquier estado absorbente dado.1 0. 0=Una matriz cero a x n indica las probabilidades de ir desde un estado absorbente hasta un estado no absorbente. Físicamente esto se debe a que el inspector podrá tomar una decisión de aceptación y/o rechazo en ese momento y terminar la inspección. A partir del análisis de esta clase de cadena pueden obtenerse diversas clases de información pertinente. Se supone que hay a estados absorbentes.

0) 0.0) S6 S7 S8 S9 S10 S11 S1 S6(5..1 0 0 0 S4(3.0) S5 0 0 0 0 0 0 0 0 0 0.0) (0. Estar en un estado no absorbente j es la suma de los siguientes términos. Teorema Sea P la matriz de transición de una cadena de M estados .1) 1 0 S10(3. N3 da esta misma información para n pasos exactamente.9 0 0 (4. Además. Esto es análogo a la serie algebraica de potencias I+x+x2+x3+…= donde | |≤1 Para un estado inicial dado. El numero esperado de veces en j=1X probabilidad de estar en j al comienzo +1X probabilidad de estar en j después de 1 paso + 1X probabilidad en j después de 2 pasos + =1N0+1N+1N2 +1N3 +….1) 1 0 S9(2.1) (0. Puesto que esta información se conoce y como el estado no puede dejarse en ceros pasos. Nn tiende a cero.0) S4 0 0 0 0 0 0 0 0 0.1) 1 0 S8(1.9 0 Antes de comenzar el análisis.1) (3.9 0 0 0 0 (2.0) 0 0. donde 0≤pij≤1 A medida que aumenta la potencia n. La matriz (I-N)-1 da el número esperado de veces que un proceso está en cada estado no absorbente antes de la absorción.1) 1 0 S11(4.1) (2. N 0 realmente una matriz identidad de nxn.1) 1 0 S1(0. Existe entonces un vector tal que .1 0 0 0 0 S3(2. =1N0 +1N+N2 +N3 +…… La matriz N se compone de fracciones decimales pij.0) S2 0 0 0 0 0 0 0. La matriz de transición P.1) (1. Puede demostrarse que esta serie de matrices se comporta como una serie de potencia y que el límite de su suma es: N0 +1N+N2 +N3 +……=(I-N)-1 I es la matriz identidad nxn.1) (4.1 0 0 S5(4.b) Probabilidades de transición estacionaria de estados estables.4.0) 0 0 0 0.0) 1 0 S7(0.0) 0 0 0 0 0.N2 da las probabilidades de ir desde cualquier estado no absorbente hasta otro estado no absorbente en dos pasos exactamente.9 0 0 0 0 0. es importante comprender muy bien el significado y la utilidad de las dos matrices N y A.0) 0 0 0. N0 puede representar la probabilidad de estar en un estado precisamente ahora.0) S3 0 0 0 0 0 0 0 0.9 0 0 0 (3. 4.(5.1 0 (1.1 0 0 0 0 0 S2(1. Donde N da las probabilidades de ir desde cualquier estado no absorbente hasta otro estado no absorbente en un paso exactamente.

podemos escribir (2) Ejemplo: Suponga que toda la industria de refrescos produce dos colas. Cuando una persona ha comprado la cola 1. hay un 80 % de probabilidades que su próxima compra sea de cola 2. El vector a menudo se llama distribución de estado estable. . según el teorema. Si una persona compró cola 2. para n grande y para toda i . .Se establece que para cualquier estado inicial i . o también distribución de equilibrio para la cadena de Markov. hay probabilidad 2/3 de que una persona dada compre cola 1 y 1/3 de probabilidad de que una persona compre cola 2. (1) n Como Pij (n + 1) = ( renglón i de P )(columna j de P). Para encontrar la distribución de probabilidades de estacionario para una cadena dada cuya matriz de transición es P. Entonces : Al reemplazar la segunda ecuación por la condición Obtenemos el sistema . Al despejar resulta que Por lo tanto. hay una probabilidad de 90 % de que su siguiente compra se de cola 1. después de largo tiempo.

etc. En particular. El sábado en la noche la tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. las demandas de esta cámara durante la primera. Con frecuencia es conveniente poder hacer afirmaciones en términos de probabilidades sobre el número de transiciones que hace el proceso al ir de un estado i a un estado j por primera vez . el tiempo de primer paso para ir al estado 3 al estado 1 es dde 2 semanas. 2. La tienda usa la siguiente política ( s. D2. 3 que representan el número posible de cámaras en inventario al final de la semana. Se puede demostrar que estas probabilidades satisfacen las siguientes relaciones recursivas: .4. denota la probabilidad de que el tiempo de primer paso del estado i al j sea igual a n. Suponga que ocurrió lo siguiente: En este caso. ordenar (hasta) S=3.. no se hace el pedido).. Para ilustrar estas definiciones. La tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. Estas distribuciones de probabilidad dependen de las probabilidades de transición del proceso. reconsidérese el ejemplo siguiente : Una tienda de cámaras tiene en almacén un modelo especial de cámara que se puede ordenar cada semana. tienen una distribución de probabilidad asociada a ellos. Se supone que las D i son variables aleatorias independientes e idénticamente distribuidas que tienen una distribución de probabilidad conocida. Donde Xt es el número de cámaras en inventario al final de la semana t y se comienza con . 1.. segunda. respectivamente. esta tiempo de primer paso es justo el número de transiciones hasta que el proceso regresa al estado inicial i. Sea X0 el número de cámaras que se tiene en el momento de iniciar el proceso. S)1 para ordenar : si el número de cámaras en inventario al final de la semana es menor que s =1 (no hay cámaras en la tienda). . el tiempo de primer paso para ir del estado 3 al estado 0 es de 3 semanas y el tiempo de recurrencia del estado 3 es de 4 semanas. es un proceso estocástico de la forma que se acaba de describir. Se supone que las ventas se pierden cuando la demanda excede el inventario. los tiempos de primer paso son variables aleatorias y. 1. En este caso. cuando J=i. X2 el número de cámaras al final de la semana dos. En general.. Suponga que X0 = 3 . X1 el número de cámaras que se tienen al final de la semana uno.4. . este lapso se llama tiempos de primer paso al ir del estado i al estado j. .c) Tiempos de primer paso. De otra manera. el tiempo de primer paso se llama tiempo de recurrencia para el estado i. Sean D1.. {X1} para t = 0. no coloca la orden (si se cuenta con una o más cámaras en el almacén. Los estados posibles del proceso son los enteros 0. . semana. Entonces. por lo tanto.

Entonces se puede calcular la probabilidad de un tiempo de primer paso del estado i al j en n pasos. el tiempo de primer pasó. que se define como: entonces satisface. las son números no negativos tales que Esta suma puede ser menor que 1. de manera única. la distribución de probabilidad de los tiempos de primer paso del estado 3 al estado 0 se obtiene como sigue: Para i y j fijos. Para obtener el tiempo esperado de primer paso del estado i al estado j. de manera recursiva. Sea . a partir de las probabilidades de transición de un paso. Cuando la suma es igual a 1. la ecuación: . lo que significa que un proceso que el iniciar se encuentra en el estado i puede no llegar nunca al estado j . las pueden considerarse como una distribución de probabilidad para la variable aleatoria. En el ejemplo.

estas ecuaciones se pueden usar para calcular el tiempo esperado hasta que ya no se tengan cámaras en el almacén.50 semanas. se puede obtener el tiempo esperado de primer paso . es decir. Como todos los estados son recurrentes. . suponiendo que el proceso inicia cuando se tienen tres cámaras. se llama tiempo esperado de recurrencia.Cuando i=j. Al aplicarlo al ejemplo del inventario. el sistema de ecuaciones conduce a las expresiones La solución simultánea de este sistema es De manera que el tiempo esperado hasta que la tienda se queda sin cámaras es de 3.

Sign up to vote on this title
UsefulNot useful