FORMACIÓN DE UN PROCESO COMO UNA CADENA DE MARKOV

Se puede suponer que los tres fabricantes de automóviles tienen los siguientes datos con respecto a las compras de
los clientes. Esta tabla presenta la probabilidad de que un cliente que ahora posee un Ford (S1), n = 0, pueda comprar un
Ford, un Chevrolet, o un Plymouth en la siguiente ocasión, o sea en el paso siguiente, n = 1. Se dispone de
información similar para todos los posibles estados. En esta forma, la tabla da la probabilidad de que un cliente que
ahora está en el estado Si pueda desplazarse hasta el estado Sj en el paso siguiente (siguiente compra). Para propósitos
de notación, Si indica que el proceso esta ahora en el i.ésimo estado y Sj indica que en algún paso posterior
(generalmente en la siguiente ocasión) el proceso estará en el j-ésimo estado.
Si esta misma información se escribe de nuevo sencillamente es forma de tabla de probabilidades, esta tabla se
denomina matriz de transición y se designa como P.
Siguiente compra (n =1)
Compra actual (n = 0) % que compra Chevrolet % que compra Plymouth
% que compra Ford
Ford 40 30 30
Chevrolet 20 50 30
Plymouth 25 25 50
S1 S2 S3
𝑆1 0,40 0,30 0,30
𝑃 = 𝑆2 [0,20 0,50 0,30]
𝑆3 0,25 0,25 0,50
Cada elemento de esta tabla representa la probabilidad de desplazarse desde un estado hasta otro. Para propósitos de
notación, un elemento de una matriz de transición se designa por Pij. Esta es la probabilidad condicional de que si el
proceso esta ahora en el estado i, en el siguiente paso podrá estar en el estado j. Por ejemplo, P13 = 0.30 significa que
la probabilidad de que un cliente, que posee ahora un Ford (S3 en n
= 0) es 0,30. Por conveniencia, una matriz de transición puede observarse como una tabla “desde-hasta” en la cual se
presentan las probabilidades de que el proceso avance desde el estado i hasta el estado j en un paso.
Desde Hasta
S1 S2 S3

S1
S2
S3

EJEMPLO 4 – 2 ¿Cuál es la probabilidad de que un propietario de Plymouth compre un Ford en la siguiente ocasión?
Compra de Plymouth = S3 Compra
de Ford = S1
En n = 0, el estado es S3, y en n = 1, el estado es S1; por tanto la probabilidad es Pij o P31 = 0,25.
Una matriz de transición debe satisfacer las siguientes condiciones:
o Cada elemento debe ser una probabilidad, o sea que debe tener un valor entre 1 y 0. Esto refleja
sencillamente el hecho de que es importante tener una probabilidad negativa o tener un valor de
probabilidad mayor que 1.
o Cada fila debe sumar exactamente 1. Si se suman las probabilidades de todos los resultados
posibles, esta suma evidentemente debe ser igual a 1.
Si esta matriz de transición se escribe empleando la notación general, tendrá la siguiente forma:

S1 S2 S3
𝑆1 𝑃 0,30 0,30
𝑃 = 𝑆2 [𝑃21 0,50 0,30] donde 0 ≤ P ij ≤ 1 ∑𝑚
𝑗=1 𝑃 𝑖𝑗 = 1, 𝑖 = 1, 2, … , 𝑚
… … … …
Sm Pm1 Pm2 Pmm
Se observa que para un estado dado en N = 0, una fila enumerada completamente todas las posibles formas de
acción (estados) que el cliente (proceso) puede seguir. Por tanto, una fila es un vector de probabilidad. Esto se
esperaba ya que un vector sencillamente es una matriz 1 X m. Para propósitos de notación, un vector fila
designado como Vi, representa la i-ésima fila. Por ejemplo, V2 = [0,20 0,50 0,30]. Un vector de probabilidad debe
satisfacer requisitos similares a los de una matriz de transición.
1) Cada elemento debe ser una probabilidad, esto es,
a. 0 ≤ Pij ≤ 1
2) La suma de los elementos del vector debe ser igual a 1:
a. ∑ 𝑚𝑗=1 𝑃𝑖𝑗 = 1

Por tanto, una matriz de transición P está compuesta por filas de vectores de probabilidad Vi.

ANALISIS DE PROBABILIDAD POR MEDIO DE CADENAS DE MARKOV

La matriz de transición puede usarse para determinar la probabilidad de un suceso después de n pasos, dado algún
estado inicial especifico Si. Esto puede demostrarse con un ejemplo sencillo, empleando los datos presentados
anteriormente.
Se puede suponer que se formula la siguiente pregunta: Si un cliente acaba de comprar un automóvil Ford, Si = S1 en
n =0, ¿Cuál es la probabilidad de que él pueda comprar un Chevrolet en la siguiente ocasión, Sj
= s2 en N= 2? En primer lugar, se analiza esta pregunta según las técnicas de la teoría clásica de probabilidades. Es
posible enumerar los diferentes caminos que pueden recorrer un cliente que ahora posee un Ford, para terminar,
comprando un Chevrolet en dos pasos. Esto ilustra por medio del árbol de la figura anterior.
En el tiempo 0 se conoce exactamente cuál es el estado; por tanto, la probabilidad de que el estado i exista es 1.
 𝑉1 = 𝑉0𝑃 = [𝑃𝑖1 𝑃𝐼2 … . 𝑃𝑖𝑚]
𝐼 𝐼

La i-ésima fila de la matriz P, el vector de probabilidad i.

𝑉2 = 𝑉1𝑃
𝑖 𝑖

La probabilidad de los resultados o sucesos en dos pasos, es el producto del vector de probabilidad 𝑉1 con 𝑖
la matriz de transición P. Por consiguiente, esto indica que puede hacerse el siguiente análisis.
𝑉3 = 𝑉2𝑃 = (𝑉1𝑃)𝑃 = 𝑉1𝑃2
𝑖 𝑖 𝑖 𝑖
𝑉4 = 𝑉3𝑃 = (𝑉1𝑃2)𝑃 = 𝑉1𝑃3
𝑖 𝑖 𝑖 𝑖
𝑉𝑛 = 𝑉𝑛−1𝑃 = (𝑉1𝑃𝑛−2)𝑃 = 𝑉1𝑃𝑛−1
𝑖 𝑖 𝑖 𝑖

Por tanto las posibilidades de los sucesos después de n pasos a partir de ahora pueden determinarse utilizando el
vector de probabilidad Vi y alguna potencia de la matriz de transición P.
EJEMPLO 4-4 Si el cliente es dueño ahora de un Chevrolet, ¿Cuáles son las posibilidades asociadas con su cuarta
compra?
V2 = [0,20 0, 50 0,30]
𝑉24 = 𝑉2𝑃3
0,277 0,351 0,372
𝑃3 = [0,269 0,359 0,372]
0,275 0,345 0,380
0,227 0,351 0,372
𝑉2𝑃 = [0,2
3
0,5 0,3] − [0,269 0,359 0,372] = [0,2724 0,3532 0,3744]
0,275 0,345 0,380
En realidad, si se desea el resultado después de n pasos, 𝑃𝑛 da una información aún más completa ya que se compone
de todos los vectores individuales 𝑉𝑛. Por tanto, 𝑃𝑛da las
𝑖 probabilidades de estar en cualquier estado dado para todas las
condiciones, o estados, iniciales posibles.
EJEMPLO 4-5 Hallar las probabilidades de compra en cuatro pasos.
0,2740 0,3516 0,3744
𝑃4 = [0,2724 0,3532 0,3744]
0,2740 0,3500 0,3760
La primera fila de las probabilidades asociadas con un estado inicial S1. La
segunda fila da las probabilidades asociadas con un estado inicial S2. Y la tercera
fila da las probabilidades asociadas con un estado inicial S3.
CADENA DE MARKOV ERGODICAS.

Si el sistema o proceso que se modela como cadena de Markov tiene ciertas propiedades, es posible determinar las
probabilidades de los sucesos después de alcanzar condiciones de estado estable. Después de que el proceso ha estado
funcionando durante un largo tiempo, un suceso dado puede presentarse durante un porcentaje x del tiempo.
Frecuentemente se desea estar en capacidad de determinar estos porcentajes. Tal vez la condición supuesta más
perjudicial, en este caso, es el requerimiento de que la matriz de transición contenga probabilidades que permanezcan
constantes con el tiempo. Este requerimiento siempre debe tenerse en cuenta cuando se hace análisis para asegurar
que los resultados sean interpretados adecuadamente.
Para asegurar la obtención de condiciones de estado estable, la cadena debe ser ergódica (algunas veces se denomina
cadena irreductible). Una cadena ergódica describe matemáticamente un proceso en el cual es posible avanzar desde
un estado hasta cualquier otro estado. No es necesario que esto sea posible precisamente en un paso, pero debe
ser posible para que cualquier resultado sea logrado independientemente del estado presente.
Por ejemplo, Jaime conduce su automóvil por un sector cuyas calles están trazadas como se indica en la figura anterior.
Cada vez que Jaime llega a una esquina puede dar vuelta o seguir derecho con igual probabilidad. Es decir, si como
se indica en la figura anterior el esta en la esquina 2, el puede avanzar hacia la esquina 1, 3 ó 5 con una probabilidad de
1/3. Si el esta en la esquina 5 puede avanzar hacia la esquina 2, 4, 6 u 8 con una probabilidad de ¼, etc. Un estado
describe la esquina en la cual esta Jaime cuando toma su decisión. Por tanto, hay nueve estados posibles. La matriz de
transición para esta situación es:

[
0 1/2 0 1/2 0 0 0 0 0
1/3 0 1/3 0 1/3 0 0 0 0
0 1/2 0 0 0 1/2 0 0 0
1/3 0 0 0 1/3 0 1/3 0 0
0 1/4 0 1/4 0 1/4 0 1/4 0
0 0 1/3 0 1/3 0 0 0 1/3
0 0 0 1/2 0 0 0 1/2 0
0 0 0 0 1/3 0 1/3 0 1/3
0 0 0 0 0 1/2 0 1/2 0

]
Jaime puede eventualmente llegar a cualquier localización dada (estado) a partir de cualquier localización presente
(estado). Por tanto, esta es una cadena ergódica. La matriz de transición se puede inspeccionar para determinar si
describe una cadena ergódica. Se efectúa una prueba sencilla para determinar la posibilidad de alcanzar desde cada
estado inicial o presente todos los demás estados. (En algunos casos se puede ir directamente desde S1 hasta S2 pero
no directamente desde S2 hasta S1). Considerar la matriz de transición.
 [ ] X
0
0
X
X
X
X
0
0
X
0
X
0
X
0
X
0
X
0
0
X
X
X
X
0

Sea X igual a algún valor positivo Pij. Es posible ir directamente desde el estado 1 hacia cada estado excepto el 3; sin
embargo, es posible ir desde 1 hasta 2 y luego hacia 3. Por tanto, es posible ir desde el estado 1 hacia cualquier otro
estado. Ahora se comprueban los demás estados, solo es necesario demostrar que es posible llegar hasta el estado 1 ya que
esto implica que es posible ir a los demás estados.
 Estado 2: ir hasta 5, luego desde 5 hacia 1
 Estado 3: ir hasta 5, luego desde 5 hacia 1
 Estado 4: ir hasta 1
 Estado 5: ir hasta 1
Por consiguiente, esta es la matriz de transición de una cadena ergódica.
Un caso más restringido de cadena ergódica, es una cadena regular. Una cadena regular se define como una cadena que
tiene una matriz de transición P la cual para alguna potencia de P tiene únicamente elementos positivos de
probabilidad (diferentes de cero). Utilizando la misma matriz de transición como antes, la forma más sencilla de
verificar si una cadena es regular consiste en elevar sucesivamente al cuadrado la matriz hasta que demuestre
obviamente que por lo menos un cero nunca podrá eliminarse. En el siguiente ejemplo se demuestra que esta cadena
también es regular. Se observa que todas las cadenas regulares pueden ser ergódicas pero lo contrario no
necesariamente es cierto. No todas las cadenas ergódicas son regulares.
𝑋 𝑋 0 𝑋 𝑋 𝑋 𝑋 𝑋 𝑋 𝑋 𝑋 𝑋 𝑋 𝑋 𝑋
𝖥0 𝑋 𝑋 0 1
𝑋 2 𝖥 𝑋 𝑋 𝑋 𝑋 𝑋1 4 𝖥𝑋 𝑋 𝑋 𝑋 𝑋1
𝑃= 0 0 0 𝑋 𝑋 𝑃 = 𝑋 𝑋 𝑋 0 𝑋 𝑃 = 𝑋 𝑋 𝑋 𝑋 𝑋
I𝑋 0 𝑋 0 𝑋I I𝑋 𝑋 0 𝑋 𝑋I I𝑋 𝑋 𝑋 𝑋 𝑋I
[𝑋 𝑋 0 0 0] [𝑋 𝑋 𝑋 𝑋 𝑋] [𝑋 𝑋 𝑋 𝑋 𝑋]
EJEMPLO 4-6 Comprobar cada matriz de transición para determinar si la cadena es (a) regular y (b) ergódica.
𝑋 𝑋 0 𝑋 𝑋 𝑋
𝑃 = [𝑋 0 𝑋] 𝑃2 = [𝑋 𝑋 𝑋] 𝑟𝑒𝑔𝑢𝑙𝑎𝑟 (𝑦 𝑝𝑜𝑟 𝑡𝑎𝑛𝑡𝑜 𝑒𝑟𝑔ó𝑑𝑖𝑐𝑎)
0 𝑋 𝑋 𝑋 𝑋 𝑋
Comprobación:
A partir de 1 ir hacia 1 o 2 directamente, luego desde 2 hacia 3. Desde 2 ir a 1. Desde 3 ir hacia 2, luego hacia 1.
Por tanto, es ergódica.
 𝑋 0 𝑋 0 𝑋 0 𝑋 0 𝑋 0 𝑋 0
0 𝑋 0 𝑋 2 0 𝑋 0 𝑋 4 0 𝑋 0 𝑋
𝑃 = [𝑋 0 𝑋 0𝑃 = 𝑋 0 𝑋 0 𝑃 = 𝑋 0 𝑋 0]
0 𝑋 0 𝑋 0 𝑋 0 𝑋 0 𝑋 0 𝑋
Esta matriz puede repetir continuamente este patrón para todas las potencias reales de P; por consiguiente, no es
regular.
Desde 1 hacia 1 o 3, y desde 3 hacia 3 o1; por tanto, no se puede ir de 1 hacia 2 o 4.
𝑋 0 𝑋 0 𝑋 0 𝑋 𝑋 𝑋 𝑋 𝑋 𝑋
0 𝑋 𝑋 0 2 𝑋 𝑋 𝑋 𝑋 4 𝑋= [ 𝑋 𝑋 𝑋
𝑃= [ ]𝑃 = [ ]
𝑋 0 0 𝑋 𝑋 𝑋 ] 𝑃 𝑋 𝑋 𝑋 𝑋
0 𝑋 𝑋 0 𝑋 0
𝑋 𝑋 𝑋 𝑋 𝑋 𝑋 𝑋 𝑋
Desde 1 hacia 1 o 3 directamente, desde 3 hacia 4, desde 4 hacia 2.
Desde 2 hacia 3 hacia 1. Desde 3 hacia 1. Desde 4 hacia 3 hacia 1. Ergódica.
0 𝑋 𝑋 0 𝑋 0 0 𝑋
𝑋 0 0 𝑋 2 0 𝑋 𝑋 0
𝑃= [ ]𝑃 = [ ]
𝑋 0 0 𝑋 0 𝑋 𝑋 0
0 𝑋 𝑋 0 𝑋 0 0 𝑋
𝑋 0 0 𝑋 𝑋 0 0 𝑋
0 𝑋 𝑋 0 8 0 𝑋 𝑋 0
𝑃4 = [ ]𝑃 = [ ]
0 𝑋 𝑋 0 0 𝑋 𝑋 0
𝑋 0 0 𝑋 𝑋 0 0 𝑋
Se observa que P elevada a una potencia par, da el resultado anterior mientras que P elevada a una potencia impar de la
matriz original. Todas tienen algunos elementos no positivos, no es regular.
Desde 1 hacia 2 o 3, desde 2 hacia 1 o 4. Desde 2 hacia 1. Desde 3 hacia 1. Desde 4 hacia 2 hacia 1. Ergódica.

DETERMINACIÓN DE LAS CONDICIONES DE ESTADO ESTABLE

La existencia de condiciones de estado estable en una cadena ergódica regular puede demostrarse de una manera sencilla
calculando Pn para diversos calores de n. En la tabla 4-1 se presentan los valores de Pn del ejemplo del comprador
de automóviles para valores de n =1 hasta 8. Se observa que a medida que aumenta el valor de probabilidad
𝑉𝑛tiende a hacerse igual para todos los𝑖 valores de i. Esto sugiere los
siguientes enunciados:
1. Para un valor de n suficientemente grande, el vector probabilidad 𝑉𝑛 se hace
𝑖 igual para todas las i
y no cambia para valores grandes de n.
2. Puesto que 𝑉𝑛+1 = 𝑉𝑛𝑃 𝑦 𝑉𝑛+1 = 𝑉𝑛, existe un vector V* tal que V* = V*P.
𝑖 𝑖 𝑖 𝑖

Un enunciado mas riguroso de este teorema se encuentra en las referencias 3 y 4; en la referencia 4 se presenta una
prueba.
El vector V* contiene las probabilidades que existen en condiciones de estado estable. El enunciado 2 proporciona
un método analítico para obtener estos valores. Sea 𝑉𝑗 el j-ésimo elemento del vector probabilidad V*. Puesto que, V*
todavía es un vector probabilidad, aun debe existir la siguiente condición:
𝑚

∑ 𝑣𝑗 = 1
𝑗=1

Y según la proposición 2,
[𝑣1 𝑣2 𝑣3 … 𝑣𝑚]𝑃 = [𝑣1𝑣2𝑣3 … 𝑣𝑚]
Si se expande este producto de matrices se obtiene m ecuaciones. Cuando se agregan al requerimiento de que la suma de
las probabilidades es igual a 1, hay m+1 ecuaciones y m incógnitas. Estas pueden resolverse
paras las m incógnitas descartando cualquiera de las últimas m ecuaciones. La ecuación ∑𝑚 𝑗=1 𝑣𝑗 = 1 no
puede descartarse puesto que, las restantes m ecuaciones pueden satisfacerse si todas las 𝑉𝑗 = 0.

Como ejemplo, usando las ecuaciones (4-4) y (4-5), se determinan las probabilidades de estado estable del comprador
de automóviles.
𝑚

∑ 𝑣𝑗 = 1
𝑗=1

[𝑣1 𝑣2 𝑣3]𝑃 = [𝑣1𝑣2𝑣3]

𝑣1 + 𝑣2 + 𝑣3 = 1
0,4𝑣1 + 0,2𝑣2 + 0,25𝑣3 = 𝑣1
0,3𝑣1 + 0,5𝑣2 + 0,25𝑣3 = 𝑣2
0,3𝑣1 + 0,3𝑣2 + 0,5𝑣3 = 𝑣3
Tabla 4-1 Valores de 𝑃𝑛
0,4 0,3 0,3 0,295 0,345 0,360
𝑃 = [ 0,2 0,5 0,3] 𝑃 = [0,255
2
0,385 0,360]
0,25 0,25 0,5 0,275 0,325 0,400
0,277 0,351 0,372 0,2740 0,3516 0,3744
𝑃 = [0,269
3
0,359 0,372] 𝑃 = [0,2724 0,3532
4
0,3744]
0,275 0,345 0,380 0,2740 0,3500 0,3760
0,27352 0,35160 0,37488 0,273448 0,351576 0,374976
𝑃5 = [0,27320 0,35192 0,37488] 𝑃6 = [0,273384 0,351640 0,374976]
0,27360 0,35120 0,37520 0,273480 0,35140 0,375040
0,2734384 0,3515664 0,3749952
𝑃 = [0,2734256
7
0,3515792 0,3749952]
0,2734480 0,3515440 0,3750080
0,27343744 0,35156352 0,37499904
𝑃8 = [0,27343488 0,35156608 0,37499904]
0,27344000 0,35155840 0,37500160
Si se descarga la última ecuación y se efectúan operaciones algebraicas se obtiene:
 𝑣1 + 𝑣2 + 𝑣3 = 1
−0,6𝑣1 + 0,2𝑣2 + 0,25𝑣3 = 0
0,3𝑣1 − 0,5𝑣2 + 0,25𝑣3 = 0
Resolviendo estas tres ecuaciones se obtiene:
𝑣1 = 0,273
𝑣2 = 0,352
𝑣3 = 0,375
Se pueden formular dos clases de enunciados interpretando estos resultados en función de este problema:
1. A la larga, 27,3 por ciento e los clientes compran Ford. 35,2 por ciento compran Chevrolet, y 37,5 por
ciento compran Plymouth.
2. A la larga, la probabilidad de que in determinado cliente compre un Ford es 0,273, etc.
EJEMPLO Si
0,2 0,5 0,3
𝑃 = [0,1 0,6 0,3]
0,5 0 0,5

Hallar 𝑉 ∗, (𝑣1 + 𝑣2 + 𝑣3)

𝑣1 + 𝑣2 + 𝑣3 = 1
0,2𝑣1 + 0,1𝑣2 + 0,5𝑣3 = 𝑣1
0,5𝑣1 + 0,6𝑣2 + 0 = 𝑣2
0,3𝑣1 + 0,3𝑣2 + 0,5𝑣3 = 𝑣3
Omitir la segunda ecuación

𝑣1 + 𝑣2 + 𝑣3 = 1
0,5𝑣1 − 0,4𝑣2 = 0
0,3𝑣1 + 0,5𝑣2 − 0,5𝑣3 = 0
𝑣1 = 0,282
𝑣2 = 0,352
 𝑣3 = 0,366
Cuando la cadena no es regular, el método de análisis es el mismo pero la interpretación es mas restrictiva. Por ejemplo,
la matriz de transición puede ser tal que no sea posible alcanzar un estado dado en un numero impar (par) de pasos
numerados. En este caso la interpretación 1, y el vector V* indica la frecuencia relativa del proceso en cada estado
posible.

CADENAS DE MARKOV ABSORBENTES

Para describir procesos o sistemas que cesan (o por lo menos vuelven a comenzar) después de alcanzar determinadas
condiciones se utiliza un caso especial de cadenas de Markov. Por ejemplo, después de hallar un numero predeterminado
de partes aceptables o defectuosas, se suspende una inspección secuencial; después de x horas de funcionamiento, se
detiene una maquina para repararla o remplazarla, etc. Tales procesos pueden modelarse como una cadena de Markov
absorbente. A continuación se define una cadena de Markov absorbente.
 Definición 1 Un estado absorbente es aquel que tiene una probabilidad de ser abandonado igual a cero, o sea
que, una vez comenzando es imposible dejarlo, y el proceso o se detiene completamente o se detiene para luego
comenzar a partir de algún otro estado.
 Definición 2 Una cadena de Markov es absorbente si (1) tiene por lo menos un estado absorbente y (2) es
posible ir desde cada estado no absorbente hasta por lo menos un estado absorbente. No es necesario efectuar
esta transición en un paso; ni es necesario tener la posibilidad de alcanzar cada estado absorbente a partir de
cualquier estado no absorbente.
Este caso queda mejor ilustrado por medio de un problema sencillo. Se supone que se inspeccionan partes de acuerdo al
siguiente plan de inspección secuencial: seleccionar e inspeccionar articulo por articulo hasta hallar un defecto (rechazos)
o hasta encontrar cinco partes buenas (aceptables).
A continuación, se describen los estados posibles de este problema.
Estado Descripción física
N° de partes buenas N° de partes defectuosas

𝑆1(0,0) 0 0 Precisamente al
𝑆2(1,0) 1 0 comenzar
𝑆3(2,0) 2 0
𝑆4(3,0) 3 0
𝑆5(4,0) 4 0
𝑆6(5,0) 5 0
𝑆7(0,1) 0 1 Absorbente
𝑆8(1,1) 1 1
𝑆9(2,1) 2 1
𝑆10(3,1) 3 1
𝑆11(4,1) 4 1

Si se espera que el 90 por ciento de las partes sean aceptables, la matriz de transición es:
 0,9 0,1
𝖥 0,9 0,1 1
I I
I 0,9 0,1 I
I 0,9 0,1 I
I 0,9 0,1I
I 1 I
I 1 I
I 1 I
I 1 I
I 1 I
[ 1 ]
Se observa que una vez alcanzados los estados 𝑆6 hasta 𝑆11la probabilidad de que el proceso permanezca en el
respectivo estado es 1. Por tanto, es imposible (probabilidad cero) ir desde cualquiera de estos estados hasta cualquier
otro estado. Físicamente esto se debe a que el inspector podrá tomar una decisión de aceptación y/o rechazo en ese
momento y terminar la inspección.

ANALISIS DE LAS CADENAS DE MARKOV ABSORBENTES

A partir del análisis de esta clase de cadena pueden obtenerse diversas clases de información pertinente. Es posible
determinar los siguientes datos:
1. El número esperado de pasos antes de que el proceso sea absorbido.
2. El numero esperado de veces que el proceso esta en cualquier estado dado no absorbente.
3. La probabilidad de absorción por cualquier estado absorbente dado.
El primer paso del análisis es reagrupar la matriz de transición de manera que haya cuatro submatrices:
𝐼 0
𝑃=[ ]
𝐴 𝑁
Estas matrices más pequeñas contienen elementos de probabilidad, pero si se consideran individualmente no constituyen
una matriz de transición. Consideradas individualmente contienen la siguiente información con respecto a las
probabilidades. Se supone que hay a estados absorbentes, n estados no absorbentes, y 𝑎 +
𝑛 = 𝑚 estados totales.
 I Una matriz identidad a x a representa las probabilidades de permanecer dentro de un estado absorbente.
(Esta matriz no se utiliza en cálculos posteriores)
 0 Una matriz cero a x n indica las probabilidades de ir desde un estado absorbente hasta un estado no
absorbente.
 A Una matriz n x a contiene las probabilidades de ir desde cualquier estado no absorbente hasta un estado
absorbente.
 N Una matriz n x n contiene las probabilidades de ir desde cualquier estado no absorbente hasta cualquier
otro estado no absorbente.
La matriz de transición revisada es:
 1 0 0 0 0 0
𝖥 1
1 0 0 0 0 0
I I
I 1 0 0 0 0 0I
I 1 0 0 0 0 0I
I 1 0 0 0 0 0I
I 1 0 0 0 0 0I
I 0 0,1 0 0 0 0 0 0,9 0 0 0I
I0 0 0,1 0 0 0 0 0 0,9 0 0I
I 0 0 0 0,1 0 0 0 0 0 0,9 0I
I0 0 0 0 0,1 0 0 0 0 0 0,9I
[. 9 0 0 0 0 0,1 0 0 0 0 0]
Antes de comenzar el análisis, es importante comprendes muy bien el significado y la utilidad de las dos matrices
N y A. Como se indicó anteriormente, N da las probabilidades de ir desde cualquier estado no absorbente hasta
otro estado no absorbente en un paso exactamente. Según lo discutido anteriormente para la matriz de transición P,
𝑁2 da las probabilidades de ir desde cualquier estado no absorbente hasta otro estado no absorbente en dos pasos
exactamente. 𝑁3 da información similar para tres pasos, etc. Por tanto, 𝑁𝑛 da esta misma información para n pasos
exactamente. Además, 𝑁0 puede representar la probabilidad de estar en un estado precisamente ahora. Puesto que esta
información se conoce y como el estado no puede dejarse en cero pasos, 𝑁0 realmente es una matriz identidad de n x n.
Si este problema se resuelve según los conceptos clásicos de probabilidad, una manera de hallar el numero esperado de
pasos antes de que el proceso sea absorbido consiste en calcular el numero esperado de veces que el proceso puede estar
en cada estado no absorbente y sumarlas. Esto totalizaría el número de pasos antes de que el proceso fuera descontinuado
o detenido y por consiguiente el numero esperado de pasos hacia la absorción.
El numero esperado de veces que el proceso pueda estar en un estado no absorbente j es la suma de los siguientes
términos:
Numero esperado de veces en j = 1 x probabilidad de estar en j al comienzo + 1 x probabilidad de estar en j después
de 1 paso + 1 x probabilidad de estar en j después de 2 pasos + …
= 1𝑁0 + 1𝑁 + 1𝑁2 + 1𝑁3 + ⋯
= 1𝑁0 + 𝑁 + 𝑁2 + 𝑁3 + ⋯
La matriz N se compone de fracciones decimales 𝑃𝑖𝑗, donde 0 ≤ 𝑃𝑖𝑗 ≤ 1.

Por tanto, a medida que aumenta la potencia n, 𝑁𝑛 tiende a 0. Puede demostrarse que esta serie de matrices se
comporta como una serie de potencias, y que el límite de su suma es:
𝑁0 + 𝑁 + 𝑁2 + 𝑁3 + ⋯ = (𝐼 − 𝑁)−1
I es una matriz identidad n x n. Esto es análogo a la serie algebraica de potencias
1
1 + 𝑥 + 𝑥2 + 𝑥3 + ⋯ =
1 − 𝑥 𝑑𝑜𝑛𝑑𝑒 |𝑥| < 1
 Por consiguiente, para un estado inicial dado, la matriz (𝐼 − 𝑁)−1 da el numero esperado de veces que un proceso está en
cada estado no absorbente antes de la absorción. Esto se demuestra en seguida por medio del ejemplo que modela un plan
de inspección secuencial.
1 0 0 0 0 0 0,9 0 0 0 1 −0,9 0 0 0
𝖥0 1 𝖥 1 𝖥 0 1 −0,9 0 01
1 0 0 0 0 0 0,9 0 0
𝐼−𝑁= 0 0 1 0 0 − 0 0 0 0,9 0= 0 0 1 −0,9 0
I0 0 0 1 0I I0 0 0 0 0,9I I0 0 0 1 −0,9I
[0 0 0 0 [0 0 0 0 0 ] [0 0 0 0 1 ]
1]
Invertir esta matriz para obtener (𝐼 − 𝑁)−1.
1 0,9 0,81 0,729 0,6561
𝖥0 1 1
0,9 0,81 0,929
(𝐼 − 𝑁)−1 = 0 0 1 0,9 0,81
I0 0 0 1 0,9 I
[0 0 0 0 1 ]
Para interpretar este resultado, se comienza desde el principio del proceso de inspección, 𝑆1; el numero esperado de
veces en este estado es 1, en el estado 2 (1 bueno, 0malo) es 0,9, en el estado 3 es 0,81 etc. Si el proceso esta ahora en
el estado 𝑆3 (2 bueno, 0 malo) el numero esperado de veces en 𝑆3 es 1, en
𝑆4 es 0,9 y en 𝑆5 es 0,81. Según lo indicado anteriormente, el numero esperado de pasos antes de la absorción es la
suma de las veces que el proceso esta en cada estado no absorbente.
Estado inicial Pasos esperados antes de la absorción
𝑆1 1 + 0,9 + 0,81 + 0,729 + 0,6561 = 4,0951
𝑆2 1 + 0,9 + 0,81 + 0,729 = 3,439
𝑆3 1 + 0,9 + 0,81 = 2,71
𝑆4 1 + 0,9 = 1,9
𝑆5 1

EJEMPLO 4-8 Hallar el numero esperado de pasos hacia la absorción para la matriz de transición.
1 0 0 0
0,3 0,2 0,3 0,2
[
0 0,4 0,3 0,3]
0,2 0,4 0,2 0,2
Hallar I – N
1 0 0 0,2 0,3 0,2 0,8 −0,3 −0,2
[0 1 0] − [0,4 0,3 0,3] = [−0,4 0,7 −0,3]
0 0 1 0,4 0,2 0,2 −0,4 −0,2 0,8
Halla (𝐼 − 𝑁)−1
2,551 1,429 1,173
(𝐼 − 𝑁)−1 = [2,245 2,857 1,633]
1,837 1,429 2,245
Comenzando en el estado 𝑆1, el numero esperado de pasos para la absorción es 2,551 + 1,429 + 1,173 = 5,153.
Comenzando en el estado 𝑆3 el número esperado de pasos para la absorción es 2,245 + 2,857 + 1,633 = 6,735.
Comenzando en el estado 𝑆4, el numero esperado de pasos para la absorción es 1,837 + 1,429 + 2,245 = 5,511.
Para hallar l probabilidad de absorción por cualquier estado absorbente dado, se emplea una lógica similar en el
análisis. Sea j el símbolo que representa un estado absorbente especifico; y sea k cualquier estado no absorbente.
Probabilidad de terminar en j = probabilidad de ir desde i hasta j en 1 paso + probabilidad de ir desde i hasta j en 2 pasos
+ probabilidad de ir desde i hasta j en tres pasos + …
Probabilidad de ir desde i hasta j en 1 paso = A
Probabilidad de ir desde i hasta j en 2 pasos = probabilidad de ir desde i hasta k en 1 paso x probabilidad de ir desde
k hasta j en 1 paso, sumada para todos los valores de k =NR.
Probabilidad de ir desde i hasta j en 3 pasos = probabilidad de ir desde i hasta k en 2 pasos x probabilidad de ir desde k
hasta j en 1 paso, sumada para todos los valores de k = 𝑁2𝐴.
Probabilidad de ir desde i hasta j en 4 pasos = 𝑁3𝐴. Probabilidad de ir
desde i hasta j en n pasos = 𝑁𝑛−1𝐴.
Por tanto, la probabilidad de ir desde i hasta j es la suma de los términos de una serie convergente. Probabilidad de ir
desde i hasta j = 𝐴 + 𝑁𝐴 + 𝑁2𝐴 + 𝑁3𝐴 + ⋯.
= 𝐼𝐴 + 𝑁𝐴 + 𝑁2𝐴 + 𝑁3𝐴 + ⋯.
= (𝐼 + 𝑁 + 𝑁2 + 𝑁3 + ⋯ ).
Probabilidad = (𝐼 − 𝑁)−1𝐴.
Considerando nuevamente el ejemplo de la inspección, la probabilidad de que el proceso pueda terminar con la
aceptación del lote como bueno es la probabilidad de ser absorbido en el estado 𝑆6 (cinco partes buenas).
1 0,9 0,81 0,729 0,6561 0 0,1 0 0 0 0
𝖥 1𝖥 0 0 0,1 0 0 01
0 1 0,9 0,81 0,729
(𝐼 − 𝑁)−1𝐴 = 0 0 1 0,9 0,81 0 0 0 0,1 0 0
I0 0 0 1 0,9 I I 0 0 0 0 0,1 0 I
[0 0 0 0 1 ] [0,9 0 0 0 0 0,1]
0,59049 0,1 0,09 0,081 0,0729 0,0656
𝖥 1
0,6561 0 0,1 0,09 0,081 0,0729
= 0,729 0 0 0,1 0,09 0,081
I 0,81 0 0 0 0,1 0,09 I
[ 0,9 0 0 0 0 0,1 ]
Para interpretar este resultado, la probabilidad de absorción en el estado 𝑆6 cuando el estado inicial es 𝑆1
es 0,59049. Por consiguiente, la probabilidad de que el lote sea aceptado es 0,59049. La probabilidad de
que sea rechazado es la suma de las probabilidades de absorción por los estados de rechazo
𝑆7, 𝑆8, 𝑆9, 𝑆10, 𝑆11.
Probabilidad de rechazo cuando se comienza en 𝑆1 = 0,1 + 0,090 + 0,081 + 0,0729 + 0,06561 =
0,40951.

NUMERO DE PASOS PARA ALCANZAR POR PRIMERA VEZ UN ESTADO

DETERMINADO EN CADENAS NO ABSORBENTES
En algunos casos es interesante determinar en una cadena no absorbente el numero esperado de pasos antes de que el
proceso que comienza en el estado i entre o alcance el estado no absorbente j. Esto es análogo al proceso de
absorción en una cadena absorbente. Por consiguiente, para determinar el número de pasos antes de alcanzar por
primera ve un estado especifico j, simplemente se modifica la matriz de transición de manera que el estado j
aparezca como estado absorbente y se utiliza el método de análisis desarrollado anteriormente,
Como ejemplo, usando el problema del comprador de automóviles, se determina el numero esperado de compras ates de
que el ahora dueño de un Ford (estado 𝑆1) compre un Plymouth (estado 𝑆3). La matriz de transición se modifica para
convertir el estado 𝑆3 (compra de un Plymouth) en un estado absorbente:
0,4 0,3 0,3
[0,2 0,5 0,3]
0 0 1
Separando esta matriz en cuatro submatrices:
1 0 0
[0,3 0,4 0,3]
0,3 0,2 0,5
1 0 0,4 0,3 0,6 −0,3
𝐼−𝑁 =[ ]− ]=[ ]
0 1[ 0,2 0,5 −0,2 0,5
2,08 1,25
(𝐼 − 𝑁)−1 = [0,82 2,50]
Esto significa que el número de ocasiones antes de que el dueño de un Ford compre por primera vez un Plymouth es
2,08 + 1,25 = 3,33. Además, el número de pasos para alcanzar por primera vez el estado 𝑆3 a partir de 𝑆2 es 0,82 +
2,50 =3,32.
EJEMPLO 4-9 Determinar el número de pasos para alcanzar por primera vez los estados 𝑆1 y 𝑆2. Determinación del
número de pasos para alcanzar por primera vez 𝑆1.
Convertir 𝑆1 en un estado absorbente.
1 0 0
[ 0,2 0,5 0,3]
0,25 0,25 0,3
 1 0
𝐼−𝑁 =[ 0,5 0,3 0,5 −0,3
]−[ ] = [ ]
0 1 0,25 0,5 −0,25 0,5
2,86 1,71
(𝐼 − 𝑁)−1 = [ ]
1,43 2,86
El numero esperado de pasos antes de que un dueño de Chevrolet compre por primera vez un Ford es 2,86
+ 1,71 = 4,57 pasos; para un dueño de Plymouth es 1,43 + 2,86 =4,29 pasos. Determinación del
número de pasos para alcanzar por primera vez 𝑆2.
1 0 0
[ 0,3 0,4 0,3]
0,25 0,25 0,5
1 0 0,4 0,3 0,6 −0,3
𝐼−𝑁 =[ ]− ]=[ ]
[
0 1 0,25 0,5 −0,25 0,5
2,22 1,33
(𝐼 − 𝑁)−1 = [ ]
1,11 2,67
El numero esperado de ocasiones antes de que un dueño de Ford compre un Chevrolet 2,22 + 1,33 = 3,55; para el dueño
de un Plymouth es 1,11 + 2,67 =3,78.