INVESTIGACION OPERATIVA II

Programacin Dinmica
Ing. E. Raffo Lecca
eraffolecca@yahoo.es Lima-Per 2011

CARACTERSTICAS DE LOS PROBLEMAS DE PD

1.-El problema se puede dividir en etapas que requieren de una decisin en cada una. 2.-Cada etapa tiene un cierto nmero de estados asociados a ella. 3.-La decisin en cada etapa es transformar el estado actual en un estado asociado en la siguiente etapa. 4.-Dado el estado actual, una poltica ptima para las etapas restantes es independiente de la poltica adoptada en etapas anteriores. 5.-La solucin se inicia al encontrar la poltica ptima para la ltima etapa;se resuelve de atrs hacia delante.

6.-La relacin recursiva identifica la poltica ptima para la etapa n, dada la ptima para la etapa n+1, difiere de un problema a otro. Sea xn : la variable de decisin en la etapa n. Sea fn(s,xn) : el valor de la F.O. dado que el sistema se encuentra en el estado s de la etapa n, y se toma la decisin xn. Sea f *n (s) : el valor ptimo de fn(s,xn) sobre todas las xn posibles. La relacin recursiva siempre tendr la forma: f *n(s) = mx { fn(s,xn) } ; mximo tomado sobre todas las xn f *n(s) = mn { fn(s,xn) } ; mnimo tomado sobre todas las xn

FORMA DE RESOLVER UN CASO DE PD EMPLEANDO REDES: Llegar de un estado inicial 1 a un estado final 10 a travs de 4 etapas pasando por algunos de los estados intermedios posibles ubicados en forma vertical, de tal forma que la suma de los valores asociados a los arcos sea MINIMA.

Este ejemplo tiene 4 decisiones que hay que determinar; siendo la primera ir hacia 2, a 3 o bien a 4 . De algunos de estos estados el problema ahora es ir hacia 5 , a 6 a 7 para luego el ir hacia 8 a 9 , para finalmente ir hacia a 10 . La ltima decisin,en la etapa 4 es ir hacia 10 .

Este ejemplo tiene 4 decisiones que hay que determinar: Siendo la primera a partir de la etapa 1 en 1 hacia 2 ,3 4 .
2
2 4 1 3 4 3

Etapa 1

De algunos de estos estados en la etapa 2; el problema ahora es ir a 5 , a 6, ir a 7 .

2 7 4 6 3 3 5

2
4 1

2 4 1

3
4 4

5
Etapa 1 Etapa 2

Ya en la etapa 3 el problema es ir a 8 a 9 , para finalmente ir hacia 10 .

2 7 4 6 3 3 5 1 4 2 4 1 6 8

2
4 1

6
3

3
9

3
4 4

5
Etapa 1 Etapa 2

3
Etapa 3 Etapa 4

La ltima decisin, la etapa 4, es fcil, es ir hacia 10 .

2 7 4 6 3 3 5 1 4 2 4 1 6 8 3 10 4 4 4 3 9

2
4 1

5
Etapa 1 Etapa 2

3
Etapa 3 Etapa 4

Terminologa Estados : son 10. Son cada uno de los posibles puntos por donde se pudiese pasar. Arco y valor asociado a ese arco: Al ir de un estado a otro hay un valor asociado. Estado inicial: es el estado 1 . Estado final: es el estado 10 . Etapas : son 4 etapas. (La primera es ir de: 1 a: 2 , 3 o 4 ) Decisin: Indicada por x1, x2, x3, x4 es decidir a que estado ir en cada una de las etapas. El total de rutas posibles de 1 a 10, en este caso son: 3*3*2*1 = 18 rutas posibles.

Solucin:
En el ejemplo la decisin es ir al estado 10 Sean Xn (con n=1, 2, 3, 4) las variables de decisin que representan el destino inmediato de la etapa n; entonces la ruta seleccionada es: 1 X1 X2 X3 X4 ; con x4=10.

Programacin Dinmica Determinstica y Probabilistico

Determinstica: Es cuando el estado en la siguiente etapa est completamente determinado por el estado y la poltica de decisin de la etapa actual.Por ejem: dn=Decisiones
Sn=Estados d1 d2

S1
Etapa 1

S2
Etapa 2

S0

r1

r2

rn=Rendimientos

Probabilstico: Es cuando existe una distribucin de probabilidad para lo que puede ser el siguiente estado, Para maximizar la probabilidad de que suceda
un evento favorable, asigne una recompensa de 1 si sucede ese evento y una recompensa de 0 si no sucede

FRMULA GENERAL DE OPTIMIZACIN DE UN PD

f n ( S n ) Opt { rn ( Sn , d n ) f n1 ( Sn1 )
*
Donde: [Valor actual ptimo]=[Rendimiento actual]+[Valor anterior ptimo]

El signo postivo de adicin + puede ser de multiplicacin * tambin

Adems: Opt: Significa que la funcin de optimizacin puede ser de Maximizacin o de Minimizacin No olvidemos que n
i i 1

r = funcin de rendimiento;

S n1 S n d n

dn <= Sn

Resolvamos el problema # 4 de la pag. 1031 del cap. 21 del Winston con la sgte tabla:
Tipos de Demarcaciones NUMERO DE PATRULLAS ASIGNADAS A CADA DEMARCACIN

0
14

1
10

2
7

3
4

4
1

5
0

Demarcacin 1

Demarcacin 2
Demarcacin 3

25
20

19
14

16
11

14
8

12
6

11
5

Elaboramos el diagrama de procesos:

d1
d2 d3

S1
Demarc.1

S2
Demarc. 2

S3
Demarc.3

S0=0

r1

r2

r3

a) Solucin de la etapa 1:
d3

Demarc.3

S0=0

r3
Tipos de Demarcaciones

Como empezamos con la etapa 1 vemos en nuestra tabla cuantas patrullas son asignadas a la demarcacin 3 desde 0 hasta 5 y colocamos en nuestra tabla de estados y decisiones.
2
11

NUMERO DE PATRULLAS ASIGNADAS A CADA DEMARCACIN

0
20

1
14

3
8

4
6

5
5

Demarcacin 3

Ahora colocamos los valores correspondientes en nuestra tabla de estados y decisiones.Primero lo hacemos en nuestra columna d3,luego en la columna f3* y finalmente en la columna X3 *. As tenemos nuestra tabla completada:
S3 \ X3 0 d3 20 f3 * 20 X3 * 0

1
2 3 4

14
11 8 6

14
11 8 6

1
2 3 4

b) Solucin de la etapa 2:
d2 d3

S3
Demarc. 2 Demarc.3

S0=0

r2

r3

Ahora estamos en la etapa 2 (Demarcacin 2) y como en el problema no se especifica un # mnimo de patrullas asignadas podemos tener asiganaciones desde 0 a 5 nuevamente, al igual que nuestras decisiones;van desde 0 a 5 tambin.

Tipos de Demarcaciones

NUMERO DE PATRULLAS ASIGNADAS A CADA DEMARCACIN

0
14 25 20

1
10 19 14

2
7 16 11

3
4 14 8

4
1 12 6

5
0 11 5

Demarcacin 1 Demarcacin 2 Demarcacin 3

Tabla etapa 1:
S3 \ X3
0 1 2 3 4 5

d3
20 14 11 8 6 5

f3 *
20 14 11 8 6 5

X3 *
0 1 2 3 4 5

Tabla etapa 2:
S2 \ X2 0 1 2 3 4 5
0 1 2

Por ejem: Para la fila 0 en la etapa 2 de decisiones y estados ingresan 0 patrullas,verificamos en nuestra tabla superior y el valor para la demarcacin 2 con nmero de patrullas 0, es 25.Luego a ese valor se le adiciona el valor de 20 que proviene de la fila 0 de la tabla de la etapa 1.De la misma manera para la fila 1 de la etapa 2 se le suma el valor de 14 a 25 que viene de la fila 1 de la etapa 1;asi para la columna 1 se colca el valor 19 de la tabla superior para la demarcacin 2 con patrullas asignadas 1;sumandole el valor de 20 que proviene de de la fila 0 de la etapa 3;y asi tenemos f2 * que es la mayor suma en este caso de Maximizacin y X2 * que es de donde proviene esa suma; y as sucesivamente con las dems etapas.
Decisin 2 3 4 5

f2 * 45 39

X2 0 0,1 1 1,2 1,2 2

(25+20) (25+14) (25+11) (25+8) (25+6) (25+5) (19+20) (19+14) (19+11) (19+8) (19+6) (16+20) (16+14) (16+11) (16+8) (14+20) (14+14) (14+11) (12+20) (12+14) (11+20)

33 30 27 24

c) Solucin de la etapa 3:
d1
d2 d3

S1
Demarc.1

S2
Demarc. 2

S3
Demarc.3

S0=0

r1

r2

r3

En esta ltima etapa slo tenemos una sola fila ya que es aqu donde de todas maneras deben de ingresar las 5 patrullas para que se de el problema. Tabla etapa 3:
Decisin d1 S1 \ X1 5 0 (14+24) 1 (10+27) 2 (7+30) 3 (4+33) 4 (1+39) 5 (0+45) f1 * 37 X1 * 1,2,3

d) Finalmente tenemos la presentacin de los resultados: Tabla de resulatdos:

Demarcaciones Demarcacin 1 Demarcacin 2 Demarcacin 3

A 1 1 3

B 2 1 2

C 3 1 1

A1 1 2 2

B1 2 2 1