Programacin Dinmica Autor: Germn Crdoba Barahona Material para el curso de Investigacin de Operaciones 2

PROGRAMACIN DINAMICA.
Autor: Germn Crdoba Barahona. Profesor Asociado PUJ Cali
1. Introduccin. Ciertos sistemas se puede visualizar como una serie de decisiones y resultados en el tiempo. (t) Estado Inicial Entrada X(0) Decisiones Estado Final Salida X(T)

R[X(t); (t)]

Resultados

A lo largo del tiempo (T) se toman una serie de decisiones (t), obteniendo un conjunto de resultados R[X(t);(t)] o sea un flujo de ganancias o prdidas Algunos de estos sistemas se pueden a su vez representar como una cadena de etapas en la siguiente forma: (N) . (N-1) (2) (1)

X(N)

X(N-1)

N-1

X(N-2)

X(2)

X(1)

X(0)

R[X(N); (N)] R[X(N-1) (N-1)]

R[X(2); (2)]

R[X(1); (1)]

En la figura debemos resaltar los siguientes aspectos: Se deben tomar N decisiones. Se obtienen N resultados. El resultado de cada etapa N, depende de la situacin inicial [Entrada X(N)] y la decisin tomada en la etapa (N). Si hay una serie de resultados el objetivo ser el de optimizar la serie de resultados. Algunos funciones tpicas sern: Max F = [ R[Xi;i] [La sumatoria de resultados para todo i]

Programacin Dinmica Autor: Germn Crdoba Barahona Material para el curso de Investigacin de Operaciones 2

Max F = [ R[Xi;i] [La productoria de resultados para todo i] El nmero de decisiones posibles en cada etapa es limitado. Existe un conjunto de decisiones factibles por etapa. La primera etapa es la etapa N, en tanto que la ltima etapa es la etapa 1. Esta terminologa de atrs para adelante es propia de los problemas de Programacin dinmica como lo veremos en el numeral siguiente. 2. El principio de optimalidad de Richard Bellman y su aplicacin

El estudio de los sistemas representados en el diagrama anterior deriv, como resultado, el principio de Richard Bellman que se puede enunciar en la siguiente forma: Una poltica ptima tiene la propiedad de que, independiente del estado inicial (Entrada) y de las decisiones anteriores, las decisiones posteriores o restantes deben constituir una poltica ptima con respecto al estado resultante de las decisiones anteriores. Se entiende por poltica una serie de decisiones y poltica ptima una serie de decisiones ptimas. Expresado en otras palabras el principio de Richard Bellman, dice que sin importar las decisiones y resultados anteriores, las decisiones posteriores deben ser ptimas. Entender este principio es la base para entender, a su vez; una de las formas de resolver los problemas de programacin dinmica, conocida como la recursin hacia atrs, porque se realiza de atrs para adelante , esto es iniciando en la ltima etapa y avanzando hasta llegar a la primera etapa. Usando esta tcnica basada en el principio de Richard Bellman, si se logra una decisin ptima para la ltima etapa (Etapa 1), es posible derivar una poltica ptima para las dos ltimas etapas en conjunto (penltima y ltima) y as sucesivamente hasta llegar a la etapa N (primera etapa) y obtener la poltica ptima para todas las etapas analizadas. 3. Aplicaciones de la Programacin Dinmica.

Las aplicaciones del principio de Richard Bellman dieron lugar a la Programacin Dinmica. En general algunos de los sistemas que pueden ser representados como una cadena de etapas en donde se pueden tomar decisiones y obtener resultados, pueden ser resueltos utilizando tcnicas de Programacin Dinmica. Los modelos son tanto determinsticos como probabilsticos. El autor TAHA dice que existen tres elementos bsicos en un modelo PD. Definicin de etapas. Definicin de alternativas en cada etapa. Definicin de estados para cada etapa. Es de anotar adems que es necesaria una enumeracin completa de las alternativas existentes (que pueden ser muchas). Se puede demostrar sin embargo que es posible

Programacin Dinmica Autor: Germn Crdoba Barahona Material para el curso de Investigacin de Operaciones 2

obtener la solucin o poltica ptima trabajando solo con los casos extremos como lo veremos en las aplicaciones de inventarios. Una de las aplicaciones ms sencillas de la Programacin Dinmica est en la solucin de problemas de redes, en los que se pretende lograr la ruta ms corta entre un origen y un destino (El problema del agente viajero), el mximo flujo posible etc. Otra de las aplicaciones de PD, se usa en problemas de control de inventarios en donde un problema puede representarse como una serie de decisiones y resultados y algunos datos son variables, o sea diferentes en cada etapa, tales como los precios, los costos unitarios de produccin, las demandas o los costos de preparacin. Se trata de satisfacer la demanda sin permitir faltantes y lograr un nivel final de inventario determinado, conociendo a su vez, el nivel inicial del inventario. Un ejemplo aclara la situacin: El cuadro a que aparece a continuacin muestra los datos de demanda, costos de preparacin y alistamiento (diferentes) en cada perodo. Los costos de produccin por unidad son iguales a $10 en todos los perodos. El inventario inicial es de una unidad. Se debe decidir el plan de produccin si el inventario final debe ser de cero y es necesario satisfacer la demanda de cada perodo sin faltantes. Perodo i Demanda Di 1 3 2 2 3 1 Costo preparacin Costo de almacenamiento Coi Cmi 3 1 7 3 6 2 Etapa 3 2 1

La solucin a este problema requiere comprender por un lado el juego de inventarios en cada perodo: Inventario inicial + Produccin ventas = Inventario Final Ii + Pi Vi = Ii+1 Si usamos la tcnica recursiva hacia atrs las alternativas para el ltimo perodo o etapa 1 son las siguientes si el inventario final debe ser de cero (Dato del problema): 0+11=0 1+01=0 Cada una de las alternativas de cada etapa, pueden ser presentadas en un cuadro ordenado de datos, que usa el juego de inventarios para detallar cada alternativa y su evaluacin econmica. El cuadro No 1 es un ejemplo que enumera y evala todas las alternativas. Esta enumeracin exhaustiva es posible solo si se manejan datos de demanda y produccin tan relativamente pequeos como los del ejemplo utilizado

Programacin Dinmica Autor: Germn Crdoba Barahona Material para el curso de Investigacin de Operaciones 2

Cuadro No 1. Problema de Inventarios con enumeracin exhaustiva de alternativas

Problema de Inventario resuelto con Programacin Dinmica pd01a Perio- Deman Costo Costo do da Orden mant. 1 3 3 1 10 2 2 7 3 C. produccin 3 1 6 2 Inv Produc- DispoInv. Costo de Costo Costo C Total Costo Costo Me Per Etap Inicial cion nible Ventas Final ordenar Mantener Producir Periodo Anterior Total nor 3 1 0 1 1 1 0 6 0 10 16 0 16 * 1 0 1 1 0 0 2 0 2 0 2* 2 2 0 0 1 1 2 2 3 1 3 1 1 1 1 2 3 1 2 0 1 0 2 3 4 5 2 3 2 3 2 3 3 3 4 5 6 2 2 2 2 2 2 2 3 3 3 3 0 1 0 1 0 1 1 0 1 2 3 7 7 7 7 0 7 0 3 3 3 3 0 0 3 3 6 6 9 1 1 1 1 20 30 10 20 0 10 0 20 30 40 50 27 37 20 30 6 23 9 0 24 34 44 54 16 2 16 2 16 2 2 39 32 22 11 43 39 * 36 32 * 22 * 25 11 * 63 * 66 66 65

Un segundo problema nos muestra demandas con cifras en las que la enumeracin exhaustiva de alternativas es posible pero incluye demasiadas alternativas Perodo i Demanda Costo preparacin Di Coi Costo de almacenamiento Cmi Costo de pr o d u ci r 1 1 1 1 Etapa

1 2 3 4

76 26 90 67

98 114 185 70

2 2 2 2

4 3 2 1

Programacin Dinmica Autor: Germn Crdoba Barahona Material para el curso de Investigacin de Operaciones 2

El cuadro dos muestra la solucin del problema anterior, en la que no se enumeran todas las alternativas sino solo aquellas en las que hay inventario (>0) o no hay inventario inicial (0) y/o hay produccin (>0) o no hay produccin (0). Aqu no aparece, pero es posible demostrar que el mtodo o procedimiento seguido es correcto matemticamente

Cuadro 2. Problema de inventarios sin enumeracin exhaustiva de alternativas

Perio- Deman C. do da Ordenar 1 76 98 C producir 2 26 114 C mantener 3 90 185 4 67 70

2 1

Eta Inv Produc- DispoInv. Costo de Costo Costo C Total Costo Costo Me Per pa Inicial cion nible Ventas Final ordenar Mantener Producir Periodo Anterior Total nor 4 1 0 67 67 67 0 70 0 134 204 0 204 X 67 0 67 67 0 0 67 0 67 0 67 X 3 2 0 0 90 157 2 3 0 0 0 26 116 183 1 4 15 15 15 15 90 157 0 0 26 116 183 0 0 0 61 87 177 244 90 157 90 157 26 116 183 26 116 183 76 102 192 259 90 90 90 90 26 26 26 26 26 26 76 76 76 76 0 67 0 67 0 90 157 0 90 157 0 26 116 183 185 185 0 0 114 114 114 0 0 0 98 98 98 98 0 0 90 157 0 0 0 26 116 183 15 15 15 15 180 314 0 0 52 232 366 0 0 0 122 174 354 488 365 499 90 157 166 346 480 26 116 183 235 287 467 601 204 67 204 67 566 294 224 566 294 224 569 566 X 294 X 224 X 732 640 X 704 592 X 410 X 407 X

640 875 X 592 879 410 877 407 1008