Controle Otimo

Felipe Taha SantAna N USP: 5882226 5 de junho de 2013

Exerc cio 1.1 Bertsekas 95

Considere o sistema xk+1 = xk + uk + wk , k = 0, 1, 2, 3 com estado inicial x0 = 5 e fun c ao custo
N 1 2 x2 k + uk k=0

(1)

(2)

Aplique o algor tmo da Programa c ao Din amica para os seguintes casos: a) O conjunto de restri co es do controle Uk e {u|0 xk + u 5}, com u inteiro, para todo xk e k, e o dist urbio wk e igual a zero para todo k. Aplicando o algor tmo da programa c ao din amica: Jk (xk ) = minuk {Ewk {gk (xk , uk , wk ) + Jk+1 (fk (xk , uk , wk ))}} para k = N: JN = gN = 0 para k = N-1: JN 1 = minuN 1 {gN 1 } (5) (4) (3)

pois JN = 0. Como podemos perceber, caso o custo nal seja zero, todos os custos ser ao zero. b) A restri ca o do controle e o dist urbio s ao como em (a), mas existe uma restri ca o adicional no estado nal, x4 = 5. A solu c ao para este item e igual ao do item (a), j a que JN = gN = 0. c) A restri c ao do controle e como em (a) e o dist urbio wk assume valores -1 e 1 com probabilidade 0.5 para todo xk e uk , exceto se xk + uk for igual a 0 ou 5, neste caso wk = 0 com probabilidade 1. A solu ca o para este item tamb em n ao muda em rela ca o aos anteriores, pois como o u ltimo custo e zero, os custos antecedentes s o depender ao da fun ca o custo para o passo em quest ao, que s o depende do estado e do passo de controle, independendo da vari avel aleat oria.

Exerc cio 1.6 Bertsekas 95

Problema b asico Sistema linear xk+1 = fk (xk , uk , wk ) sujeito ` a fun ca o custo
N 1

(6)

Ewk {gN (xN ) +

k=0

gk (xk , uk , wk )}

(7)

Algor tmo da Programa ca o Din amica: Jk (xk ) = minuk {Ewk {gk (xk , uk , wk ) + Jk+1 (fk (xk , uk , wk ))}} Problema alterado Sistema linear xk+1 = fk (xk , uk , wk ) sujeito ` a fun ca o custo
N 1

(8)

(9)

Ewk {N gN (xN ) +
k=0

k gk (xk , uk , wk )}

(10)

Aplicando o algor tmo da programa c ao din amica no problema alterado temos, para k = N, J N = N gN JN N = gN chamando JN N de VN : V N = gN Para k = N-1: (13) (11) (12)

JN 1 (xN 1 ) = minuN 1 {EwN 1 {N 1 gN 1 (xN 1 , uN 1 , wN 1 )+JN (fN 1 (xN 1 , uN 1 , wN 1 ))}} (14) Mas como JN = N gN : JN 1 (xN 1 ) = minuN 1 {EwN 1 {N 1 gN 1 (xN 1 , uN 1 , wN 1 ) + N gN }} (15) JN 1 (xN 1 ) = minuN 1 {EwN 1 {N 1 gN 1 (xN 1 , uN 1 , wN 1 ) + N 1 gN }} (16) JN 1 (N 1) = minuN 1 {EwN 1 {gN 1 (xN 1 , uN 1 , wN 1 ) + gN }} Como gN = VN : JN 1 (N 1) = minuN 1 {EwN 1 {gN 1 (xN 1 , uN 1 , wN 1 ) + VN }} Generalizando para todo k: Jk (xk ) = minuk {Ewk {k gk (xk , uk , wk ) + Jk+1 (fk (xk , uk , wk ))}} Jk (xk ) = minuk {Ewk {k gk (xk , uk , wk ) + k+1 gk+1 (fk (xk , uk , wk )}} Jk (xk ) = k minuk {Ewk {gk (xk , uk , wk ) + gk+1 (fk (xk , uk , wk )}} Jk k = minuk {Ewk {gk (xk , uk , wk ) + gk+1 (fk (xk , uk , wk )}} Mas Jk
k

(17)

(18)

(19)

(20)

(21) (22)

= Vk : (23)

Vk (xk ) = minuk {Ewk {gk (xk , uk , wk ) + gk+1 (fk (xk , uk , wk )}} Como gk+1 = Vk+1 : Vk (xk ) = minuk {Ewk {gk (xk , uk , wk ) + Vk+1 (fk (xk , uk , wk )}} 4

(24)