Control optimal 2013 2014

Tema 3 : Ecuaia Hamilton-Jacobi-Bellman

Puncte

1. Citii / revedei cursul din fiierul fiierul 5-HJB.pdf 2. Parcurgei cu atenie un exemplu rezolvat din curs i algoritmul de pe
pagina urmtoare.

0 0 0 7 3 10

Puncte (pt rezolvare la laborator) 0 0 0 10 0 10

3. Alegei o problem dintre cele propuse la sfritul acestui fiier. Nu se

vor evalua probleme rezolvate n comun de 2 sau mai muli studeni!

4. Rezolvai problema utiliznd ecuaia HJB. 5. Scriei un raport detaliat despre problem, algoritmul implementat i
rezultate.

Total

Problema de control optimal

Pentru un sistem discret descris n spat iul st arilor de: x (t) = f (x(t), u(t), t), 0 t tf , cu condit ia init ial a x(0) = x0 se cere s a se determine comanda optimal a u (t) pentru care sistemul s a urmeze o traiectorie optimal a si s a minimizeze funct ia de cost x (t) J = h(x(tf ), tf ) +
tf 0

g(x(t), u(t), t)dt

Ecuat ia Hamilton-Jacobi-Bellman

Se noteaz a hamiltonianul H : H = g(x, u, t) + Ecuat ia HJB este: 0= cu condit ia nal a: J (x(tf ), tf ) = h(x(tf ), tf ) (3) J (x, t) + min H u t (2) J (x, t) f (x, u, t) x (1)

Algoritmul

Algorithm 1 Rezolvarea unei probleme de control optimal utiliz and ecuat ia HJB 1: Se calculeaz a expresia hamiltonianului 2: Se determin a u (t) pentru care H u = 0 3: Se determin a derivata a 2-a a hamiltonianului si se stabile ste dac a u (t) minimizeaz a hamiltonianul 4: Substituind u (t) n H se determin a H = minu H (x,t) 5: Se scrie ecuat ia HJB: H + J t =0 6: Se scrie condit ia nal a: J (x(tf ), tf ) = h(x(tf ), tf ) (x,t) (x,t) 7: Se estimeaz a forma lui J (x, t), se calculeaz a J x si J t si se nlocuiesc n ecuat ia HJB. Estimarea formei lui J (x, t) are ca scop transformarea ecuat iei cu derivate part iale ntr-o ecuat ie diferent ial a ordinar a. 8: Se rezolv a ecuat ia diferent ial a ordinar a obt inut a la pasul anterior 9: Se calculeaz a forma nal a a lui u (t) ca funct ie de timp (t) si / sau st ari (x(t)) 10: Se integreaz a ecuat ia de stare si se determin a traiectoria de stare optim a x (t). In problemele urm atoare, forma estimat a a lui J (x(t), t) este J (x(t), t) = x(t)2 p(t). Se poate ajunge la o ecuat ie diferent ial a ordinar a pentru care solut ia analitic a este dicil de obt inut. In acest caz, putet i implementa un algoritm numeric pentru rezolvarea ecuat iilor diferent iale (inclusiv pentru ecuat ia de stare) astfel:

Algorithm 2 Rezolvarea unei probleme de control optimal utiliz and ecuat ia HJB si integrare numeric a a ecuat iilor diferent iale 1: Se calculeaz a expresia hamiltonianului 2: Se determin a u (t) pentru care H u = 0 3: Se determin a derivata a 2-a a hamiltonianului si se stabile ste dac a u (t) minimizeaz a hamiltonianul 4: Substituind u (t) n H se determin a H = minu H J (x,t) 5: Se scrie ecuat ia HJB: H + t = 0 6: Se scrie condit ia nal a: J (x(tf ), tf ) = h(x(tf ), tf ) 7: Se estimeaz a forma lui J (x(t), t), (pentru exemplele urm atoare poate : J (x(t), t) = x(t)2 p(t)) (x,t) (x,t) se calculeaz a J x si J t si se nlocuiesc n ecuat ia HJB. Estimarea formei lui J (x, t) are ca scop transformarea ecuat iei cu derivate part iale ntr-o ecuat ie diferent ial a ordinar a. Se obt ine: p (t) = F (p(t)) cu condit ia nal a (determinat a din condit ia nal a pentru J ) p(tf ) = pf
8: 9: 10: 11: 12:

(4)

(5)

Se rezolv a ecuat ia diferent ial a ordinar a (4) cu condit ia nal a (5) prin integrare numeric a de la timpul nal tf la timpul init ial 0. Rezult a un sir de valori pk , k = 1, N . Se determin a forma lui u (t) ca funct ie de p(t) si / sau x(t). Se nlocuie ste u (t) n ecuat ia de stare. Se integreaz a ecuat ia de stare, cu condit ia init ial a x(0) = x0 , pentru acela si num ar de puncte N , si se determin a traiectoria de stare optim a x , k = 1 , N . k Se nlocuiesc valorile discrete ale st arii n expresia lui u si se determin a comanda optim a sub forma unui sir de valori uk , k = 1, N .

Problema 1 Pentru sistemul continuu descris n spat iul st arilor de: x (t) = x(t) + u(t), x(0) = 4
uoptim 0.6 0.8 1 1.2 0 0.2 0.4 xoptim 4 0.6 0.8 1

se cere s a se determine si s a se reprezinte grac comanda optim a u care minimizeaz a funct ia de cost J = x2 (1) +
0 1

1 2 u (t)dt 2

Determinat i solut ia problemei utiliz and ecuat ia HamiltonJacobi-Bellman. Determinat i traiectoria de stare optimal a si traiectoria de stare optimal a si reprezentat i-le grac. Reprezentarea grac a a solut iei va asem an atoare celei din gura al aturat a. Forma funct iei de cost optime poate aleas a ca J (x(t), t)) = 2 p(t)x (t). Problema 2 Pentru sistemul continuu descris n spat iul st arilor de: x (t) = 3 x(t) + u(t), x(0) = 2

3 2 1 0 0.2 0.4 0.6 0.8 1

x 10

uoptim

se cere s a se determine si s a se reprezinte grac comanda optim a u care minimizeaz a funct ia de cost J = x (2) +
0 2 2

1 2 3 0 0.5 1 xoptim 2 1.5 2

1 2 u (t)dt 2

Determinat i solut ia problemei utiliz and ecuat ia HamiltonJacobi-Bellman. Determinat i traiectoria de stare optimal a si traiectoria de stare optimal a si reprezentat i-le grac. Reprezentarea grac a a solut iei va asem an atoare celei din gura al aturat a. Forma funct iei de cost optime poate aleas a ca J (x(t), t)) = p(t)x2 (t).

1.5 1 0.5

0.5

1.5

Problema 3 Pentru sistemul continuu descris n spat iul st arilor de: x (t) = 2x(t) + u(t), x(0) = 2
uoptim 0

se cere s a se determine si s a se reprezinte grac comanda optim a u care minimizeaz a funct ia de cost
2

2 4 6

J=
0

1 2 x (t) + u2 (t) dt 2

8 0 0.5 1 xoptim 2 1.5 2

Determinat i solut ia problemei utiliz and ecuat ia HamiltonJacobi-Bellman. Determinat i traiectoria de stare optimal a si traiectoria de stare optimal a si reprezentat i-le grac. Reprezentarea grac a a solut iei va asem an atoare celei din gura al aturat a. Forma funct iei de cost optime poate aleas a ca J (x(t), t)) = 2 p(t)x (t). Problema 4 Pentru sistemul continuu descris n spat iul st arilor de:

1.5 1 0.5 0 0.5 1 1.5 2

uoptim

x (t) = x(t) + 10u(t),

x(0) = 2

0 0.2

se cere s a se determine si s a se reprezinte grac comanda optim a u care minimizeaz a funct ia de cost
1

0.4 0.6 0.8 0 0.2 0.4 xoptim 2 1.5 1 0.5 0 0.2 0.4 0.6 0.8 1 0.6 0.8 1

J=
0

1 2 x (t) + 10u2 (t) dt 2

Discretizat i problema si determinat i solut ia utiliz and programare dinamic a. Determinat i traiectoria de stare optim a si reprezentat i-o grac. Reprezentarea grac a a solut iei va asem an atoare celei din gura al aturat a.

Problema 5 Pentru sistemul continuu descris n spat iul st arilor de: x (t) = 5x(t) + 0.5u(t), x(0) = 10
uoptim 0 10 20 30

se cere s a se determine si s a se reprezinte grac comanda optim a u care minimizeaz a funct ia de cost
1

J=
0

100x2 (t) + u2 (t) dt

40 0 0.2 0.4 xoptim 10 8 6 4 2 0 0.2 0.4 0.6 0.8 1 0.6 0.8 1

Determinat i solut ia problemei utiliz and ecuat ia HamiltonJacobi-Bellman. Determinat i traiectoria de stare optimal a si traiectoria de stare optimal a si reprezentat i-le grac. Reprezentarea grac a a solut iei va asem an atoare celei din gura al aturat a. Forma funct iei de cost optime poate aleas a ca J (x(t), t)) = 2 p(t)x (t). Problema 6 Pentru sistemul continuu descris n spat iul st arilor de: x (t) = x(t) + 4 u(t), x(0) = 2

uoptim 0

se cere s a se determine si s a se reprezinte grac comanda optim a u care minimizeaz a funct ia de cost J = 10x2 (2) +
0 2

0.5 1 1.5 2 2.5 0 0.5 1 xoptim 2 1.5 2

1 2 x (t) + u2 (t) dt 2

Determinat i solut ia problemei utiliz and ecuat ia HamiltonJacobi-Bellman. Determinat i traiectoria de stare optimal a si traiectoria de stare optimal a si reprezentat i-le grac. Reprezentarea grac a a solut iei va asem an atoare celei din gura al aturat a. Forma funct iei de cost optime poate aleas a ca J (x(t), t)) = p(t)x2 (t).

1.5 1 0.5 0

0.5

1.5

Problema 7 Pentru sistemul continuu descris n spat iul st arilor de: x (t) = 2x(t) + 3u(t), x(0) = 4
uoptim 0 2 4 6 0 0.5 1 xoptim 4 1.5 2

se cere s a se determine si s a se reprezinte grac comanda optim a u care minimizeaz a funct ia de cost J = x (2) +
0 2 2

1 2 x (t) + u2 (t) dt 2

Determinat i solut ia problemei utiliz and ecuat ia HamiltonJacobi-Bellman. Determinat i traiectoria de stare optimal a si traiectoria de stare optimal a si reprezentat i-le grac. Reprezentarea grac a a solut iei va asem an atoare celei din gura al aturat a. Forma funct iei de cost optime poate aleas a ca J (x(t), t)) = 2 p(t)x (t). Problema 8 Pentru sistemul continuu descris n spat iul st arilor de: x (t) = 5x(t) + u(t), x(0) = 10

3 2 1 0

0.5

1.5

uoptim

se cere s a se determine si s a se reprezinte grac comanda optim a u care minimizeaz a funct ia de cost J = x (1) +
0 2 1

0.02 0.04 0.06 0.08 0.1 0 0.2 0.4 xoptim 10 8 6 4 2 0 0.2 0.4 0.6 0.8 1 0.6 0.8 1

1 2 u (t)dt 2

Determinat i solut ia problemei utiliz and ecuat ia HamiltonJacobi-Bellman. Determinat i traiectoria de stare optimal a si traiectoria de stare optimal a si reprezentat i-le grac. Reprezentarea grac a a solut iei va asem an atoare celei din gura al aturat a. Forma funct iei de cost optime poate aleas a ca J (x(t), t)) = p(t)x2 (t).

Problema 9 Pentru sistemul continuu descris n spat iul st arilor de: x (t) = x(t) + 5u(t), x(0) = 1
uoptim 0.1 0.2 0.3

se cere s a se determine si s a se reprezinte grac comanda optim a u care minimizeaz a funct ia de cost J = x (3) +
0 2 3

1 2 u (t)dt 2

0.4

0.5

1.5 xoptim

2.5

Determinat i solut ia problemei utiliz and ecuat ia HamiltonJacobi-Bellman. Determinat i traiectoria de stare optimal a si traiectoria de stare optimal a si reprezentat i-le grac. Reprezentarea grac a a solut iei va asem an atoare celei din gura al aturat a. Forma funct iei de cost optime poate aleas a ca J (x(t), t)) = 2 p(t)x (t). Problema 10 Pentru sistemul continuu descris n spat iul st arilor de: x (t) = 3x(t) + 2u(t), x(0) = 10

0.8 0.6 0.4 0.2 0 0.5 1 1.5 2 2.5 3

uoptim

se cere s a se determine si s a se reprezinte grac comanda optim a u care minimizeaz a funct ia de cost J = x2 (5) +
0 5

5 10 15 20

1 2 u (t)dt 2

25 30 0 1 2 xoptim 10 8 6 4 2 0 1 2 3 4 5 3 4 5

Determinat i solut ia problemei utiliz and ecuat ia HamiltonJacobi-Bellman. Determinat i traiectoria de stare optimal a si traiectoria de stare optimal a si reprezentat i-le grac. Reprezentarea grac a a solut iei va asem an atoare celei din gura al aturat a. Forma funct iei de cost optime poate aleas a ca J (x(t), t)) = p(t)x2 (t).

Problema 11 Pentru sistemul continuu descris n spat iul st arilor de: x (t) = 3x(t) + 2u(t), x(0) = 5
uoptim 0 5 10

se cere s a se determine si s a se reprezinte grac comanda optim a u care minimizeaz a funct ia de cost
3

J=
0

1 2 x (t) + u2 (t) dt 2

15 0 0.5 1 1.5 xoptim 5 4 3 2 1 0 0.5 1 1.5 2 2.5 3 2 2.5 3

Determinat i solut ia problemei utiliz and ecuat ia HamiltonJacobi-Bellman. Determinat i traiectoria de stare optimal a si traiectoria de stare optimal a si reprezentat i-le grac. Reprezentarea grac a a solut iei va asem an atoare celei din gura al aturat a. Forma funct iei de cost optime poate aleas a ca J (x(t), t)) = 2 p(t)x (t). Problema 12 Pentru sistemul continuu descris n spat iul st arilor de: x (t) = 7x(t) + u(t), x(0) = 7

uoptim 0

se cere s a se determine si s a se reprezinte grac comanda optim a u care minimizeaz a funct ia de cost
1

20 40 60

J=
0

1 2 x (t) + u2 (t) dt 2

80 0 0.2 0.4 xoptim 7 6 5 4 3 2 1 0 0.2 0.4 0.6 0.8 1 0.6 0.8 1

Determinat i solut ia problemei utiliz and ecuat ia HamiltonJacobi-Bellman. Determinat i traiectoria de stare optimal a si traiectoria de stare optimal a si reprezentat i-le grac. Reprezentarea grac a a solut iei va asem an atoare celei din gura al aturat a. Forma funct iei de cost optime poate aleas a ca J (x(t), t)) = p(t)x2 (t).

Problema 13 Pentru sistemul continuu descris n spat iul st arilor de: x (t) = 7x(t) + u(t), x(0) = 7
uoptim 0 0.1 0.2 0.3

se cere s a se determine si s a se reprezinte grac comanda optim a u care minimizeaz a funct ia de cost
1

J=
0

1 2 x (t) + u2 (t) dt 2

0.4 0 0.2 0.4 xoptim 7 6 5 4 3 2 1 0 0.2 0.4 0.6 0.8 1 0.6 0.8 1

Determinat i solut ia problemei utiliz and ecuat ia HamiltonJacobi-Bellman. Determinat i traiectoria de stare optimal a si traiectoria de stare optimal a si reprezentat i-le grac. Reprezentarea grac a a solut iei va asem an atoare celei din gura al aturat a. Forma funct iei de cost optime poate aleas a ca J (x(t), t)) = 2 p(t)x (t). Problema 14 Pentru sistemul continuu descris n spat iul st arilor de: x (t) = x(t) + 7u(t), x(0) = 3

uoptim 0

se cere s a se determine si s a se reprezinte grac comanda optim a u care minimizeaz a funct ia de cost J = x2 (1) +
0 1

1 2 3 0 0.2 0.4 xoptim 3 0.6 0.8 1

1 2 x (t) + u2 (t) dt 2

Determinat i solut ia problemei utiliz and ecuat ia HamiltonJacobi-Bellman. Determinat i traiectoria de stare optimal a si traiectoria de stare optimal a si reprezentat i-le grac. Reprezentarea grac a a solut iei va asem an atoare celei din gura al aturat a. Forma funct iei de cost optime poate aleas a ca J (x(t), t)) = p(t)x2 (t).

0.2

0.4

0.6

0.8

Problema 15 Pentru sistemul continuu descris n spat iul st arilor de: x (t) = 5x(t) + 3u(t), x(0) = 6
uoptim 5 10 15

se cere s a se determine si s a se reprezinte grac comanda optim a u care minimizeaz a funct ia de cost J = x2 (1) +
0 1

1 2 x (t) + u2 (t) dt 2

20 0 0.2 0.4 xoptim 6 5 4 3 2 1 0 0.2 0.4 0.6 0.8 1 0.6 0.8 1

Determinat i solut ia problemei utiliz and ecuat ia HamiltonJacobi-Bellman. Determinat i traiectoria de stare optimal a si traiectoria de stare optimal a si reprezentat i-le grac. Reprezentarea grac a a solut iei va asem an atoare celei din gura al aturat a. Forma funct iei de cost optime poate aleas a ca J (x(t), t)) = 2 p(t)x (t). Problema 16 Pentru sistemul continuu descris n spat iul st arilor de: x (t) = 5x(t) + u(t), x(0) = 5

x 10

uoptim

se cere s a se determine si s a se reprezinte grac comanda optim a u care minimizeaz a funct ia de cost J = x2 (2) +
0 2

1 2

1 2 u (t)dt 2

3 0 0.5 1 xoptim 5 4 3 2 1 0 0.5 1 1.5 2 1.5 2

Determinat i solut ia problemei utiliz and ecuat ia HamiltonJacobi-Bellman. Determinat i traiectoria de stare optimal a si traiectoria de stare optimal a si reprezentat i-le grac. Reprezentarea grac a a solut iei va asem an atoare celei din gura al aturat a. Forma funct iei de cost optime poate aleas a ca J (x(t), t)) = p(t)x2 (t).

10

Problema 17 Pentru sistemul continuu descris n spat iul st arilor de: x (t) = 6x(t) + u(t), x(0) = 4
uoptim 0.01 0.02 0.03

se cere s a se determine si s a se reprezinte grac comanda optim a u care minimizeaz a funct ia de cost J = x2 (1) +
0 1

1 2 u (t)dt 2

0.04 0 0.2 0.4 xoptim 4 0.6 0.8 1

Determinat i solut ia problemei utiliz and ecuat ia HamiltonJacobi-Bellman. Determinat i traiectoria de stare optimal a si traiectoria de stare optimal a si reprezentat i-le grac. Reprezentarea grac a a solut iei va asem an atoare celei din gura al aturat a. Forma funct iei de cost optime poate aleas a ca J (x(t), t)) = 2 p(t)x (t). Problema 18 Pentru sistemul continuu descris n spat iul st arilor de: x (t) = 6x(t) + u(t), x(0) = 4

3 2 1

0.2

0.4

0.6

0.8

uoptim

se cere s a se determine si s a se reprezinte grac comanda optim a u care minimizeaz a funct ia de cost J = x2 (1) +
0 1

0.5 0.4 0.3 0.2

1 2 u (t)dt 10

0.1 0 0.2 0.4 xoptim 4 0.6 0.8 1

Determinat i solut ia problemei utiliz and ecuat ia HamiltonJacobi-Bellman. Determinat i traiectoria de stare optimal a si traiectoria de stare optimal a si reprezentat i-le grac. Reprezentarea grac a a solut iei va asem an atoare celei din gura al aturat a. Forma funct iei de cost optime poate aleas a ca J (x(t), t)) = p(t)x2 (t).

3 2 1 0 0.2 0.4 0.6 0.8 1

11

Problema 19 Pentru sistemul continuu descris n spat iul st arilor de: x (t) = 4x(t) + 3u(t), x(0) = 3
uoptim 2 4 6

se cere s a se determine si s a se reprezinte grac comanda optim a u care minimizeaz a funct ia de cost J = x2 (2) +
0 2

x2 (t) + 10u2 (t) dt

8 0 0.5 1 xoptim 3 2.5 2 1.5 1 0.5 0 0.5 1 1.5 2 1.5 2

Determinat i solut ia problemei utiliz and ecuat ia HamiltonJacobi-Bellman. Determinat i traiectoria de stare optimal a si traiectoria de stare optimal a si reprezentat i-le grac. Reprezentarea grac a a solut iei va asem an atoare celei din gura al aturat a. Forma funct iei de cost optime poate aleas a ca J (x(t), t)) = 2 p(t)x (t). Problema 20 Pentru sistemul continuu descris n spat iul st arilor de: x (t) = x(t) + 2u(t), x(0) = 3

uoptim 0

se cere s a se determine si s a se reprezinte grac comanda optim a u care minimizeaz a funct ia de cost
10

0.05 0.1 0.15 0.2

J=
0

x (t) + u (t) dt

0.25 0 2 4 xoptim 3 2.5 2 1.5 1 0.5 0 2 4 6 8 10 6 8 10

Determinat i solut ia problemei utiliz and ecuat ia HamiltonJacobi-Bellman. Determinat i traiectoria de stare optimal a si traiectoria de stare optimal a si reprezentat i-le grac. Reprezentarea grac a a solut iei va asem an atoare celei din gura al aturat a. Forma funct iei de cost optime poate aleas a ca J (x(t), t)) = p(t)x2 (t).

12