12/14/2018

2.4 ĐKhiển T/Ưu Liên Tục Bằng Phương Pháp Phương Pháp
Quy Hoạch động

- Phương pháp quy học động do Bellman đề xuất năm 1957.

- Là thuật toán xác định dãy giá trị điều khiển tối ( ) đề chỉ
tiêu chất lượng J đạt min.
- Nguyên lý của phương pháp: Mỗi đoạn cuối của quỹ đạo trạng
thái tối ưu cũng là một quỹ đạo trạng thái tối ưu.
- Ví dụ: Tìm đường ngắn nhất từ A đến Z:

2.4 ĐKhiển T/Ưu Liên Tục Bằng Phương Pháp Phương Pháp
Quy Hoạch động

- Phân chia đường thành các 5 bước:

1
 12/14/2018

2.4 ĐKhiển T/Ưu Liên Tục Bằng Phương Pháp Phương Pháp
Quy Hoạch động
- Ký hiệu:
+ Nki là nút thứ i ở bước k
+ ∗ ( ) là khoảng cách ngắn nhất từ nút đến nút đích
+ d( , , ) là khoảng cách từ nút đến nút ,
∗ ∗
- Phương trình Bellman: = min d( , , )+ ,
∗
- Vậy ta phải tìm khoảng cách ngắn nhất từ nút đầu đến nút đích là:

2.4 ĐKhiển T/Ưu Liên Tục Bằng Phương Pháp Phương Pháp
Quy Hoạch động

- Giải: Làm từ vòng ngược:

∗
- Đi từ bước 5: ( ) =0
∗ ∗
- Đi từ bước 4: ( ) =min d( , )+ =2
∗ ∗
( ) =min d( , )+ =4
Bước 4 này thì tại mỗi nút ta vẫn chỉ có 1 lựa chọn

2
 12/14/2018

2.4 ĐKhiển T/Ưu Liên Tục Bằng Phương Pháp Phương Pháp
Quy Hoạch động
∗ ∗
- Đi từ bước 3: ( ) =min d( , )+
∗∗((
Điểm
Điểm đi đi d(
d( ,, )+ ∗∗
)+ )) Điểm
Điểm đến
đến
NN3i3i tối
tối ưu
ưu
N
N41
41(2)
(2) N
N42
42(4)
(4)
N31 5+2=7 2+4=6 6 N42
N32 7+2=9 3+4=7 7 N42
N33 6+2=8 4+4=8 8 N41 hoặc N42

2.4 ĐKhiển T/Ưu Liên Tục Bằng Phương Pháp Phương Pháp
Quy Hoạch động
∗ ∗
- Đi từ bước 2: ( ) =min d( , )+
∗∗((
Điểm
Điểm đi đi d(
d( ,, )+ ∗∗
)+ )) Điểm
Điểm đến
đến tối
tối
NN2i2i ưu
ưu
NN31
31(6)
(6) NN32
32(7)
(7) NN33
33(8)
(8)
NN21
21 6+6=12 4+7=11 3+8=11 11 N32Hoặc N33
NN22
22 2+6=8 3+7=10 4+8=12 8 N31
NN23
23 2+6=8 1+7=8 5+8=13 8 N31 hoặc N32

3
 12/14/2018

2.4 ĐKhiển T/Ưu Liên Tục Bằng Phương Pháp Phương Pháp
Quy Hoạch động
∗ ∗
- Đi từ bước 1: ( ) =min d( , )+
∗ ∗(
Điểm đi d( , )+ ) Điểm đến tối
N11 ưu
N21(11) N22(8) N23(8)
N11 1+11=12 2+8=10 3+8=11 10 N22

2.4 ĐKhiển T/Ưu Liên Tục Bằng Phương Pháp Phương Pháp
Quy Hoạch động
- Vậy đường đi tối ưu là: N11→ N22→ N31→ N42→ N51
Với J*=10.

4
 12/14/2018

2.4 ĐKhiển T/Ưu Liên Tục Bằng Phương Pháp Phương Pháp
Quy Hoạch động
Bài tập: Tìm đường đi tối ưu

2.4 ĐKhiển T/Ưu Liên Tục Bằng Phương Pháp Phương Pháp
Quy Hoạch động

∗ ∗
- Đi từ bước 6: ( ) =0; ( ) =0
∗ ∗
- Đi từ bước 5: ( ) =min d( , )+

∗ ∗(
Điểm đi d( , )+ ) Điểm đến
N5i tối ưu
N61(0) N62(0)
N51 5 3 3 N62
N52 4 6 4 N61
N53 1 2 1 N61

5
 12/14/2018

2.4 ĐKhiển T/Ưu Liên Tục Bằng Phương Pháp Phương Pháp
Quy Hoạch động

∗ ∗
- Đi từ bước 4: ( ) =min d( , )+

∗ ∗(
Điểm đi d( , )+ ) Điểm đến tối
N2i ưu
N51(3) N52(4) N53(1)
N41 3+3=6 2+4=6 1+1=2 2 N53
N42 4+3=7 5+4=9 7+1=8 7 N51

2.5 ĐKhiển T/Ưu Động Rời Rạc

Cho đối tượng rời rạc:

+1 = ( , )
Với ( ) = [ ( ), ( ), … , ] là véc tơ trạng thái
( )=[ ( ), ( ), … , ] là véc tơ tín hiệu điều khiển
Với trạng thái đầu và cuối: 0 = , =
Bài toán đặt ra: xác định tín hiệu điều khiển ( ) sao cho:

J= , + , →

Khi điểm cuối tự do thì , ≠0

Khi điểm cuối cố định thì , =0

6
 12/14/2018

2.5 ĐKhiển T/Ưu Động Rời Rạc

Cách giải: Áp dụng nguyên lý tối ưu của Bellman, tìm quỹ đạo tối ưu
từng đoàn từ điểm cuối ngược chiều đến điểm đầu
Hàm mục tiêu tối ưu cho đoạn từ điểm đến điểm cuối:
∗
( )= , +∑ , với k=0->N-1
Biến đổi ta có:

∗
( )= , + , + ,

∗ ∗
Vậy: ( )= , + ( + 1 ) (Phương
trình Bellman)
Ta có: min = ∗ ( 0 ), Vậy giải PT Bellman theo vòng ngược
k=N-1→0 sẽ tìm được nghiệm tối ưu.

2.5 ĐKhiển T/Ưu Động Rời Rạc

Tóm tắt cách giải:

- Lập phương trình Bellman:
∗ ∗
( )= , + ( +1 )
- Giải phương trình Bellman:
Theo vòng ngược ta tìm được ∗ ( ) phụ thuộc
Theo vòng xuôi, kết hợp với điều kiện đầu 0 ta sẽ tìm
được cụ thể ∗ ( ) và

7
 12/14/2018

2.5 ĐKhiển T/Ưu Động Rời Rạc

Ví dụ: Xét đối tượng

+1 = +
Xác định tín hiệu điều khiển tối ưu ∗ ( ) để hệ thống đi từ trạng
thái 0 = 21 đến 4 = 0 để:
J=∑ + đạt min
Giải:
Phương trình Bellman là:
∗ ∗
( )= , + ( +1 ) 
∗ ∗
( )= + + ( +1 )
∗
với k=0->3 và ( 4 )=0

2.5 ĐKhiển T/Ưu Động Rời Rạc

Ví dụ: Xét đối tượng

+1 = +
Thực hiện vòng ngược:
k=3 ta có:
∗
( 3 )= 3 + 3 + ∗( 4 ) =
m 3 + 3
Với điều kiện ràng buộc: 4 = 3 + 3 =0
=> ∗ = − 3
∗
=> 3 = 2. 3

8
 12/14/2018

2.5 ĐKhiển T/Ưu Động Rời Rạc

Ví dụ: Xét đối tượng

+1 = +
Thực hiện vòng ngược:
k=2 ta có:
∗
( 2 )= 2 + 2 + ∗( 3 ) =
m 2 + 2 + 2. 3
Với điều kiện ràng buộc: 3 = 2 + 2
=> ∗ ( 2 )= 2 + 2 + 2. ( 2 + 2 )
∗
( 2 )= 3. 2 + 3. 2 + 4. 2 . 2
( 2 )
= 4. 2 + 6. 2
(2)
=> ∗ 2 = −( ). 2
∗
=> ( 2 )= ( ). (2)

2.5 ĐKhiển T/Ưu Động Rời Rạc

Ví dụ: Xét đối tượng

+1 = +
Thực hiện vòng ngược:
k=1 ta có:
∗
( 1 )= 1 + 1 + ∗( 2 ) =
m 1 + 1 + ( ). (2)
Với điều kiện ràng buộc: 2 = 1 + 1
=> ∗ ( 1 )= 1 + 1 + ( ). ( 1 + 1 )
∗
( 1 )= ( ). 1 + . 1 + ( ). 1 . 1
( 1 ) 16 10
= ( ). 1 + ( ). 1
(1) 3 3
∗
=> 1 = −( ). 1
∗
=> ( 1 )= ( ). (1)

9
 12/14/2018

2.5 ĐKhiển T/Ưu Động Rời Rạc

Ví dụ: Xét đối tượng

+1 = +
Thực hiện vòng ngược:
k=0 ta có:
∗
( 0 )= 0 + 0 + ∗( 1 ) =
m 0 + 0 + ( ). (1)
Với điều kiện ràng buộc: 1 = 0 + 0
∗
=> ( 0 )= 0 + 0 + ( ). ( 0 + 0 )
∗
( 1 )= ( ). 0 + . 0 + ( ). 0 . 0
( 0 ) 42 26
= ( ). 0 + ( ). 0
(0) 8 8
∗
=> 0 = −( ). 0
∗
=> ( 0 )= ( ). (0)

2.5 ĐKhiển T/Ưu Động Rời Rạc

Ví dụ: Xét đối tượng

+1 = + Kết luận:
Thực hiện vòng xuôi: ( 0 =21) Chuỗi tín hiệu điều khiển tối
k=0: ưu:
∗ ∗ = −13; −5; −2; −1
0 = −( ). 0 =-13
=> 1 = 0 + 0 =21-13=8 Trạng thái tối ưu
k=1: ∗ = 21; 8; 3; 1; 0
∗ 1 = −( ). 1 =-5 Hàm chỉ tiêu đạt giá trị tối
=> 2 = 1 + 1 =8-5=3 ưu:
k=2:
Jmin= ∗ ( 0 )=
∗ 2 = −( ). 2 =-2
. 0 = 34.21 =714
=> 3 = 2 + 2 =3-2=1
k=3:
∗ 3 = − 3 =-1
=> 4 = 3 + 3 =1-1=0

10
 12/14/2018

2.5 ĐKhiển T/Ưu Động Rời Rạc

Bài 1:
Xét đối tượng
+1 = +2.
+1 = + /2
Xác định tín hiệu điều khiển tối ưu ∗ ( ) để hệ thống đi từ trạng thái 0 = [1 2] đến
4 = [0 0]để:
J=∑ + đạt min
Bài 2:
Tìm đường đi tối ưu

2.5 ĐKhiển T/Ưu Động Rời Rạc

Bài 1:
Xét đối tượng
+1 = +2.
+1 = + /2
Xác định tín hiệu điều khiển tối ưu ∗ ( ) để hệ thống đi từ trạng
thái 0 = [1 2] đến 4 = [0 0]để:
J=∑ + đạt min
Giải:
Phương trình Bellman là:
∗ ∗
( )= , + ( +1 ) 
∗ ∗
( )= + + ( +1 )
∗
với k=0->3 và ( 4 )=0

11
 12/14/2018

2.5 ĐKhiển T/Ưu Động Rời Rạc

+1 = +2.
+1 = + /2
0 = [1 2] đến 4 = [0 0] , J = ∑ +
Thực hiện vòng ngược:
k=3 ta có:
∗
( 3 )= 3 + 3 + ∗( 4 ) =
m 3 + 3
Với điều kiện ràng buộc:
4 = 3 +2. 3 =0
4 = 3 + 3 /2=0
∗
=> = −2. 3
∗
=> 3 = 5. (3)

2.5 ĐKhiển T/Ưu Động Rời Rạc

+1 = +2.
+1 = + /2
0 = [1 2] đến 4 = [0 0] , J = ∑ +
Thực hiện vòng ngược:
k=2 ta có:
∗
( 2 )= 2 + 2 + ∗( 3 ) =
m 2 + 2 + 5. (3) =
Với điều kiện ràng buộc:
3 = 2 +2. 2
3 = 2 + 2 /2
∗
=> ( 2 )=m 2 + 2 + 5. 2 + 2 /2
∗
=> = −2. 2
∗
=> 2 = 2 + 2

12
 12/14/2018

2.5 ĐKhiển T/Ưu Động Rời Rạc

+1 = +2.
+1 = + /2
0 = [1 2] đến 4 = [0 0] , J = ∑ + Thực
hiện vòng ngược:
k=1 ta có:
∗
( 1 )= 1 + 1 + ∗( 2 ) =
m 1 + 1 + 2 + 2 =
Với điều kiện ràng buộc:
2 = 1 +2. 1
2 = 1 + 1 /2
=> ∗ ( 1 )=
m 1 + 1 + 1 +2. 1 + 1 + 1 /2
=> ∗ = −2. 1
∗
=> 1 = 1 + 1 + 1 +2. 1 =2. 1 +
5. 1 +4. 1 . 1

2.5 ĐKhiển T/Ưu Động Rời Rạc

+1 = +2.
+1 = + /2
0 = [1 2] đến 4 = [0 0] , J = ∑ + Thực
hiện vòng ngược:
k=0 ta có:
∗
( 0 )= 0 + 0 + ∗( 1 ) =
m 0 + 0 + 2. 1 + 5. 1 +4. 1 . 1 =
Với điều kiện ràng buộc:
1 = 0 +2. 0
1 = 0 + 0 /2
=> ∗ ( 0 )=m … …
=> ∗ = −2. 0
∗
=> 0 = ⋯….

13