ĐẠI HỌC THÁI NGUYÊN

ĐẠI HỌC KỸ THUẬT CÔNG NGHIỆP

Nghiên cứu phát triển thuật toán điều

khiển nhóm cho thiết bị không người lái

Nghiên cứu sinh: Nguyễn Thị Tuyết Hoa

Giáo viên hướng dẫn: PGS.TS Nguyễn Tuấn Minh

THÁI NGUYÊN – 06/03/2022

 HƯỚNG NGHIÊN CỨU CỦA ĐỀ TÀI

 Đối tượng điều khiển: Mạng thiết bị bay không người lái - UAVs
 Nhiệm vụ thực hiện của mạng TKBNL: Di chuyển từ trạm trung tâm điều
khiển, phát hiện và tránh chướng ngại vật, di chuyển tới vị trí mục tiêu, duy
trì đội hình để thực hiện nhiệm vụ giám sát tại khu vực đã định trước.
 Cấu trúc điều khiển: Điều khiển nhóm phân tán
 Chiến lược điều khiển: Điều khiển nhóm UAVs phân tán sử dụng chiến
lược điều khiển nhóm trưởng – thành viên kết hợp chiến lược điều khiển
dựa trên hành vi
 Bộ điều khiển cho từng TBKNL
 Bộ điều khiển nhóm TBKNL

19
 Mô hình toán
Mô hình toán
của hệ các
của một thiết
thiết bị không
bị không người Mối quan hệ giữa các người lái
lái thiết bị không người lái (Modelling of
(Modelling of
MAS)
agent)

 Mô hình toán  Lý thuyết đồ thị

của Quad - (Graph Theory)
UAV

2
Nội dung chính

• Lý thuyết đồ thị
1

• Lý thuyết đồ thị trong thuật toán đồng thuận

2
• Lý thuyết đồ thị và thuật toán đồng thuận
ứng dụng trong điều khiển nhóm
3

• Kết luận
4

2
 • Lý thuyết đồ thị
1

Khoa học máy tính

Computer Science
Kỹ thuật điện tử
Electrical Engineering

Mạng máy tính

Computer Network
Lý thuyết đồ thị Khoa học xã hội
Graph Theory Social Sciences
Khoa học tự nhiên
Social Sciences
Mạng xã hội
Social Network

5
 • Lý thuyết đồ thị
1

Cơ sở của kỹ thuật điều khiển nhóm cho hệ đa tác tử - MAS (Multi-Agent System)

• Cấu trúc liên kết (topology) là cấu trúc của mạng TBKNL thể hiện mối
Cấu trúc liên kết liên kết không gian và sự tương tác giữa các thiết bị, được thực hiện để
Topology giải quyết vấn đề trao đổi thông tin trong đội hình và thường được mô tả
dưới dạng đồ hình.

Lý thuyết đồ thị là một công cụ được sử dụng trong điều khiển nhóm
Lý thuyết đồ thị  Đạt được sự đồng thuận
Graph Theory  Thực hiện phân tích độ ổn định
• Đồ thị thể hiện sự kết nối, phối hợp giữa các thiết bị trong nhóm để trao
đổi thông tin, duy trì đội hình.
• Các cấu trúc liên kết (topology) được mô hình hóa dưới dạng biểu đồ
trong đó TBKNL có thể được biểu diễn dưới dạng các nút của đồ thị, mối
liên hệ và giao tiếp giữa các thiết bị trong đội hình được biểu diễn dưới
dạng các cạnh của đồ thị

 Các TBKNL có thể đạt được thỏa thuận nhóm bằng cách chia sẻ thông
Thuật toán đồng tin cục bộ với các robot lân cận của chúng.
thuận  Sự đồng thuận là tìm ra một giao thức điều khiển đảm bảo rằng mỗi
Consensus TBKNL cập nhật trạng thái của nó dựa trên thông tin từ các TBKNL liền
kề và trạng thái cuối cùng hội tụ về một giá trị không đổi và điều này phụ
thuộc vào giao tiếp giữa TBKNL.

19
 • Lý thuyết đồ thị
1
Lý thuyết đồ thị ứng dụng trong điều khiển nhóm các hệ MAS
Một đồ thị được cho dưới dạng G = (V, E, W)
Lý thuyết đồ thị
 V (vertices) là tập hợp các đỉnh (𝑉 = 1,2 … , 𝑛 , 𝑉 = 𝑛)
Graph Theory  E (edges) là tập hợp các cạnh còn gọi là tập cung,
i, j V ; E  i, j i, j V , i  j
Trong đó j là robot lân cận của robot thứ i. Tập hợp các robot
lân cận của robot thứ i:
Ni   j V : (i, j )  E
 W (weights) là tập hợp các trọng số 𝑊 = {𝑤𝑖𝑗 ∈ 𝑅+ }(𝑖,𝑗)∈𝐸

19
 • Lý thuyết đồ thị
1
Lý thuyết đồ thị ứng dụng trong điều khiển nhóm các hệ MAS

- Đồ thị liên thông Ma trận kề (Adjaceny matrix) A: một ma trận N × N, trong đó N

- Bậc của đỉnh dG(i ) = |Ni| là số đỉnh của đồ thị. Nếu có một cạnh nào đó nối đỉnh i và j thì phần
- Bậc của đồ thị tử Aij > 0; Aij = 0 trong các trường hợp còn lại

Ma trận bậc (Degree matrix) D: một ma trận là một ma trận

1
đường chéo với kích thước N × N. Tổng các trọng số của các cạnh đi
qua đỉnh

2 0 1 0 1 2 0 0 0 
1 1.5
1 0 1.5 2  0 4.5 0 0 
A  D 
0 1.5 0 0.5 0 0 2 0 
0.5    
1 2 0.5 0   0 0 0 3.5 
Đồ thị vô hướng
Ma trận Laplace (Laplacian matrix) L: L= D - A

2 1 0 1   L = LT: Ma trận đối xứng, bán

 1 4.5 1.5 2  xác định dương
L   ker(L) = im(1n)
 0 1.5 2 0.5  0 ≤ 𝜆1 ≤ 𝜆2 ≤ ⋯ ≤ 𝜆2
 
 1 2 0.5 3.5 
19 Đồ thị có hướng
 • Lý thuyết đồ thị trong thuật toán đồng thuận
2

Ma trận Laplace Thuật toán đồng

Lý thuyết đồ thị
thuận
Graph Theory
Consensus

 Hệ TBKNL bậc nhất gồm N đối tượng, động lực của mỗi đối Sự đồng thuận là tìm
tượng được mô hình hóa: ra một giao thức
điều khiển đảm bảo
xi (t )  ui (t ) i  1,2,3,..., N (2.1)
rằng mỗi TBKNL cập
 Giao thức đồng thuận:ui (t )    w  x (t )  x (t ) 
jNi
ij j i
nhật trạng thái của
nó dựa trên thông tin
từ bản thân đối
xi (t )  ui (t )    w ij  x j (t )  xi (t ) (2.2) tượng và các TBKNL
jNi lân cận; trạng thái
cuối cùng hội tụ về
x(t )   Lx(t ) (2.3)
một giá trị không đổi.

Ma trận Laplace 𝑥 𝑡 = [𝑥1 , … , 𝑥𝑁 ]𝑇

19
 • Lý thuyết đồ thị trong thuật toán đồng thuận
2

Thuật toán đồng thuận

Consensus

(2.4)

1
x(t )   x1  x2  ...  xn 
n
x(t )  Lx(t ) x(t )  ker( L)  im 1n 
xi (t )  x i  1,2,3..., N

 Giá trị trung bình cộng của tất cả N đối tượng

trong hệ là không đổi theo thời gian
 Các biến trạng thái x(t) sẽ hội tụ về không gian
rỗng của ma trận Laplace
 Hệ sẽ hội tụ dần về giá trị trung bình cộng

19
 • Kỹ thuật điều khiển nhóm
3

Lý thuyết đồ thị Thuật toán đồng Điều khiển nhóm

Graph Theory thuận Formation Control
Consensus

Điều khiển nhóm/

Điều khiển đội hình
là một phương pháp
điều khiển phối hợp
để một nhóm hoặc
nhiều nhóm TBKNL
đi theo một quỹ đạo
được xác định trước
sao cho vẫn duy trì
Đội hình ban đầu Đội hình mong muốn đội hình không gian
mong muốn.
Biểu diễn đội hình: 𝑭 = (𝑮, 𝒑)
Trong đó, Đồ thị G thể hiện tương tác giữa các đối tượng

𝒑𝒊 ∈ 𝑹𝒅 - Vị trí trong của đối tượng i trong không gian d chiều (d=2,3)
𝒑 𝒕 = 𝒗𝒆𝒄 𝒑𝟏 , … . , 𝒑𝒏 - Đội hình tại thời điểm t ≥ 0

19 𝒑∗ = 𝒗𝒆𝒄 𝒑∗𝟏 , … 𝒑∗𝑵 - Đội hình mong muốn

 • Kỹ thuật điều khiển nhóm
3

Phân loại điều khiển nhóm:  Hệ quy chiếu địa phương

 Hệ quy chiếu toàn cục
• Điều khiển nhóm dựa trên vị trí
(Position-based Control)
Đội hình mong muốn được xác định bởi các vị trí tuyệt đối mong muốn cho các thành viên. Trong
trường hợp này, không nhất thiết phải có các tương tác giữa các thành viên vì có thể đạt được đội
hình mong muốn bằng cách kiểm soát vị trí của các thành viên riêng lẻ

• Điều khiển nhóm dựa trên khoảng cách

(Distance-based Formation Control)
Các thiết bị được yêu cầu phải nhận biết được vị trí tương đối của các thiết bị lân cận, điều này có
nghĩa là tồn tại của các tương tác giữa các thành viên

• Điều khiển nhóm dựa trên sự chuyển vị

(Displacement-based Formation Control)
Đội hình mong muốn cho các thiết bị được chỉ định bởi các chuyển vị mong muốn từ bất kỳ thiết bị nào
sang các thiết bị khác. Để đạt được đội hình mong muốn, các thiết bị có thể điều khiển sự dịch chuyển
của những thiết bị lân cận

19
 • Kỹ thuật điều khiển nhóm
3
• Điều khiển nhóm dựa trên sự chuyển vị
(Displacement-based Formation Control)

pi (t )    w ij 
jNi
  i
p (t )  p j
(t )   i j
 p *
 p *
 (2.5)

Dạng ma trận: (2.6)

Hệ quy chiếu địa
phương của đối
pi (t )    L  I d   p  t   p*  tượng j

Hệ quy chiếu
p t   p *
toàn cục

Hệ quy chiếu địa

phương của đối
tượng i

𝒑 𝒕 = 𝒗𝒆𝒄 𝒑𝟏 , … . , 𝒑𝒏 - Đội hình tại thời điểm t ≥ 0

𝒑∗ = 𝒗𝒆𝒄 𝒑∗𝟏 , … 𝒑∗𝑵 - Đội hình mong muốn
19
 • Kỹ thuật điều khiển nhóm
3
• Điều khiển nhóm dựa trên khoảng cách
(Distance-based Formation Control)

pii (t )    w ij . pii  t   p ij  t   (2.7)

jNi

Trong đó,

 p  p  p j  pi  p j  pi
2 2
* *
w ij j i
(2.8)

Dạng ma trận: Hệ quy chiếu địa

phương của đối
p(t )    R  I d  e (2.9) tượng j

Hệ quy chiếu
toàn cục
-w , j  N
 ij i
Hệ quy chiếu địa
R    w ij , i  j phương của đối
tượng i
 jNi

0, j  Ni
19
 • Kỹ thuật điều khiển nhóm
3

 Hệ TBKNL bậc hai gồm N đối tượng, động lực của mỗi đối Mô hình toán của
tượng được mô hình hóa: Quadrotor-UAV

pi (t )  vi (t )
(Chuyên đề 1)
vi (t )  ui (t ) (2.10)
 Giao thức đồng thuận: VE 
m

1 E
T  G E  Fd 
(1.10)
vi (t )  ui (t )    w ij
jNi
 p (t )  p (t )    v (t )  v (t ) 
j i v j i   RBET B  G E  Fd 
1
m
(2.11)

• Điều khiển nhóm dựa trên khoảng cách  M B   B   I B B   

  I 
1
(Distance-based Formation Control)
B B
 

  M g  M d 

Dạng ma trận:
(1.12)
(2.12)
vi (t )  ui (t )    R  I d  p(t )  ( L  I d )v(t )

19
 • Kỹ thuật điều khiển nhóm
3
• Ví dụ bài toán điều khiển nhóm dựa trên khoảng cách
• UAVs thực lân cận (actual neighbors)
• 𝑁𝑖𝑎 𝑡 = 𝑗 ∈ 𝑉: 𝑝𝑗 − 𝑝𝑖 ≤ 𝑅𝑐 , 𝑖 ≠ 𝑗 ,
Điều khiển đội hình MAS với • UAVs ảo lân cận (virtual neighbors)
nhiệm vụ: • 𝑁𝑖𝑣 𝑡 = 𝑘 ∈ 𝑉𝑜 : 𝑝𝑖𝑘 − 𝑝𝑖 ≤ 𝑟𝑜 , 𝑉𝑜 = 1, 2, … 𝐾 ,
• Véc tơ đầu vào điều khiển ui cho UAV thứ i:
 Phát hiện – tránh va
ui  fi f  fi o  fi n
chạm vật cản
 Theo dõi – giám sát mục • Hàm điều khiển nhóm:
tiêu fi f  c1a  jN a  pik  pi n  c2a  jN aij  p   v j  vi 
 Thiết lập và duy trì đội 
a ij a
i i

hình quasi-alpha • Hàm tránh vật cản:

fi o  c1o  jN ov

i
p ik  pj 
n ik  c2o  jN bik  p   vik  v j 
v
i

• Hàm điều hướng:

fi n  c1  pi  pt   c2 ( p N i
 pt )
i 
a

[1] Hai T. Do, Linh H. Truong, Minh T. Nguyen, Chen-Fu Chien, Hoang T. Tran, Hoang T. Hua, Cuong V. Nguyen, Hoa T. T. Nguyen, Nga T. T.
Nguyen, "Energy-Efficient Unmanned Aerial Vehicle (UAV) Surveillance Utilizing Artificial Intelligence (AI)", Wireless Communications and Mobile
Computing, vol. 2021, Article ID 8615367, 11 pages, 2021.
[2] Do H.T., Hua H.T., Nguyen H.T.T., Nguyen M.T., Tran H.T. (2022) Cooperative Tracking Framework for Multiple Unmanned Aerial Vehicles (UAVs).
Advances in Engineering Research and Application. ICERA 2021. Lecture Notes in Networks and Systems, vol 366. Springer, Cham.
 • Kỹ thuật điều khiển nhóm
3
• Ví dụ bài toán điều khiển nhóm dựa trên khoảng cách

Điều khiển đội hình MAS với

nhiệm vụ:
 Phát hiện – tránh va
chạm vật cản
 Theo dõi – giám sát mục
tiêu I- Mục tiêu tĩnh
 Thiết lập và duy trì đội
hình quasi-alpha

 Mục tiêu tĩnh [1]

 Mục tiêu động [2]

II- Mục tiêu động

[1] Hai T. Do, Linh H. Truong, Minh T. Nguyen, Chen-Fu Chien, Hoang T. Tran, Hoang T. Hua, Cuong V. Nguyen, Hoa T. T. Nguyen, Nga T. T.
Nguyen, "Energy-Efficient Unmanned Aerial Vehicle (UAV) Surveillance Utilizing Artificial Intelligence (AI)", Wireless Communications and Mobile
Computing, vol. 2021, Article ID 8615367, 11 pages, 2021.
[2] Do H.T., Hua H.T., Nguyen H.T.T., Nguyen M.T., Tran H.T. (2022) Cooperative Tracking Framework for Multiple Unmanned Aerial Vehicles
(UAVs). Advances in Engineering Research and Application. ICERA 2021. Lecture Notes in Networks and Systems, vol 366. Springer, Cham.
 • Kết luận
4

• Lý thuyết đồ thị và thuật toán đồng thuận là những công cụ

cơ bản, quan trọng để giải quyết bài toán điều khiển đội
hình.
• Các vấn đề tồn tại:
Ma trận Laplace với tập trọng số hằng chỉ giải quyết được các
bài toán 1 lớp còn với bài toán điều khiển nhóm đa lớp (multilayer
formation control - MLFC) thì không thể sử dụng do tồn tại những
tương tác chéo.
 • Kết luận
4

• Lý thuyết đồ thị và thuật toán đồng thuận là những công cụ

cơ bản, quan trọng để giải quyết bài toán điều khiển đội
hình.
• Các vấn đề tồn tại:

Bài toán điều khiển nhóm dựa trên khoảng cách thì vị trí ban đầu của các
đối tượng ảnh hưởng nhiều việc hội tụ về đội hình mong muốn, vấn đề điểm
cân bằng không mong muốn.
 REPFERENCES
HONG, Seong-Woo; SHIN, Shang-Woon; AHN, Doo-Sung. "Formation control based on artificial intelligence for multi-agent coordinationv" IEEE International Symposium on
Industrial Electronics Proceedings (Cat. No. 01TH8570) pp 429-434, (2001).
AYKIN, Can; KNOPP, Martin; DIEPOLD, Klaus. "Deep Reinforcement Learning for Formation Control," 2018 27th IEEE International Symposium on Robot and Human Interactive
Communication (RO-MAN).p. 1-5.(2018).
LIU, Qishuai; HUI, Qing. "The formation control of mobile autonomous multi-agent systems using deep reinforcement learning" 2019 IEEE International Systems Conference
(SysCon). pp 1-8, (2019)
Zhao, Yijing, Zheng Zheng, and Yang Liu. "Survey on computational-intelligence-based UAV path planning." Knowledge-Based Systems 158,pp 54-64 (2018).
O. K. Sahingoz, "Flyable path planning for a multi-UAV system with Genetic Algorithms and Bezier curves," 2013 International Conference on Unmanned Aircraft Systems
(ICUAS), Atlanta, GA, USA, pp. 41-48 (2013)
O. Souissi, R. Benatitallah, D. Duvivier, A. Artiba, N. Belanger and P. Feyzeau, "Path planning: A 2013 survey," Proceedings of 2013 International Conference on Industrial
Engineering and Systems Management (IESM), Agdal, Morocco, pp. 1-8, (2013).
Challita, Ursula, Walid Saad, and Christian Bettstetter. "Cellular-connected UAVs over 5G: Deep reinforcement learning for interference management." arXiv preprint
arXiv:1801.05500 (2018).
Chen, Mingzhe, Walid Saad, and Changchuan Yin. "Echo state learning for wireless virtual reality resource allocation in UAV-enabled LTE-U networks." 2018 IEEE International
Conference on Communications (ICC). pp.1-6, (2018).
Chen, Mingzhe, Walid Saad, and Changchuan Yin. "Liquid state machine learning for resource allocation in a network of cache-enabled LTE-U UAVs." GLOBECOM 2017-2017
IEEE Global Communications Conference. pp.1-6, (2017).
Arsénio, Artur, et al. "Internet of intelligent things: Bringing artificial intelligence into things and communication networks." Inter-cooperative collective intelligence: Techniques and
applications. Springer, Berlin, Heidelberg, pp. 1-37. (2014).
D. Kinaneva, G. Hristov, J. Raychev and P. Zahariev, "Early Forest Fire Detection Using Drones and Artificial Intelligence," 2019 42nd International Convention on Information and
Communication Technology, Electronics and Microelectronics (MIPRO), Opatija, Croatia, pp. 1060-1065, (2019).
Y. M. Park, M. Lee and C. S. Hong, "Multi-UAVs Collaboration System based on Machine Learning for Throughput Maximization," 2019 20th Asia-Pacific Network Operations and
Management Symposium (APNOMS), Matsue, Japan, pp. 1-4, (2019).
Chunyu, J.; Qu, Z.; Pollak, E.; Falash, M. A New Multi-objective Control Design for Autonomous Vehicles. In Optimization and Cooperative Control Strategies; Hirsch, M.J.,
Commander, C.W., Pardalos, P.M., Murphey, R., Eds.; Springer: Berlin/Heidelberg, Germany, pp. 81–102; ISBN 978-3-540-88063-9, (2009).
Lawton, Jonathan RT, Randal W. Beard, and Brett J. Young. "A decentralized approach to formation maneuvers." IEEE transactions on robotics and automation 19.6,pp. 933-941
(2003).
Ren, Wei, and Randal W. Beard. "Decentralized scheme for spacecraft formation flying via the virtual structure approach." Journal of Guidance, Control, and Dynamics 27.1,pp.73-
82, (2004).
Carrio, Adrian, et al. "A review of deep learning methods and applications for unmanned aerial vehicles." Journal of Sensors 2017 (2017).
Bithas, Petros S., et al. "A survey on machine-learning techniques for UAV-based communications." Sensors 19.23, 5170 (2019).
Goodfellow, Ian, et al. Deep learning. Vol. 1. No. 2. Cambridge: MIT press, (2016).
Alsamhi, Saeed H., Ou Ma, and Mohd Samar Ansari. "Survey on artificial intelligence based techniques for emerging robotic communication." Telecommunication Systems
72.3,pp.483-503 (2019).
Li, Howard, Simon X. Yang, and Mae L. Seto. "Neural-network-based path planning for a multirobot system with moving obstacles." IEEE Transactions on Systems, Man, and
Cybernetics, Part C (Applications and Reviews) 39.4, pp.410-419, (2009)
Shibata, Katsunari. "Communications that emerge through reinforcement learning using a (recurrent) neural network." arXiv preprint arXiv:1703.03543 (2017).
Sharma, Vishal, Roberto Sabatini, and Subramanian Ramasamy. "UAVs assisted delay optimization in heterogeneous wireless networks." IEEE Communications Letters 20.12,
pp.2526-2529. (2016)
Challita, Ursula, et al. "Machine learning for wireless connectivity and security of cellular-connected UAVs." IEEE Wireless Communications 26.1 pp.28-35 (2019).
Doriya, Rajesh, Siddharth Mishra, and Swati Gupta. "A brief survey and analysis of multi-robot communication and coordination." International Conference on Computing,
Communication & Automation. pp 1014-1021. (2015).
Min, Byung-Cheol, et al. "Finding the optimal location and allocation of relay robots for building a rapid end-to-end wireless communication." Ad Hoc Networks 39,pp 23-44, (2016).
Akat, Salih Burak, Veysel Gazi, and Lino Marques. "Asynchronous particle swarm optimization-based search with a multi-robot system: simulation and implementation on a real
robotic system." Turkish Journal of Electrical Engineering & Computer Sciences 18.5 pp.749-764 (2010).
Challita, Ursula, Walid Saad, and Christian Bettstetter. "Cellular-connected UAVs over 5G: Deep reinforcement learning for interference management." arXiv preprint
arXiv:1801.05500 (2018).
Arsénio, Artur, et al. "Internet of intelligent things: Bringing artificial intelligence into things and communication networks." Inter-cooperative collective intelligence: Techniques and
applications. Springer, Berlin, Heidelberg, pp. 1-37. (2014).
26