Xây dựng hệ thống tự động nhận diện biển

báo giao thông trong điều kiện khó ứng

dụng hỗ trợ cho xe tự lái
SINH VIÊN: Hoàng Anh Dũng
MSSV:20184401
LỚP:CĐT.06.K63
GVHD: TS. Nguyễn Xuân Hạ
Nội dung

1. Tổng quan về đề tài

2. Phương pháp thực hiện

3. Kết quả

4. Kết luận

2
1. Tổng quan về đề tài (1)

3
1. Tổng quan về đề tài (2)

Độ chính xác cao Mạnh mẽ đối với môi Thời gian phản hồi nhanh
trường thực tế thử thách

4
2. Phương pháp thực hiện (2)
4500 hình ảnh Tập huấn luyện : 3600 ảnh
Kích thước biển Tập kiểm tra: 900 ảnh Cấm Giới Cấm Cấm rẽ
báo < 10x10 pixel ngược hạn tốc dừng
chiều độ và đỗ

Biến Biển Biển

hiệu cảnh còn
lệnh báo lại

5
2. Phương pháp thực hiện (3)

6
2. Phương pháp thực hiện (4)
Bounding box
Regression
Loss

RETINAFACE
NETWORK
Classification
Loss Σ Multi_Loss

Landmark
Regression
Loss

Bounding box
RETINAFACE Regression
NETWORK Loss

7
2. Phương pháp thực hiện (4)

8
3. Kết quả (1)

Đánh giá khả năng phát hiện

biển báo của mô hình
RetinaFace:
• Phương pháp đánh giá
mAP@50 đạt 65.8%

9
3. Kết quả (2)
Huấn luyện mô hình 100 epoch.

Độ chính xác của mô hình phân loại biển báo trên tập test đạt 94,83%.

10
3. Kết quả (3)
Đánh giá :

• mAP50 là 63,45%

• AP50 cao nhất là 78,44%

cho lớp cấm dừng và đỗ

• AP50 của các lớp đều

lớn hơn hoặc bằng 50%

• Kết quả tốt nhất của cuộc thi Zalo

AI Challenge đạt 60,53%

11
3. Kết quả (4)

Model RetinaFace +
MobileNetV1-SSD
Hiệu quả tính toán của mô hình cuối trên bộ
công cụ phát triển phần cứng Jetson Nano Batch size 1
của NVIDIA :
Mode FP16

Image dimension 1024x1024

Dung lượng tính toán là Computing time 0.27s

3.7 khung hình / giây mAP@50 63.45%

RAM usage 1.3GB

12
3. Kết quả (5)
Model Yolov5s

Batch size 1
Mode FP16
Image dimension 640x640
Computing time 2.5s
mAP@50 53,60%
RAM usage 1.7GB

• MAP50 là 53,6% so với 63,45%

• Thời gian tính toán của RetinaFace+ MobilenetV1-SSD nhanh
hơn 9,5 lần (0,27s so với 2.5s).
• Sử dụng RAM ít hơn phương pháp đầu tiên dẫn đến giảm
mức tiêu thụ năng lượng

13
4. Kết luận
• Cần phải nhấn mạnh rằng dữ liệu thử nghiệm từ bộ dữ liệu Zalo rất khó
khăn trong đó các dấu hiệu rất xa máy ảnh và do đó có kích thước rất nhỏ.
Tuy nhiên hệ thống nhận diện biển báo giao thông đã đạt được độ chính
xác và hiệu quả tính toán trên máy tính nhúng rất tốt

• Sự kết hợp của RetinaFace để phát hiện các biển báo trong hình ảnh và
Mobilenetv1-SSD để phân loại có tiềm năng rất cao trong việc ứng dụng trong
xe tự lái
• Hướng phát triển :
o Cải thiện mô hình nhận diện biển báo để có thể đạt hiệu suất tốt hơn nữa trên các
vật thể bé.
o Phát triển thêm các bài toán nhận diện biển báo giao thông trong các điều kiện
thách thức khác.

14
THANK YOU !