UIT-Fsoft Automotive Lab PROJECT PROPOSAL

ĐỀ CƯƠNG DỰ ÁN
1. Tên đề tài tiếng việt và tiếng anh:
Tiếng VIỆT: Nghiên cứu quy trình gắn nhãn dữ liệu và huấn luyện xe tự hành

Tiếng ANH: Research the process of data labeling and training autonomous cars.

YÊU CẦU MONG MUỐN CỦA ĐỀ TÀI: (Giảng viên cung cấp)
-Kết quả chuyên môn của đề tài
-Kết quả kỹ năng cần đạt được của nhóm SV:
-Kết quả về thái độ làm việc của SV

YÊU CẦU SINH VIÊN THAM GIA DỰ ÁN: (Giảng viên cung cấp)
-Sinh viên có kiến thức về ảnh số
-Sinh viên nắm vững lập trình C/C++ hoặc python
-Sinh viên cần làm việc nhóm và có thái độ làm việc tích cực

2. Danh sách sinh viên thực hiện :

STT Họ và Tên MSSV Ký tên
1 Nguyễn Trung Hiệp 15520217
2 Phạm Gia Long 18521049

3. Tổng quan đề tài:

Xe tự hành đang là xu hướng nghiên cứu và phát triển hiện tại khi các nhà sản xuất ô
tô lớn như Tesla, Toyota, Huyndai,… đều cho ra các nguyên mẫu ô tô tự lái mới. Đặc
biệt là Tesla nhà sản sản ô tô đến từ Mỹ đã cho ra mắt các mẫu xe thương mại có chức
năng hỗ trợ tự động lái cho tài xế.
Đối với nước ta, hiện tại nhóm nghiên cứu thuộc Tập đoàn Phenikaa đã phát triển
được xe tự hành trang bị được các tính năng hỗ trợ như bản đồ 3D, các cảm biến Lidar và
GPS phân giải cao,... Các tính năng này hỗ trợ 4 nhóm hệ thống gồm hệ thống kiểm soát,
hệ thống an toàn, hệ thống nhận diện, và hệ thống điều khiển thông minh.

Oct-21 1
UIT-Fsoft Automotive Lab PROJECT PROPOSAL

Ngoài ra, xe tự hành còn được chia làm 6 cấp độ do Hiệp hội Kỹ sư Ô tô (SAE) xác
định, từ cấp độ 0 (hoàn toàn thủ công) đến Cấp độ 5 (hoàn toàn tự động). Các mức này đã
được Bộ Giao thông Vận tải Hoa Kỳ thông qua.

Hình 3.1 Các mức độ tự động lái của xe tự hành

Tuy nhiên, các xe tự lái hiện tại phải cần người điều khiển quan sát môi trường xung
quanh và nắm quyền điều khiển xe trong trường hợp có sự cố bất ngờ. Do đó, các hệ
thống hỗ trợ có trong xe phải đạt được độ chính xác tối đa nhằm ngăn ngừa các sự cố có
thể xảy ra trong khi lưu thông. Và kỹ thuật được sử dụng trong việc nâng cao độ chính
xác trong các hệ thống hỗ trợ là sử dụng máy học và học sâu để huấn luyện các mô hình
giải quyết các bài toán có trong hệ thống hỗ trợ như phát hiện vật cản, tín hiệu giao
thông, phân làn đường,…
Sử dụng máy học và học sâu đem đến một thách mới là quy trình chuẩn bị dữ liệu cho
huấn luyện mô hình và kiến trúc máy học, học sâu tối ưu cho từng mô hình bài toán.
Muốn mô hình đạt được các tiêu chí cao đòi hỏi dữ liệu chuẩn bị cho mô hình phải đạt
các yêu cầu cao về chất lượng dữ liệu, gắn nhãn phù hợp cho dữ liệu,… Để thực hiện
điều này, chúng ta cần phải có một quy trình chuẩn bị dữ liệu hiệu quả với các giai đoạn
như quy trình gắn nhãn và các kỹ thuật xử lý, kiểm soát chất lượng dữ liệu.

Oct-21 2
UIT-Fsoft Automotive Lab PROJECT PROPOSAL

Chính vì vậy nhóm chúng em chọn đề tài “Nghiên cứu quy trình gắn nhãn dữ liệu và
huấn luyện xe tự hành” làm đề tài thực tập nhằm tìm hiểu các quy trình trên và có khả
năng áp dụng được vào các bài toán thực tiễn.

4. Mục tiêu của đề tài:

- Mục tiêu tổng quan
Nghiên cứu được quy trình gắn nhãn dữ liệu và huấn luyện xe tự hành trong
bài toán phân làn đường(lane segmentation) và xây dựng được chương trình
gắn nhãn tự động bằng cách sử dụng lại mô hình phân làn đường.

Hình 4.1 Sơ đồ tổng quan của đề tài

- Mục tiêu cụ thể

- Mục tiêu 1: Tìm hiểu được quy trình gắn nhãn dữ liệu và huấn luyện xe tự
hành với bài toán phân làn đường và biết các sử dụng các công cụ hỗ trợ
cho việc hiện thực quy trình.
- Mục tiêu 2: Hoàn thành dataset cho bài toán phân làn đường cho xe chạy
- Mục tiêu 3: Huấn luyện được mô hình phân làn đường xe chạy có trong
ảnh, sử dụng deep learning

Oct-21 3
UIT-Fsoft Automotive Lab PROJECT PROPOSAL

- Mục tiêu 4: Sử dụng mô hình đã huấn luyện để xây dựng chương trình gắn
nhãn tự động cho ảnh và cập nhật vào dataset
- Mục tiêu 5: Xây dựng và hoàn thành chương trình demo để kiểm tra kết
quả của mô hình cuối cùng

5. Các nội dung chính và giới hạn của đề tài:

Nội dung 1: Nghiên cứu quy trình gắn nhãn dữ liệu
Phương pháp thực hiện: tra cứu trên các cổng tìm kiếm tài liệu hoặc các diễn
đàn, trang web, bài báo khoa học liên quan đến vấn đề nghiên cứu:
google.com, towardsdatascience.com, ieeexplore.ieee.org,…
Kết quả dự kiến: tìm hiểu được các lý thuyết và công cụ hỗ trợ có trong một
quy trình gắn nhãn dữ liệu.

Nội dung 2: Nghiên cứu quy trình huấn luyện xe tự hành

Phương pháp thực hiện: tra cứu trên các cổng tìm kiếm tài liệu hoặc các diễn
đàn, trang web, bài báo khoa học liên quan đến vấn đề nghiên cứu:
google.com, towardsdatascience.com, ieeexplore.ieee.org,…
Kết quả dự kiến: tìm hiểu được các lý thuyết và công cụ hỗ trợ có trong một
quy trình huấn luyện xe tự hành.

Nội dung 3: Hiện thực quy trình gắn nhãn dữ liệu

Phương pháp thực hiện:
1. Chuẩn bị ảnh cho dataset: Thu thập ảnh từ phần mềm mô phỏng do
giảng viên hỗ trợ.
2. Chọn một trong các công cụ hỗ trợ gán nhãn: CVAT, Labelbox,
LabelStudio,…
3. Hiện thực quy trình gắn nhãn: gắn nhãn thủ công bằng cách sử dụng các
công cụ hỗ trợ gán nhãn trên laptop hoặc web.
Kết quả dự kiến: Có được dataset trên 2000 ảnh sau khi hoàn thành quy trình
dán nhãn dữ liệu

Oct-21 4
UIT-Fsoft Automotive Lab PROJECT PROPOSAL

Nội dung 4: Hiện thực quy trình huấn luyện xe tự hành

Phương pháp thực hiện:
1. Cấu trúc lại dataset cho phù hợp với kỹ thuật deep learning sử dụng
2. Sử dụng các open source hỗ trợ huấn luyện mô hình bằng kỹ thuật học
sâu có trên internet để huấn luyện mô hình
3. Huấn luyện mô hình bằng kiến trúc FCN (sử dụng lại các kiến trúc đã
được công bố trên các bài báo nghiên cứu khoa học) cho bài toán phân
làn đường để đạt kết quả tốt
Kết quả dự kiến: Sau khi hoàn thành huấn luyện có được mô hình phân làn
đường cho xe

Nội dung 5: Xây dựng chương trình gắn nhãn tự động và cập nhật lại dataset
bằng chương trình
Phương pháp thực hiện: sử dụng lại mô hình đã huấn luyện để dự đoán độ
chính xác và gắn nhãn cho dữ liệu ảnh mới. Đối với ảnh có dự doán độ chính
xác lớn hơn hoặc bằng 90% sẽ tiến hành gắn nhãn và lưu vào dataset, ngược lại
sẽ lưu vào một thư mục và dùng phần mềm CVAT gắn nhãn thủ công cho ảnh
và đưa vào dataset
Kết quả dự kiến: thu được dataset mới trên 8000 ảnh

Nội dung 6: Kiểm tra và đánh giá kết quả

Phương pháp thực hiện: sử dụng kỹ thuật đánh giá và kiểm tra có trong quy
trình thực hiện giải quyết bài toán sử dụng deep learning là chia dataset ban
đầu ra 3 phần: train, validation, test và đánh giá và kiểm tra mô hình bằng
dataset của phần validation cho đánh giá kết quả và kiểm tra là phần test.
Kết quả dự kiến: độ chính xác pixel của mô hình trong việc phân làn đường tối
thiểu là 90%

6. Phương pháp thực hiện:

Phương pháp tìm kiếm tài liệu:
- Nghiên cứu lý thuyết: tra cứu trên các cổng tìm kiếm tài liệu hoặc các
diễn đàn, trang web, bài báo khoa học liên quan đến vấn đề nghiên cứu:
Oct-21 5
UIT-Fsoft Automotive Lab PROJECT PROPOSAL

google.com, towardsdatascience.com, ieeexplore.ieee.org,… để tìm hiểu

các lý thuyết được sử dụng trong quy trình
- Source code: tìm kiếm trên trang web github, các diễn dàn chuyên
hướng dẫn code như medium, towardsdatascience,…
Phương pháp hiện thực quy trình gắn nhãn:
- Sử dụng công cụ mô phỏng do Thầy hướng dẫn cung cấp để tạo ảnh có
làn đường
- Sử dụng photoshop hoặc các phần mềm chỉnh sửa ảnh khác để loại bỏ
nhiễu có trong ảnh như người đi bộ, phương tiện giao thông,…
- Sử dụng phương pháp gắn nhãn là Semantic Segmentation Mask và
phần mềm CVAT để gắn nhãn cho ảnh.
- Viết file txt/csv tổng hợp các thông tin nhãn có trong ảnh như
class,rgb,…
Phương pháp hiện thực quy trình huấn luyện xe tự hành:
- Sử dụng dataset đã hoàn thành ở quy trình gắn nhãn và cấu trúc lại thư
mục dataset nhằm tương ứng với kỹ thuật deep learning sẽ sử dụng.
- Chia dataset thành 3 phần tương ứng là train: 80%, validation: 10% và
test: 10%
- Sử dụng FCN(Fully Convolutional Network) để huấn luyện mô hình từ
dataset đã chuẩn bị.
Phương pháp hiện thực chương trình gắn nhãn tự động và cập nhật dataset:
- Sử dụng lại mô hình đã huấn luyện để dự đoán độ chính xác và gắn
nhãn cho dữ liệu ảnh mới.
- Đối với ảnh được mô hình dự doán độ chính xác lớn hơn hoặc bằng
90% sẽ tiến hành gắn nhãn và lưu vào dataset và các ảnh có độ chính
xác thấp hơn 90% sẽ được gắn nhãn thủ công và cập nhật vào dataset
- Sử dụng Visual Studio Code và ngôn ngữ python cùng với các
framework hỗ trợ như numpy, tensorflow,… để xây dựng chương trình
- Sử dụng ảnh từ chương trình mô phỏng tạo ảnh để chương trình tự động
gắn nhãn thực hiện công việc gắn nhãn cho ảnh

Oct-21 6
UIT-Fsoft Automotive Lab PROJECT PROPOSAL

Phương pháp đánh giá kiểm tra:

- Sử dụng ảnh từ dataset của phần validation để đánh giá và kiểm tra là
phần test
- Được đánh giá theo thông số là độ chính xác pixel

7. Giới hạn của đề tài:

- Dataset ban đầu được gắn nhãn thủ công có số lượng ảnh trên 2000
- Dataset thứ hai do chương trình tự động gắn nhãn thực hiện: trên 8000 ảnh
- Độ chính xác của mô hình tối thiểu 90%
- Demo của đề tài là mô hình phân làn đường(lane segmentation) nhận input đầu vào là
ảnh(*.jpg, *.png,…) và đưa vào mô hình để dự đoán. Sau đó hiển thị kết quả dự doán
của mô hình.
- Demo được thực hiện trên môi trường hệ điều hành Windows 10/Linux.

8. Kế hoạch thực hiện:

Kết quả mong
STT Nội dung Thời gian Người thực hiện
muốn
Nắm rõ cơ bản
các lý thuyết có
Nghiên cứu quy trình gắn trong quy trình
2 tuần Nguyễn Trung Hiệp,
1 nhãn dữ liệu và huấn và cách sử dụng
(11/10 - 25/10 ) Phạm Gia Long
luyện xe tự hành các công cụ hỗ
trợ thực hiện
quy trình
Hoàn thành
Hiện thực quy trình gắn 2 tuần Nguyễn Trung Hiệp,
2 dataset khoảng
nhãn dữ liệu (25/10 – 8/11) Phạm Gia Long
2000 ảnh
Hiện thực quy trình gắn Hoàn thành
nhãn dữ liệu(tiếp theo) và 1 tuần Nguyễn Trung Hiệp, dataset trên
3
cài đặt các công cụ, phần (8/11 – 15/11) Phạm Gia Long 2000 ảnh và
mềm cần thiết cho việc máy tính sẵn

Oct-21 7
UIT-Fsoft Automotive Lab PROJECT PROPOSAL

thực hiện huấn luyện mô sàng cho việc

hình máy học huấn luyện
Có được mô
hình phân làn
Hiện thực quy trình huấn 2 tuần Nguyễn Trung Hiệp,
4 đường cho xe và
luyện xe tự hành (15/11 – 29/11) Phạm Gia Long
có độ chính xác
tối thiểu 80%
Chương trình tự
động gắn nhãn
Xây dựng chương trình
hoạt động như
gắn nhãn tự động và tạo 1 tuần Nguyễn Trung Hiệp,
5 mục tiêu yêu
dataset mới bằng chương (29/11- 6/12) Phạm Gia Long
cầu và có được
trình
trên 8000 ảnh
cho dataset
Độ chính xác
Huấn luyện lại mô hình
của mô hình
từ dataset mới và kiểm 1 tuần Nguyễn Trung Hiệp,
6 trong việc phân
tra, đánh giá kết quả (6/12 – 13/12) Phạm Gia Long
làn đường tối
thiểu là 90%
Hoàn thành báo
Viết báo cáo và chuẩn bị 1 tuần Nguyễn Trung Hiệp,
7 cáo và slide
slide trình bày (13/12 – 20/12) Phạm Gia Long
trình bày

ĐẠI DIỆN PHÒNG AUTOMOTIVE LAB GIẢNG VIÊN HƯỚNG DẪN

(Ký và ghi rõ họ tên) (Ký và ghi rõ họ tên)

Oct-21 8