Đề Tài Nghiên Cứu:

Robot nhổ cỏ tự động dựa

trên phân tích ảnh sử dụng
mô hình học sâu
Lĩnh vực nghiên cứu : Robotics

Tác giả: Phan Trần Đăng Khoa – Từ Phương Nguyên – Đỗ Tuấn Sơn –
Nguyễn Quang Hiếu – Vũ Vân Thanh
 1. Tính cấp thiết.
• Hiện nay, việc lạm dụng hóa chất diệt cỏ không
chỉ gây tác động xấu đến môi trường và sức khỏe
con người mà còn dẫn đến việc hình thành ngày
càng nhanh các loại cỏ có khả năng kháng thuốc.
• Việc nghiên cứu thiết kế robot nhổ cỏ tự động
không sử dụng hóa chất đang ngày càng được
quan tâm. Từ đó, nghiên cứu về robot nhổ cỏ
tự động sử dụng phân tích ảnh và mô hình học
sâu là cấp thiết để giảm thiểu bớt hoá chất độc
hại, bên cạnh đó còn giảm sức lao động và tối
ưu chi phí.
 2. Đối tượng nghiên cứu.
• Đối tượng nghiên cứu là Robot nhổ cỏ tự động sử dụng phân tích ảnh
và mô hình học sâu để tìm và loại bỏ cỏ trên các bề mặt rộng.
 3. Phương pháp nghiên cứu.

Thiết kế khung robot với cơ cấu đầu kẹp để nhổ cỏ.

Áp dụng mô hình học sâu với cơ sở dữ liệu được thu thập thực tế để
phát hiện và phân loại đối tượng đối tượng cây trồng, cỏ dại.
 Xác định tọa độ 3D của các điểm quan tâm từ tọa độ ảnh tương ứng
dựa vào mô hình camera.
 3. Phương pháp nghiên cứu.

Thiết kế khung robot với cơ cấu đầu kẹp để nhổ cỏ.

• (Hình 2a) : Khung robot được thiết kế theo

hệ Prusa. Dựa trên các khảo sát thực tế,
đưa ra kích thước của robot như sau:
0,75𝑚 (D) × 0,7𝑚(R) × 0,7.
(a)

• (Hình 2b): Phần cơ cấu kẹp có thể dịch

chuyển theo 3 trục tự do

(b)
Hình 1. a) Khung robot; b) Chi tiết đầu kẹp
 3. Phương pháp nghiên cứu.
Thiết kế khung robot với cơ cấu đầu kẹp để nhổ cỏ.

• (Hình 2c): Ba động cơ bước được sử dụng

để dịch chuyển cơ cấu đầu kẹp thông qua
các dây cua-roa được lắp trên các ray
trượt.

Hình 1. c) Chi tiết tay trượt

 3. Phương pháp nghiên cứu.
 Áp dụng mô hình học sâu
Image : RGB
List : Hộp giới hạn
List : Toạ độ 3D
Binary : Tín hiệu điều khiển
Hình 2. Mô hình hệ thống
• Hình ảnh thu được từ camera sẽ sử dụng để
phát hiện cỏ dại.
• Mô hình học sâu được áp dụng để phân tích
hình ảnh và đưa ra dự đoán về phát hiện đối
tượng trong ảnh.
• Các đối tượng sẽ được định vị trong ảnh bởi
một hộp giới hạn (bounding box) với kích
thước và tọa độ tâm.
• Từ thông tin về tọa độ tâm của đối tượng,
tính toán tọa độ của đối tượng trong không
gian 3D.
• Thông tin này được sử dụng để điều khiển
các động cơ để dịch chuyển cơ cấu tác vụ
đến vị trí cần thiết.
 3. Phương pháp nghiên cứu.
Phát hiện và xác định tọa độ 3D của đối tượng:

 Mô hình YOLO (You Only Look Once) được chọn để phát hiện
đối tượng.
Mô hình YOLO là gì ?
Mô hình YOLO sử dụng một mạng neural convolutional (CNN) để phát
hiện đối tượng trong ảnh hoặc video bằng cách dự đoán các hộp giới hạn và
nhãn cho các đối tượng trên toàn bức ảnh hoặc video một lần duy nhất, thay vì
phải xử lý từng vùng ảnh riêng lẻ như các phương pháp truyền thống

Tại sao sử dụng mô hình YOLO?

Vì mô hình YOLO có tốc độ xử lý nhanh, độ chính xác cao, khả năng
phát hiện nhiều đối tượng và dễ dàng kiểm tra.
 3. Phương pháp nghiên cứu.
Phát hiện và xác định tọa độ 3D của đối tượng:
• Nguyên lý mô hình YOLO
- Mô hình YOLO chỉ dựa trên một mạng nơ-ron duy nhất với
đầu vào là một ảnh và đầu ra là thông tin về vị trí và kích
thước của hộp giới hạn và phân loại của đối tượng phát
hiện được. Ảnh đầu vào được chia thành các ô, mỗi ô sẽ
dự đoán các thông tin về hộp giới hạn và phân loại của đối
tượng
- Sử dụng các lớp của mạng nơ-ron tích chập cơ bản để trích
xuất các đặc trưng của ảnh. Sau đó, thực hiện bài toán hồi
quy với dữ liệu vào là các đặc trưng ảnh và dữ liệu ra là các
các thông tin về hộp giới hạn và phân loại đối tượng thông
qua các lớp liên kết đầy đủ
 3. Phương pháp nghiên cứu.
• Để đánh giá việc dự đoán kích thước và vị trí của hộp giới hạn và việc phân loại
đối tượng. Hàm mất mát của mô hình YOLO được biểu diễn như sau:

Trong đó:
- 𝕝 𝑖 𝑜𝑏𝑗 thể hiện sự có mặt của đối
tượng trong ô thứ i
- 𝕝 𝑖𝑗 𝑜𝑏𝑗 thể hiện kết quả dự đoán
của hộp giới hạn thứ j
- 𝑥, 𝑦, 𝑤, ℎ lần lượt là tọa độ tâm
và kích thước của hộp giới hạn
- 𝐶 là độ tin cậy
- 𝑝(𝑐) là xác suất phân loại
- 𝜆𝑐𝑜𝑜𝑟𝑑 = 5, 𝜆𝑛𝑜𝑜𝑏𝑗 = 0,5 – trọng
số.
 3. Phương pháp nghiên cứu.
Phát hiện và xác định tọa độ 3D của đối tượng:
• Xác định toạ độ 3D
Xác định toạ độ 3D của giúp chúng ta biết chính xác vị trí của
đối tượng trong không gian, hỗ trợ trong việc đánh giá khoảng
cách và phân loại đối tượng.

Để thuận tiện, chúng ta cần mô hình hóa cho camera và ước

lượng các hệ số của mô hình này. Gọi:
- T tọa độ đồng nhất (homogeneous coordinates)
của điểm vật trong không gian 3D
- điểm ảnh trên mặt phẳng ảnh chuẩn hóa
- điểm ảnh trên mặt phẳng ảnh vật lý
 3. Phương pháp nghiên cứu.
Phát hiện và xác định tọa độ 3D của đối tượng:
• Xác định toạ độ 3D
Tạo độ điểm ảnh bị ảnh hưởng theo biểu thức:

Vector méo dạng tiếp tuyến, biểu diễn sau:

Tọa độ điểm ảnh p được xác định như sau:

 3. Phương pháp nghiên cứu.
Phát hiện và xác định tọa độ 3D của đối tượng:
• Xác định toạ độ 3D

- Để xác định được tọa độ 3D sử dụng một số điểm dữ liệu

3D với tọa độ biết trước. Ta ước lượng được các hệ số
của ma trận hiệu chuẩn ngoại 𝒯, tức thông tin về vị trí
tương đối giữa hệ trục tọa độ của mặt đáy (vùng hoạt
động của robot) và hệ trục tọa độ của camera
- Xác định hệ số 𝒯

Trong đó, Θ – là các hệ số của mô hình; {𝑃𝑖 , 𝑝𝑖 } là cặp điểm 3D

và điểm ảnh; ℱ(⋅) là mô hình camera
 3. Phương pháp nghiên cứu.
Quy trình hoạt động theo lưu đồ thuật toán:
4. Mô tả kết quả.

• Robot nhổ cỏ tự động dựa trên phân

tích ảnh và mô hình học sâu có thể tự
động phát hiện cỏ và loại bỏ chúng.
• Hệ thống được tích hợp với các cảm
biến để giảm thiểu sai số và đảm bảo
độ chính xác.
• Thời gian để hoàn thành công việc nhổ
cỏ được giảm thiểu đáng kể, tối ưu hóa
thời gian và chi phí.
 5. Đánh giá kết quả.
 Theo độ mất mát của đối tượng
Đồ thị hàm mất mát sẽ cho ta biết
mức độ hội tụ của mô hình và giúp ta
quyết định khi nào nên dừng quá
trình kiểm tra.
• Nếu hàm mất mát giảm đều và
liên tục qua các vòng lặp thì ta có
thể kết thúc quá trình kiểm tra.
• Còn nếu hàm mất mát không giảm
hoặc giảm chậm thì ta có thể cần
phải điều chỉnh thêm các tham số
để tăng độ chính xác của mô hình.
 5. Đánh giá kết quả.
 Theo tiêu chí mAP

Kết quả mAP được thể hiện ở

Bảng 9 cho thấy.
• Độ chính xác của việc phát
hiện và phân loại các đối
Hình 9. Kết quả mAP trên tập kiểm tra tượng cao.
• Giá trị mAP trung bình cho
tất cả các đối tượng là
[ Kết quả mAP (mean average precision) là một thước đo được sử khoảng 0,95.
dụng để đánh giá hiệu quả của một mô hình nhận dạng đối tượng.
Giá trị mAP cao thì mô hình đạt được độ chính xác cao trong việc  Kết quả này đảm bảo cho
phát hiện và phân loại các đối tượng, và ngược lại ] việc tự động phát hiện đối
tượng để thực hiện các tác
vụ cần thiết
 6. Kết luận.

Kết quả thí nghiệm cho thấy, hệ thống có khả năng phát hiện đối
tượng và xác định tọa độ 3D của đối tượng với độ chính xác cao.
Hướng nghiên cứu tiếp theo sẽ phát triển khối định vị và định hướng
để robot có thể tự hành.