Thiết kế và phát triển một hệ thống robot sắp xếp

đối tượng

Sinh viên thực hiện: Đinh Trọng Nhân

MSSV: 2013958
GVHD: TS. Nguyễn Duy Ánh

Ngành Cơ Điện Tử, Khoa Cơ Khí

Trường Đại Học Bách Khoa
Đại Học Quốc Gia Thành Phố Hồ Chí Minh
Nội dung

• ..Giới thiệu tổng quan đề tài

• Mục tiêu đề tài

• Tổng kết và kế hoạch tuần tới
 Giới thiệu: Robot Manipulation
3

Robot Manipulation (điều khiển robot)

là quá trình điều khiển các robot di
động hoặc robot tay cầm để thực hiện
các tác vụ nhất định trong một môi
trường. Điều khiển robot bao gồm
nhiều kỹ thuật và phương pháp khác
nhau, bao gồm cả kỹ thuật lập trình và
cảm biến học để đảm bảo rằng robot
có thể thực hiện tác vụ được giao một
cách chính xác và hiệu quả.
 Giới thiệu: Robot Manipulation
4

Các ứng dụng của robot manipulation bao gồm các lĩnh vực sản xuất,
dịch vụ, y tế, giáo dục, khoa học, công nghệ thông tin và nhiều lĩnh vực
khác

 Trong ngành sản xuất,

robot manipulation có
thể được sử dụng để
đóng gói sản phẩm,
lắp ráp, vận chuyển và
kiểm tra chất lượng
sản phẩm.

 Trong lĩnh vực y tế,

robot manipulation có
thể được sử dụng để
hỗ trợ trong phẫu
thuật và chẩn đoán y
khoa.
 Ưu điểm 5

o Tăng khả năng linh hoạt và đa năng: Robot manipulation có thể được
lập trình để thực hiện nhiều loại công việc khác nhau, giúp tăng khả
năng linh hoạt và đa năng của các quá trình sản xuất và dịch vụ

o Tiết kiệm chi phí: Robot manipulation có thể giảm chi phí lao động và
thời gian hoàn thành sản phẩm, do đó giảm chi phí sản xuất và cải
thiện lợi nhuận của doanh nghiệp

o Tăng năng suất và hiệu quả: Robot manipulation có thể hoạt động liên
tục, không có sự mệt mỏi, giúp tăng năng suất và hiệu quả của quá
trình sản xuất hoặc cung cấp dịch vụ

o Giảm nguy cơ tai nạn lao động: Robot manipulation giảm sự tham gia
của con người trong các quá trình làm việc nguy hiểm, giảm nguy cơ
tai nạn lao động và tăng tính an toàn cho nhân viên
 Nhược điểm
6

o Giới hạn về môi trường làm việc: Robot manipulation có thể gặp
khó khăn trong việc hoạt động trong môi trường khắc nghiệt,
như môi trường có bụi, độ ẩm cao, nhiệt độ cao hoặc thấp,

o Chi phí đầu tư ban đầu cao: Robot manipulation yêu cầu đầu tư
lớn cho việc mua các thiết bị và máy móc phức tạp, cũng như
chi phí lắp đặt, huấn luyện và bảo trì, do đó chi phí đầu tư ban
đầu cao hơn so với các giải pháp khác.

o Khó khăn trong việc tương tác với con người: đặc biệt trong các
hoạt động phức tạp hoặc cần có sự linh hoạt
 Sử dụng xử lý ảnh phân loại hình dạng sản phẩm
7

Trong việc phân loại sản phẩm theo hình

dạng, OpenCV có thể được sử dụng để:

 Xử lý và phân tích hình ảnh sản phẩm để

trích xuất các đặc trưng hình học, chẳng
hạn như hình dạng, kích thước, diện tích,
chu vi, vị trí và hướng.

 Sử dụng các thuật toán máy học để phân

loại sản phẩm dựa trên các đặc trưng được
trích xuất.
OpenCV là một thư viện mã nguồn mở
 Cung cấp các công cụ để xác định vị trí và được sử dụng trong xử lý ảnh và thị giác
hướng của sản phẩm trên băng chuyền, để máy tính.
phục vụ cho quá trình phân loại sản phẩm.

 Xử lý và phân tích video để giám sát và

phân loại sản phẩm trong thời gian thực
 Ứng dụng của xử lý ảnh
8

Mô hình hệ thống phân loại sản phẩm

theo hình dạng sử dụng cánh tay robot

Hệ thống kiểm tra phân

loại sản phẩm
9
Mục tiêu của đề tài 9

 Phát triển thuật toán xử lý ảnh để thu thập thông tin qua
hình dạng sản phẩm.
 Xây dựng thuật toán xử lý dữ liệu để chuyển đổi thông tin
từ OpenCV thành dữ liệu để phân loại sản phẩm.
 Thiết kế robot điều khiển gắp và gắp sắp xếp các đối tượng dựa
trên phân loại.
 Kiểm tra, đánh giá hiệu quả hoạt động của thao tác robot
phân loại đối tượng hệ thống trong các điều kiện khác
nhau
Nội dung

• Giới thiệu tổng quan đề tài

• Mục tiêu của đề tài

• Tổng kết và kế hoạch tuần tới

 Tổng kết và kế hoạch tuần tới
11

 Tổng kết
 Thực hiện tìm hiểu về Robot Manipulation và OpenCV
để phân loại sản phẩm theo hình dạng.
 Xác định rõ mục tiêu đề tài

 Kế hoạch tuần tới

 Tìm hiểu OpenCV để xử lý các hình ảnh này và trích
xuất các đặc trưng của sản phẩm, chẳng hạn như
màu sắc, hình dạng và kích thước.
 Nghiên cứu thuật toán máy học để phân loại các sản
phẩm dựa trên các đặc trưng.
Nội dung

• Kết quả thực hiện tuần 2 (22/3 – 29/3)

• Tổng kết và kế hoạch tuần tới
 Xử lý ảnh phân loại hình dạng sản phẩm
13

Mô tả thuật toán xử lý ảnh thông qua hình ảnh đầu vào:

 Hình ảnh được tải lên bằng cách sử dụng chức năng "imread" của
OpenCV và được chuyển đổi sang hình ảnh xám bằng chức năng
"cvtColor".

 Một giá trị ngưỡng được đặt để tạo một hình ảnh mới bằng chức năng
"threshold" của OpenCV. Hình ảnh mới này sẽ chỉ có các pixel màu đen
và trắng dựa trên giá trị ngưỡng.

 Các đường viền trong hình ảnh ngưỡng được tìm thấy bằng chức năng
"findContours“. Mỗi đường viền sau đó được xấp xỉ để giảm thiểu các sai
sót sử dụng chức năng "approxPolyDP“.

 Các cạnh bên ngoài của mỗi đường viền được vẽ lên hình ảnh ban đầu
bằng chức năng "drawContours".

 Văn bản được thêm vào hình ảnh để chỉ ra hình dạng sử dụng chức
năng "putText" của OpenCV.
Kết quả thử nghiệm
14
1
5 Kết quả thực nghiệm
15

Kết quả xác định hình dạng vật thể qua hình ảnh
 Thuật toán YOLO
16

YOLO (You Only Look Once) là một thuật toán nhận diện đối tượng và
phân loại đối tượng. YOLO có khả năng xử lý nhanh chóng hình ảnh
và video bằng cách chỉ phân tích ảnh một lần.

OpenCV có thể sử dụng YOLO

để phát hiện và phân loại đối
tượng trong hình ảnh và video.
Điều này làm cho OpenCV trở
thành một công cụ mạnh mẽ
để phát triển các ứng dụng thị
giác máy tính.
 Thuật toán YOLO
17

Kiến trúc mạng của mô hình YOLOV1

 Thuật toán YOLO
18

Kiến trúc mạng của YOLOV4

 Thuật toán YOLO
19

Nguyên lý hoạt động của YOLO

Nội dung
• Kết quả thực hiện tuần qua

• Tổng kết và kế hoạch tuần tới

 Tổng kết và kế hoạch tuần tới
21

 Tổng kết

 Tìm hiểu OpenCV để xử lý các hình ảnh này và trích xuất

các đặc trưng của sản phẩm.

 Nghiên cứu thuật toán máy học để phân loại các sản
phẩm dựa trên các đặc trưng

 Kế hoạch tuần tới

 Tiếp tục tìm hiểu và tối ưu hóa thuật toán xử lý ảnh
trong thời gian thực
Nội dung

• Kết quả thực hiện tuần 3 (29/3 – 5/4)

• Tổng kết và kế hoạch tuần tới
 Kết quả thực hiện
23

Ứng dụng của AI trong đời sống hiện nay là vô cùng to lớn. Xuất hiện ở
hầu hết các lĩnh vực như công nghiệp, nông nghiệp, y tế, đời sống xã
hội…
 Kết quả thực hiện
24

Việc áp dụng AI vào đề tài này sẽ giải quyết bài toán thực tế
giúp kiểm tra phân loại các sản phẩm bị lỗi trong dầy chuyền
sản xuất công nghiệp, nhằm tối ưu hóa các quá trình sản xuất.

 Tăng cường độ chính xác

 Tăng hiệu xuất làm việc

 Giảm chi phí lao động

 Giảm thiểu rủi ro gây ra

 Kết quả thực hiện
25

Trước đây, các công nghệ phân loại sản phẩm lỗi trong dây chuyền
sản xuất thường sử dụng các phương pháp thủ công hoặc dựa trên
các thuật toán phân loại cơ bản như Decision Tree, k-Nearest
Neighbors, Support Vector Machine (SVM) và Neural Network.
 Kết quả thực hiện
26

Sử dụng mô hình phân loại sản phẩm bằng YOLO cùng với robot
công nghiệp sẽ có nhiều ưu điểm so với việc sử dụng các mô hình
phân loại thông thường:

+Độ chính xác cao: YOLO được huấn luyện trên rất nhiều dữ liệu và
sử dụng kiến trúc mạng neural sâu, do đó có thể đạt được độ chính
xác cao hơn trong việc phân loại sản phẩm.
+Tốc độ xử lý nhanh: YOLO được thiết kế để hoạt động với tốc độ
cao, do đó có thể xử lý ảnh và phân loại sản phẩm nhanh chóng,
thậm chí trong thời gian thực.
+Phát hiện đa đối tượng: YOLO có khả năng phát hiện và phân loại
đồng thời nhiều đối tượng trong cùng một bức ảnh hoặc video, giúp
tiết kiệm thời gian và năng lượng trong việc xử lý dữ liệu.
+Tích hợp dễ dàng: YOLO có khả năng tích hợp dễ dàng với các
thiết bị và hệ thống khác, bao gồm cả robot công nghiệp, giúp tối ưu
hoá quá trình sản xuất và nâng cao hiệu quả làm việc.
Nội dung
• Kết quả thực hiện tuần qua

• Tổng kết và kế hoạch tuần tới

 Tổng kết và kế hoạch tuần tới
28

 Tổng kết

 Tìm hiểu OpenCV để xử lý các hình ảnh này và trích xuất

các đặc trưng của sản phẩm.

 Nghiên cứu thuật toán máy học để phân loại các sản
phẩm dựa trên các đặc trưng

 Kế hoạch tuần tới

 Tiếp tục tìm hiểu và tối ưu hóa thuật toán xử lý ảnh
trong thời gian thực

 Bước đầu xây dựng mô hình AI phân loại sản phẩm

lỗi
 29

-Thank you-

Đinh Trọng Nhân

Ngành Cơ Điện Tử, Khoa Cơ Khí
Trường Đại Học Bách Khoa
Đại Học Quốc Gia Thành Phố Hồ Chí Minh