TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

KHOA ĐIỆN TỬ - VIỄN THÔNG

CÔNG TRÌNH THAM DỰ

HỘI NGHỊ SINH VIÊN NGHIÊN CỨU KHOA HỌC CẤP KHOA
NĂM HỌC 2023 – 2024

Tên công trình:

Nghiên cứu phát triển hệ thống kiểm tra lỗi ngoại quan
linh kiện camera

Người thực hiện:

Trần Hoài Nam
QH-2020-I/CQ-M Khoa Cơ học Kỹ thuật và Tự động hóa

Vũ Thị Thu Trang

QH-2022-I/CQ-R Khoa Điện tử Viễn thông

Hoàng Văn Cường

QH-2022-I/CQ-R Khoa Điện tử Viễn thông

Giáo viên hướng dẫn:

TS. Nguyễn Văn Thắng
ThS. Phan Hoàng Anh

Hà Nội, 2024
Tóm tắt:
Trong đề tài này, thông qua việc nghiên cứu các quy trình vận hành của các nhà sản xuất linh
kiện trong nước, cụ thể là quy trình sản xuất camera cho các sản phẩm công nghệ, có thể thấy
là việc kiểm soát lỗi sản phẩm sau xử lý đặt ra một thách thức đáng kể. Quy trình này đòi hỏi
sự can thiệp từ nhân viên có kinh nghiệm để tiến hành kiểm tra thủ công, điều này đã dẫn đến
sự giảm năng suất và độ tin cậy. Dựa trên yêu cầu này, nhóm nghiên cứu đề xuất sử dụng mô
hình thị giác máy tính để phát hiện các khuyết điểm hình ảnh bên ngoài của linh kiện camera.
Dữ liệu hình ảnh được chụp từ camera kính hiển vi, thông qua sử dụng hai mô hình: xử lý ảnh
và học sâu (YOLOv8) trích xuất các đặc trưng lỗi của bề mặt linh kiện. Một mô hình phân
loại nhị phân Logistic Regression được đề xuất để dựa trên các đặc trưng về bụi bẩn, vết xước
và đưa ra dự đoán linh kiện kiểm tra là tốt hay lỗi. Kết quả của nghiên cứu sẽ đánh giá mô
hình thị giác máy với hai tiêu chí là: độ chính xác và hiệu suất xử lý. Mô hình thị giác máy
đề xuất ứng dụng trong một công đoạn kiểm tra lỗi ngoại quan của linh kiện trong nhà máy
sản xuất giúp làm tăng đáng kể độ tin cậy của quá trình kiểm tra. Trong tương lai, hệ thống
thị giác máy có thể tích hợp hệ thống cánh tay robot để tự động hóa hoàn toàn quy trình kiểm
tra nhằm tăng năng suất cho nhà máy.
Từ khóa: Lỗi ngoại quan, thị giác máy, học máy, xử lý ảnh, linh kiện camera.

2
 Mục lục
Mục lục .................................................................................................................................... 3
Mục lục hình ảnh ..................................................................................................................... 4
1. Đặt vấn đề ........................................................................................................................ 5
1.1 Tổng quan tình hình nghiên cứu ............................................................................... 5
1.2 Thực trạng nghiên cứu .............................................................................................. 6
1.3 Phương pháp nghiên cứu đề xuất .............................................................................. 7
2. Giải quyết vấn đề ............................................................................................................. 9
2.1 Mô hình hệ thống ..................................................................................................... 9
2.2 Xử lý ảnh trích xuất vùng xước .............................................................................. 10
2.2.1 Xác định vùng xử lý ........................................................................................ 10
2.2.2 Phát hiện ứng viên lỗi trên vùng biên ................................................................... 12
2.3 Mô hình học sâu định lượng bụi, xước ................................................................... 13
2.4 Mô hình phân loại tình trạng ngoại quan linh kiện ...................................................... 15
3. Kết quả thử nghiệm và đánh giá ........................................................................................ 18
3.1 Kết quả thực nghiệm phương pháp xử lý ảnh .............................................................. 18
3.2 Kết quả thực nghiệm mô hình YOLOv8n ................................................................... 19
3.3 Hiệu suất phân loại linh kiện........................................................................................ 21
4. Kết luận .......................................................................................................................... 22
5. Tài liệu tham khảo ......................................................................................................... 24

3
 Mục lục hình ảnh

Hình 1. Hệ thống quan sát linh kiện ........................................................................................ 6

Hình 2. Thiết kế hệ thống thị giác tích hợp hệ thống tự động hóa kiểm tra lỗi ngoại quan .... 8
Hình 3. Mô hình thị giác máy đề xuất ..................................................................................... 9
Hình 4. Giới hạn vùng xử lý trên bề mặt lens của linh kiện .................................................. 10
Hình 5. Mô tả quá trình chuyển đổi hệ tọa độ Cartesian sang hệ tọa độ cực ........................ 11
Hình 6. Vùng làm việc sau khi biến đổi hệ trục tọa độ ......................................................... 11
Hình 7. Phân chia khu vực xử lý............................................................................................ 11
Hình 8. Kết quả phương pháp lọc Sobel có trọng số ............................................................. 12
Hình 9. Kết quả sau khi thực hiện lọc ngưỡng ...................................................................... 13
Hình 10. Kết quả sau khi thực hiện phép biến đổi Opening và Closing ................................ 13
Hình 11. Mô hình mạng YOLOv8 sử dụng ........................................................................... 14
Hình 12. Mô tả dữ liệu đào tạo .............................................................................................. 14
Hình 13. Đánh giá các thông số hiệu suất các phiên bản YOLOv8 ...................................... 15
Hình 14. Khối mô hình thị giác máy(Xử lý ảnh, Học sâu) (A là số lượng bụi, B là số lượng
xước, C là vị trí bụi, D là vị trí xước, E là kích thước lớn nhất của xước) ............................ 16
Hình 15. Đề xuất mô hình phân loại linh kiện ....................................................................... 18
Hình 16. Kết quả nhận diện vết xước bằng xử lý ảnh ........................................................... 18
Hình 17. Kết quả đánh giá mô hình ....................................................................................... 19
Hình 18. Dữ liệu gán nhãn ..................................................................................................... 20
Hình 19. Kết quả nhận diện bằng mô hình YOLOv8n (71.43%, 97.6ms) ............................ 20
Hình 20. Kết quả thực nghiệm ............................................................................................... 21
Hình 21. Confusion Matrix của mô hình phân loại .............................................................. 22
Hình 22. Bản thiết kế mô phỏng hệ thống ............................................................................. 24

4
1. Đặt vấn đề
1.1 Tổng quan tình hình nghiên cứu

Hiện nay, vấn đề lỗi ngoại quan xảy ra trên linh kiện là vô cùng phổ biến với nhiều lý do khác
nhau nhưng chúng đều gây ra nhiều khó khăn và tổn hại đối với các doanh nghiệp đặc biệt là
đối với các linh kiện đặc thù yêu cầu độ chính xác cao như camera. Các lỗi ngoại quan xuất
hiện thường xuyên trên camera điển hình là bụi, vết xước… Chúng đều là những lỗi có kích
thước rất nhỏ nên sẽ gây ra rất nhiều khó khăn cho quá trình kiểm tra.

Trong hầu hết các doanh nghiệp hiện nay, việc phân loại và kiểm tra lỗi ngoại quan trên linh
kiện thường được thực hiện bằng cách thủ công, mà không có sự đồng nhất và đáng tin cậy.
Các công nhân thường dựa vào sự quan sát cá nhân và sử dụng kinh nghiệm cá nhân để đánh
giá sản phẩm. Tuy nhiên, phương pháp này không chỉ mang lại hiệu suất thấp mà còn gặp
phải vấn đề về độ chính xác do phụ thuộc vào sự chủ quan của từng cá nhân và không có tiêu
chuẩn chung.
Kiểm soát chất lượng là yếu tố quan trọng trong sản xuất, thường được áp dụng trong dây
chuyền lắp ráp của các nhà máy. Mặc dù dây chuyền này có thể tạo ra sản phẩm chất lượng
cao, việc kiểm soát chất lượng bằng phương pháp thủ công vẫn gặp nhiều khó khăn. Vấn đề
chính là chi phí, khi một phần lớn doanh thu bán hàng phải chịu các chi phí liên quan đến chất
lượng, thậm chí lên đến 40% tổng số lượng hoạt động. Các khuyết điểm sản xuất cũng có thể
đạt đến mức cao, đặc biệt là trong các dây chuyền sản xuất phức tạp, có thể lên đến 90%. Vấn
đề lớn nhất đối với các nhà sản xuất là nguy cơ lỗi nhỏ có thể làm hỏng toàn bộ quy trình sản
xuất. Mặc dù kiểm tra chất lượng sau sản xuất có thể giúp phát hiện nhiều khuyết điểm, vẫn
còn những lỗi được giấu kín. Sử dụng nhiều công nhân hơn để kiểm tra có thể dẫn đến tăng
chi phí sản xuất. [1] Để giải quyết vấn đề này, cần sử dụng các phương pháp tự động hóa hơn
và đáng tin cậy hơn, giúp rút ngắn thời gian thực hiện và tăng độ chính xác trong việc phân
loại lỗi ngoại quan trên linh kiện.

Thị giác máy tính (Computer vision) là một lĩnh vực quan trọng và rộng lớn được tập trung
nghiên cứu trong thời gian gần đây. Máy tính có thể “nhìn’’ và “hiểu” dữ liệu trực quan là
mục tiêu chính mà những nghiên cứu trong suốt 60 năm trở lại đây hướng đến. Computer
vision có thể được định nghĩa là một lĩnh vực bao gồm các phương pháp thu nhận, xử lý ảnh
kỹ thuật số, phân tích và nhận dạng các hình ảnh. Nó có thể được sử dụng nhiều trong thực tế
như phát hiện lỗi, vận hành tự động v.v. Thị giác máy tính cũng đang là một trong những lĩnh
vực phát triển nhanh nhất của khoa học máy tính và trí tuệ nhân tạo với rất nhiều những ứng
dụng hữu ích.

Hiện nay, kỹ thuật mô phỏng thị giác đang được tập trung phát triển và có nhiều thành công
khá nổi bật, nó giúp máy tính có khả năng nhìn giống con người, thậm chí còn tốt hơn. Lấy
ví dụ từ nhiều nơi trên thế giới, các kỹ thuật như mô phỏng chất lượng không khí [4], mô
phỏng hiệu ứng thời tiết [2], mô phỏng giao thông cho xe tự hành [3], và phát hiện lỗi ngoại
quan linh kiện, đều chia sẻ các đặc điểm chung. Chúng đều dựa vào dữ liệu đầu vào để thực
hiện các phân tích và mô phỏng, sử dụng các mô hình hoặc phương pháp tính toán để tái tạo
các điều kiện hoặc hiện tượng cụ thể. Đánh giá và kiểm tra được thực hiện để đảm bảo tính
chính xác và đáng tin cậy của kết quả, và chúng đều có các ứng dụng cụ thể trong các lĩnh

5
vực như giao thông, môi trường, hoặc công nghiệp sản xuất. Mục tiêu chung của các kỹ thuật
này là tăng cường hiệu suất hoặc độ chính xác trong việc dự đoán, mô phỏng hoặc phân tích
các điều kiện hoặc hiện tượng cụ thể. Từ các điều trên, nhóm đề xuất sử dụng một mô hình
thị giác máy thông minh với hệ thống quan sát linh kiện ban đầu đơn giản Hình 1.

Hình 1. Hệ thống quan sát linh kiện

Việc cải tiến quy trình làm việc thông qua sự áp dụng công nghệ thị giác máy tính là một
bước đi quan trọng, giúp nâng cao chất lượng sản phẩm, tiết kiệm chi phí và tăng cường hiệu
suất trong ngành công nghiệp sản xuất camera điện thoại. Điều này là một minh chứng rõ
ràng cho sức mạnh của sự đổi mới và sự tiến bộ của công nghệ trong xây dựng một tương lai
sản xuất hiệu quả và bền vững hơn.
1.2 Thực trạng nghiên cứu

Việc xử lý toàn bộ vùng làm việc là vô cùng phức tạp và tốn tài nguyên, do có vùng không
lỗi hoặc nhiễu. Vì vậy, nhóm đề xuất phân chia hai vùng và thực hiện bước nhận diện lỗi vết
xước trên từng vùng. Phần trung tâm chiếm 85% chiều dài, phần còn lại là vùng biên. Ảnh
gốc được chia thành hai ảnh riêng, dùng cho các bước xử lý tiếp theo. Khi ở điều kiện thường,
các gradient lỗi trong ảnh sẽ biểu diễn theo cả phương dọc và ngang. Nhóm đề xuất sử dụng
phép biến đổi Hough của đường tròn để xác định vùng làm việc để làm biến mất các gradient
theo phương ngang và giữ lại các gradient theo phương dọc để đơn giản hóa quá trình xử lý.
Sau đó, sử dụng bộ lọc Sobel nhằm nhận diện vùng nghi ngờ trên vùng kiểm tra.
Một trong những thách thức của bài toán đó là kích thước của vết xước và bụi trên camera rất
bé chỉ khoảng 3 – 4 pixel với đặc trưng về hình thái, màu sắc không rõ ràng nên sẽ gây ra
nhiều khó khăn cho quá trình nhận dạng và xử lý. Bộ lọc Gaussian bị biến dạng biên, nhạy

6
cảm với các ngoại lệ và hoạt động kém khi đầu vào có định dạng lớn, sẽ làm mất đi độ chi
tiết và sắc nét đối với những bức ảnh có độ sắc nét cao và xử lý không tốt đối với những bức
ảnh “salt and pepper noise”. Bộ lọc Sobel sẽ cho kết quả không thực sự tốt mặc dù các chi
tiết vẫn được thể hiện rõ ràng đối với những bức ảnh phức tạp, có nhiều chi tiết. Bộ lọc Sobel
cũng nhạy cảm với các cạnh chéo, tạo ra các cạnh dày và không tính đến tính liên tục hoặc độ
mịn của cạnh.
YOLOv8 tuy có khả năng nhận diện vật phẩm nhanh chóng nhưng đôi khi độ chính xác có
thể sẽ bị giảm để đạt được tốc độ xử lý cao, điều này có thể dẫn đến mất mát chi tiết trong
quá trình xử lý nhận dạng hoặc làm giảm hiệu xuất.
1.3 Phương pháp nghiên cứu đề xuất

Bài toán nhận diện lỗi ngoại quan trên linh kiện là một trong những thách thức phức tạp và
đòi hỏi nhiều kỹ thuật tiên tiến. Với sự phát triển không ngừng của công nghệ, việc đảm bảo
chất lượng sản phẩm trong quá trình sản xuất ngày càng trở nên quan trọng hơn. Trong lĩnh
vực công nghiệp, việc phát hiện và loại bỏ các lỗi ngoại quan trên linh kiện đòi hỏi sự chính
xác và hiệu quả cao. Trong việc nhận diện và loại bỏ lỗi ngoại quan trên linh kiện, có nhiều
phương pháp khác nhau được áp dụng, nhưng nhóm đề xuất hai phương pháp chính: xử lý
ảnh truyền thống và sử dụng mô hình học sâu. Cả hai phương pháp này đều là những phương
pháp vô cùng nổi bật trong lĩnh vực thị giác máy tính, tuy nhiên mỗi phương pháp lại có
những đặc điểm và ứng dụng riêng biệt.

Phương pháp xử lý ảnh truyền thống thường dựa vào các kỹ thuật cổ điển như làm mịn, lọc
nhiễu và phát hiện cạnh. Những kỹ thuật này thường dựa trên các quy tắc và đặc điểm cụ thể
của hình ảnh, như độ tương phản hoặc hình dạng hình học. Mặc dù có thể áp dụng trong nhiều
trường hợp và có hiệu quả trong việc phân loại lỗi đơn giản, nhưng phương pháp này thường
gặp khó khăn khi đối mặt với các lỗi phức tạp và không thể mô tả bằng các quy tắc cụ thể. Sử
dụng các mô hình học sâu, đã mở ra những tiềm năng lớn trong việc giải quyết bài toán nhận
diện lỗi ngoại quan. Các mạng neural sâu có khả năng học từ dữ liệu và tự động tạo ra các
đặc trưng phù hợp cho việc phân loại, giúp giải quyết các vấn đề mà các phương pháp truyền
thống gặp khó khăn. Đặc biệt, khi có sự phát triển của các kiến trúc mạng như Convolutional
Neural Networks (CNNs), có thể tận dụng được cả thông tin không gian và cấu trúc của hình
ảnh để đạt được kết quả chính xác và hiệu quả cao.
Phương pháp học sâu, một nhánh của trí tuệ nhân tạo (AI), sử dụng các mạng nơ-ron sâu để
học cách nhận diện mẫu và đặc điểm từ dữ liệu lớn. Học sâu có thể nhận diện nhiều hình mẫu
phức tạp trong hình ảnh, văn bản, âm thanh và các dữ liệu khác để tạo ra thông tin chuyên sâu
và dự đoán chính xác. Các mạng nơ-ron sâu được xây dựng với nhiều lớp (deep layers) liên
kết với nhau, cho phép chúng học được các đặc trưng phức tạp và trừu tượng từ dữ liệu đầu
vào. Phương pháp xử lý ảnh truyền thống thường phù hợp với các tác vụ đơn giản và không
yêu cầu nhiều dữ liệu. Trái lại, phương pháp học sâu thường mạnh mẽ hơn trong việc xử lý
dữ liệu phức tạp và đòi hỏi khả năng tổng quát hóa từ lượng lớn dữ liệu huấn luyện. Học sâu
đã đem lại những bước tiến lớn trong nhiều lĩnh vực như nhận dạng hình ảnh và âm thanh, xử
lý ngôn ngữ tự nhiên, dự đoán dữ liệu và tự động lái xe. Sử dụng mô hình học sâu như YOLO
(You Only Look Once) mang lại khả năng nhận diện đối tượng với độ chính xác cao. Các mô
7
hình này có thể học được các đặc trưng phức tạp từ dữ liệu và tự động điều chỉnh các tham
số để cải thiện hiệu suất nhận diện.

Trong bài toán này, mô hình YOLOv8 đem lại sự tối ưu và hiệu quả trong việc nhận diện lỗi
ngoại quan. Được phát triển từ những phiên bản trước đó của YOLO, YOLOv8 không chỉ cải
thiện hiệu suất mà còn giữ được độ chính xác cao. Với khả năng xử lý nhanh chóng và khả
năng nhận diện chính xác các đối tượng nhỏ và khó phân biệt, YOLOv8 là sự lựa chọn lý
tưởng cho bài toán phức tạp như nhận diện lỗi ngoại quan trên linh kiện. Tuy nhiên, để áp
dụng mô hình YOLOv8 vào bài toán này cũng đòi hỏi sự tinh chỉnh kỹ lưỡng, bao gồm việc
chuẩn bị dữ liệu, huấn luyện mô hình, và điều chỉnh tham số phù hợp.

Tóm lại, bài toán nhận diện lỗi ngoại quan trên linh kiện là một thách thức phức tạp, và mô
hình YOLOv8 đại diện cho sự tối ưu và hiệu quả trong việc giải quyết bài toán này. Sự kết
hợp giữa YOLOv8 và các kỹ thuật tiên tiến khác đem lại một giải pháp toàn diện và đáng tin
cậy cho việc cải thiện chất lượng sản phẩm trong quá trình sản xuất.

Trong phạm vi nghiên cứu, đề tài tập trung để xuất và giải quyết các mục tiêu chính:
- Phát hiện lỗi ngoại quan
- Áp dụng vào bài toán phân loại
- Tự động hóa bài toán
- Ứng dụng vào môi trường công nghiệp

Hình 2. Thiết kế hệ thống thị giác tích hợp hệ thống tự động hóa kiểm tra lỗi ngoại quan

Các mục tiêu trên hướng đến mục tiêu cuối cùng là tạo ra một hệ thống có khả năng tự động
phát hiện và xử lý các lỗi ngoại quan trong sản xuất, giúp nâng cao hiệu suất, chất lượng và
đồng thời giảm thiểu chi phí và rủi ro trong quá trình sản xuất công nghiệp Hình 2.

8
2. Giải quyết vấn đề
2.1 Mô hình hệ thống

Hiện nay, quá trình kiểm tra lỗi ngoại quan linh kiện camera thực tế tại môi trường công
nghiệp vẫn đang được thực hiện một cách thủ công. Mỗi công nhân sẽ được trang bị một kính
hiển vi, sau đó người công nhân sẽ quan sát lỗi trên bề mặt camera thông qua kính hiển vi sau
đó đưa ra quyết định phân loại linh kiện là lỗi hay đạt yêu cầu. Quá trình này là quá trình quan
trọng nhưng tiêu tốn nhiều nguồn nhân lực, thời gian và công sức gây lãng phí tài nguyên.
Mô hình hệ thống nhận diện lỗi ngoại quan linh kiện là một hệ thống tự động được thiết kế
để phát hiện và nhận diện các lỗi ngoại quan trên linh kiện như bụi, xước, vết bẩn, hoặc các
khuyết điểm khác có thể ảnh hưởng đến chất lượng sản phẩm cuối cùng. Mô hình hệ thống
nhận diện lỗi ngoại quan linh kiện là một phần quan trọng trong quy trình kiểm soát chất
lượng sản phẩm điện tử. Hệ thống này sử dụng công nghệ hình ảnh và quang học tiên tiến để
tự động phát hiện các lỗi ngoại quan như bụi và xước làm ảnh hưởng đến chất lượng linh
kiện.

Hình 3. Mô hình thị giác máy đề xuất

Thông qua việc áp dụng các thuật toán xử lý hình ảnh và học máy, mô hình hệ thống Hình 3
có khả năng phân tích nhanh chóng và chính xác các bức ảnh linh kiện được chụp từ camera
công nghiệp. Dữ liệu ảnh đầu vào sẽ được đi qua bước tiền xử lý để lọc bỏ nhiễu cho quá
trình nhận diện lỗi, kết quả của quá trình nhận diện sẽ là căn cứ để phân loại linh kiện. Quá
trình này sẽ giúp giảm thiểu nguy cơ lỗi do con người và tăng cường độ tin cậy của quá trình
sản xuất. Ngoài ra, hệ thống còn có thể tích hợp với các cảm biến và thiết bị tự động khác để
tạo thành một giải pháp kiểm tra toàn diện, từ đó nâng cao hiệu quả sản xuất và đảm bảo chất
lượng sản phẩm cuối cùng đáp ứng các tiêu chuẩn nghiêm ngặt của ngành công nghiệp điện
tử.

9
2.2 Xử lý ảnh trích xuất vùng xước
2.2.1 Xác định vùng xử lý

Hình 4. Giới hạn vùng xử lý trên bề mặt lens của linh kiện

Như đã đề cập trong phần trước, vùng làm việc chính của linh kiện camera được biểu thị dưới
dạng một vòng tròn. Điều này có thể gây ra ảnh hưởng đến độ chính xác của kết quả, bởi vì
độ phức tạp của gradient theo cả hai hướng dọc và ngang đều xuất hiện trong vùng này. Do
đó, việc chuyển đổi hệ trục tọa độ của vùng làm việc có thể giảm thiểu sự ảnh hưởng của các
gradient không mong muốn đối với kết quả, cũng như cải thiện khả năng phát hiện lỗi của mô
hình. Trong mỗi ảnh của tập dữ liệu, vị trí của lens camera (vùng làm việc) Hình 4, không
đồng nhất. Do đó, trước khi chuyển đổi vùng làm việc thành dạng hình chữ nhật, việc xác
định chính xác vùng làm việc là cần thiết. Mặc dù vị trí của vùng làm việc trên mỗi ảnh là
không giống nhau, tuy nhiên, diện tích của vùng làm việc là như nhau. Để giải quyết vấn đề
này, chúng tôi đã sử dụng phép biến đổi Hough của đường tròn (còn được gọi là Hough Circle
Transform) để xác định vùng làm việc. Phép biến đổi như sau:
Một điểm (𝑥, 𝑦) nằm trên một đường tròn có tâm (𝑎, 𝑏) và bán kính 𝑟 khi thỏa mãn công thức:

(𝑥 − 𝑎)2 + (𝑦 − 𝑏)2 = 𝑟 2 (1)

Khi đã xác định được bán kính r của vùng làm việc, chúng ta có thể biến đổi hệ tọa độ không
gian Euclide (𝑥, 𝑦) thành các tham số (a, b, r) theo công thức được mô tả trước đó. Vị trí tâm
(𝑎, 𝑏) được xác định là tâm của đường tròn. Với vị trí tâm (𝑎, 𝑏) và bán kính r của đường tròn
được xác định thông qua biến đổi Hough, ta có thể thực hiện biến đổi hình dạng từ hình tròn
sang hình chữ nhật để phục vụ các bước nhận diện lỗi ngoại quan. Công thức chuyển đổi giữa
hệ tọa độ Cartesian và hệ tọa độ cực được định nghĩa như sau.
𝑥 = 𝑎 + 𝑟𝑐𝑜𝑠𝜃 (2)
𝑦 = 𝑏 + 𝑟𝑠𝑖𝑛𝜃
Trong đó: (𝑥, 𝑦) là vị trí của vùng tròn xem xét và nằm trong khoảng (0° − 360°).

10
 Hình 5. Mô tả quá trình chuyển đổi hệ tọa độ Cartesian sang hệ tọa độ cực

Hình 5 mô tả quá trình biến đổi hệ trục tọa độ: sau khi thực hiện biến đổi hệ tọa độ, chúng ta
thu được kết quả về hình dạng của vùng làm việc đã được chuyển đổi từ hình tròn sang hình
chữ nhật với kích thước 𝑟 × 𝜃.

Hình 6. Vùng làm việc sau khi biến đổi hệ trục tọa độ

Sau khi thăm dò tập dữ liệu, chúng tôi đã nhận thấy rằng lỗi ngoại quan thường xuất hiện ở
hai khu vực chính: vùng biên và vùng tâm (Hình 6). Sau khi thực hiện việc chuyển đổi hệ tọa
độ cho vùng làm việc, chúng tôi đã thu được kết quả rằng lỗi thường chỉ xuất hiện ở một phần
nhỏ của ảnh. Việc phải xử lý toàn bộ ảnh trong trường hợp này có thể được coi là lãng phí tài
nguyên. Do đó, chúng tôi đề xuất phân chia ảnh thành hai vùng để xử lý từng phần một và
tìm ra các ứng viên lỗi. Dựa trên diện tích của vùng biên và vùng trung tâm trong ảnh gốc,
chúng tôi đề xuất phân chia vùng làm việc thành hai khu vực: khu vực biên chiếm 15% diện
tích của ảnh và 85% còn lại là khu vực trung tâm Hình 7.

Hình 7. Phân chia khu vực xử lý

a) Ảnh gốc b) Vùng trung tâm c) Vùng biên
11
 2.2.2 Phát hiện ứng viên lỗi trên vùng biên

Vì quá trình nhận diện ứng viên lỗi trên vùng biên và vùng trung tâm là tương tự nhau, cho
nên chúng tôi chỉ trình bày quá trình phát hiện lỗi trên từng khu vực nếu phát hiện lỗi có thể
kết luận luôn mà không phải kiểm tra trên toàn bộ vùng làm việc. Điều này sẽ giúp giảm thời
gian xử lý và tăng hiệu suất phân loại. Trong bước này, để loại bỏ nhiễu, áp dụng bộ lọc
Gaussian với kích thước 5 × 5. Tiếp đến sử dụng bộ lọc Sobel. Vì việc thực hiện bước biến
đổi hệ tọa độ đã làm thay đổi cấu trúc tròn của vùng kiểm tra thành cấu trúc theo chiều ngang,
để loại bỏ hiệu ứng của cấu trúc theo chiều ngang, chúng tôi áp dụng bộ lọc Sobel có trọng
số Wx và Wy cho các thành phần theo chiều dọc và chiều ngang của gradient:

WG (x, y) = (3)

a) Bộ lọc Sobel thông thường (Wx = Wy = 1) b) Tăng cường lọc hướng ngang (Wx = 0.1, Wy = 0.9)

c) Tăng cường lọc hướng dọc (Wx = 0.9, Wy = 0.1)

Hình 8. Kết quả phương pháp lọc Sobel có trọng số

Hình 8 thể hiện quá trình thực hiện lọc cạnh với bộ lọc Sobel, sau khi thực hiện việc lọc với
Sobel, vẫn còn tồn tại nhiều điểm ảnh với giá trị gradient rất nhỏ không thể quan sát bằng mắt
thường hoặc rất khó để quan sát. Để loại bỏ các điểm ảnh có giá trị gradient nhỏ, chúng tôi
đã áp dụng phương pháp lọc ngưỡng với ngưỡng toàn cục T như Hình 9 được chọn thủ công.
Tiếp theo Sử dụng các phép biến đổi hình thái như opening và closing ở Hình 10 để loại bỏ
những phần cạnh nhỏ và hẹp trên hình.

12
 Hình 9. Kết quả sau khi thực hiện lọc ngưỡng

Hình 10. Kết quả sau khi thực hiện phép biến đổi Opening và Closing

Giai đoạn hiện tại của quá trình xử lý dữ liệu vẫn phụ thuộc nhiều vào sự can thiệp thủ công
để lựa chọn thông số cho việc lọc ngưỡng và biến đổi. Do đó, chỉ có thể phát hiện một số đặc
trưng nhiễu cụ thể và không phù hợp cho toàn bộ dữ liệu. Các hạt bụi và xước nhỏ thường bị
coi là nhiễu và được loại bỏ trong quá trình này. Tuy nhiên, việc loại bỏ hoàn toàn nhiễu
không chỉ không hiệu quả mà còn làm biến mất các đối tượng lỗi nguyên nhân là do ánh sáng
không đồng đều và các phương pháp chưa được tối ưu.
2.3 Mô hình học sâu định lượng bụi, xước

Để xây dựng một mô hình học sâu với hiệu suất cao, hai bước quan trọng là chuẩn bị dữ liệu
và thiết lập kiến trúc mạng nơ ron thần kinh. Sau một thời gian nghiên cứu, chúng tôi nhận ra
các tính năng nổi trội của mô hình mạng YOLO. YOLO (You Only Look Once) là một mô
hình phát hiện đối tượng nổi tiếng với ưu điểm về tốc độ và độ chính xác. Được giới thiệu lần
đầu bởi Joseph Redmon và Santosh Divvala vào năm 2016, YOLO đã trải qua nhiều phiên
bản phát triển như YOLOv2, YOLOv3, YOLOv4 và YOLOv5, YOLOv6, YOLOv7 và mới
nhất là phiên bản YOLOv8 được ra mắt vào tháng 1 năm 2023, mỗi phiên bản đều mang lại
những cải tiến về hiệu suất và độ chính xác. Đặc biệt đối với phiên bản YOLOv8 đã có cải
tiến đáng chú ý, cụ thể là CSPDarknet, một kiến trúc mạng thần kinh mới được phát triển bởi
đội ngũ Ultralytics. Kiến trúc này được thiết kế để nâng cao độ chính xác và hiệu quả của việc
phát hiện đối tượng và Mạng kim tự tháp tính năng (FPN) là một kiến trúc mạng thần kinh
được sử dụng để tích hợp thông tin từ các cấp độ khác nhau của mạng. Điều này giúp cải thiện
độ chính xác phát hiện đối tượng trong các trường hợp khó khăn, chẳng hạn như khi các đối
tượng bị che khuất hoặc khi có nhiều đối tượng tương tự trong một hình ảnh. Điều này giúp
giải quyết thách thức phát hiện các vết bụi và xước bị chồng chéo lên nhau.

13
 Hình 11. Mô hình mạng YOLOv8 sử dụng
Bụi và xước là những lỗi ngoại quan xuất hiện phổ biến nhất trên camera, chúng có kích thước rất
nhỏ và hầu hết chúng đều không có bất kì một đặc trưng cụ thể nào để dễ nhận biết như hình dáng,
kích thước hay màu sắc...Mặc dù YOLOv8 có cung cấp nhiều bài toán để giải quyết vấn đề như: phân
loại(Classification), nhận diện(Object Detection), phân đoạn hình ảnh (Segmentation)... Nhưng việc
xây dựng bài toán phân loại với mô hình YOLO là vô cùng phức tạp và khó khăn bởi vì yêu cầu với
bài toán phân loại cần lượng dữ liệu phải đủ lớn và phải đủ đa dạng về các đặc trưng của lỗi tuy nhiên
tập dữ liệu ảnh mà nhóm đang có lại vô cùng hạn chế. Vậy nên nhóm chúng tôi đề xuất bài toán nhận
diện đối tượng với YOLO bởi vì với bài toán nhận diện mô hình học sâu sẽ cung cấp các hộp gán
nhãn của vật thể cho mô hình nên hiệu suất của bài toán nhận diện cao hơn.

Chúng tôi đã tiến hành thử nghiệm nhận diện lỗi bụi và xước với 3 phiên bản khác nhau của mô hình
YOLOv8 là: YOLOv8n, YOLOv8s và YOLOv8m với tập dữ liệu 1600 ảnh lỗi ngoại quan linh kiện
camera. Trong đó, 1200 ảnh dùng để huấn luyện, 300 ảnh dùng để đánh giá mô hình sau khi đã huấn
luyện, 100 ảnh để kiểm tra khả năng nhận diện của mô hình. Với gần 4000 instance bụi và gần 1000
instance xước được đào tạo thì mục tiêu sau khi đào tạo mô hình học sâu là mô hình có khả năng
phân loại hai lớp đối tượng: bụi và xước trong Hình 12.

a) Mô tả lớp đối tượng nhận diện b) Biểu đồ số lượng instance mỗi lớp
Hình 12. Mô tả dữ liệu đào tạo

14
 Hình 13. Đánh giá các thông số hiệu suất các phiên bản YOLOv8

Từ Hình 13, chúng ta có thể nhận thấy rằng khi độ tin cậy giảm, Recall tăng và đồng thời
Precision giảm. Precision, Recall và mAP ở ngưỡng IOU 0.5 và 0.5-0.95 cũng cho thấy không
có sự khác biệt đáng kể giữa ba mô hình. Đáng chú ý, mặc dù YOLOv8n có kích thước nhỏ
nhất, nhưng lại ghi nhận các giá trị về Precision và Recall cao nhất trong cả ba phiên bản. Tuy
nhiên, như đã đề cập ở mục 1.2, việc phát hiện các đặc trưng bụi là rất khó khăn dẫn đến hiện
tượng bị bỏ sót trong quá trình huấn luyện và đánh giá. Điều này cũng là lý do khiến giá trị
mAP ở các ngưỡng tương đối thấp. Tuy nhiên, các thông số của lớp Xước lại tương đối khả
quan: độ chính xác trung bình (AP) đạt 0.713 và 0.5 mAP ở ngưỡng IOU 0.5 và vẫn đang có
xu hướng tăng. Có thể thấy rằng, phiên bản YOLOv8n có khả năng phát hiện lớp xước khá
tốt, tuy nhiên, đối với lớp bụi độ ổn định và tính chính xác cần được cải thiện bằng việc thay
đổi các tham số và tăng cường dữ liệu huấn luyện.
Từ việc đào tạo và đánh giá 3 phiên bản khác nhau của mô hình YOLOv8, chúng tôi nhận
thấy tiềm năng phát triển của phiên bản YOLOv8n trong bối cảnh yêu cầu về độ chính xác
cao cùng với tốc độ xử lý nhanh trong môi trường công nghiệp, chúng tôi quyết định sử dụng
mô hình YOLOv8n để giải quyết bài toán phát hiện lỗi ngoại quan linh kiện camera.
2.4 Mô hình phân loại tình trạng ngoại quan linh kiện

Từ các kết quả đã trình bày ở mục 2.2 và 2.3, rõ ràng thấy rằng mô hình học sâu YOLO, mặc
dù phức tạp hơn rất nhiều, nhưng mang lại hiệu suất đáng kinh ngạc so với phương pháp xử
lý ảnh truyền thống. Phương pháp xử lý ảnh truyền thống có tốc độ xử lý trung bình một ảnh
là 900ms, nhưng hiệu suất phát hiện không cao, có thể phát hiện xước nhưng lại không thể
phát hiện được bụi. Tiếp đó, nhóm chúng tôi đã đào tạo và kiểm thử mô hình học sâu với kết
quả là tốc độ xử lý trung bình một ảnh chỉ là 220ms, nhanh hơn rất nhiều so với phương pháp
truyền thống, đồng thời có độ chính xác cao hơn và tỷ lệ bỏ sót thấp hơn. Tuy nhiên, mô hình
nhận diện vật thể chỉ có thể trả về diện tích của hộp nhận diện mà không thể đem lại kích
15
thước chính xác của vết xước vậy nên nhóm đề xuất kết hợp cả 2 phương pháp là xử lý ảnh
và học sâu để tối ưu hóa hiệu suất mô hình. Nhóm đã xây dựng và thiết kế mô hình xử lý Hình
14.

Hình 14. Sơ đồ khối mô hình xử lý (Xử lý ảnh, Học sâu) (A là số lượng bụi, B là số lượng xước, C là
vị trí bụi, D là vị trí xước, E là kích thước lớn nhất của xước)

Trong Hình 14, sau khi chương trình được khởi động và dữ liệu hình ảnh từ camera đã được
đi qua bước tiền xử lý, dữ liệu sẽ được đi qua các thuật toán xử lý ảnh và mô hình YOLO để
trích xuất các đặc trưng của ảnh: A là số lượng bụi, B là số lượng vết xước, C là khoảng cách
từ trung tâm vùng làm việc đến vị trí của bụi, D là khoảng cách từ trung tâm vùng làm việc
đến vị trí của vết xước, E là kích thước lớn nhất của vết xước.

Dựa vào các kết quả thu được từ mô hình học sâu ở mục 2.3, các thông số về số lượng, vị trí
và kích thước các hạt bụi đều được đem ra đánh giá phân loại. Một linh kiện camera sẽ được
xem là lỗi (NG) khi thỏa mãn các điều kiện liên quan đến các đặc trưng về lỗi bụi và lỗi xước
của linh kiện. Nếu một trong những thông số về: số lượng bụi, số lượng vết xước, vị trí bụi,
vị trí xước, kích thước lớn nhất của vết xước mà lớn hơn các ngưỡng tương ứng thì linh kiện
sẽ được phân loại là lỗi (NG) (ngưỡng là các giá trị được cài đặt trước được dùng để phân
loại sản phẩm, ngưỡng có thể thay đổi được tùy theo giá trị người vận hành nhập vào). Ngoài
ra, trường hợp các thông số trên không có giá trị nào lớn hơn giá trị ngưỡng nhưng các giá trị
đều tiệm cận giá trị ngưỡng thì linh kiện cũng sẽ được coi là lỗi. Để giải quyết trường hợp
này nhóm đề xuất sử dụng một mô hình học máy dựa vào các đặc trưng đã trích xuất được để
phục vụ quá trình phân loại. Sau khi nghiên cứu một vài mô hình học máy, nhóm nghiên cứu
nhận thấy rằng đầu ra của mô hình Logistic Regression bị giới hạn trong đoạn [0, 1] rất phù
hợp với bài toán này, đồng thời đây cũng là mô hình cũng được sử dụng rất nhiều trong các
bài toán phân loại.

16
Nếu bất kỳ thông số nào vượt quá ngưỡng được thiết lập, có thể kết luận rằng linh kiện là lỗi.
Giá trị ngưỡng cần phải được cài đặt chính xác để có thể phân loại được đúng linh kiện lỗi và
linh kiện không lỗi. Tuy nhiên, hiện nay, trong môi trường công nghiệp, vẫn chưa có bất kỳ
bộ giá trị ngưỡng cố định nào. Quá trình đưa ra quyết định phân loại vẫn phụ thuộc vào kinh
nghiệm của người công nhân nhà máy, do đó kết quả phân loại hiện nay vẫn mang tính chủ
quan và tương đối. Trong phạm vi nghiên cứu này, nhóm nghiên cứu đề xuất một bộ giá trị
ngưỡng dựa trên quá trình đánh giá tập dữ liệu hình ảnh, cũng như đã tham khảo và xin ý kiến
đánh giá từ công nhân nhà máy. Đồng thời, nhóm cũng đã nhận được phản hồi tích cực của
những công nhân giàu kinh nghiệm về bộ giá trị ngưỡng mà nhóm đề xuất: A ngưỡng = 5, B
ngưỡng = 1, E ngưỡng = 3222 pixel. Đối với các tham số về vị trí rất khó để đánh giá xét
ngưỡng, nhóm đề xuất đặt ngưỡng vị trí theo khu vực. Với đối tượng bụi, có kích thước nhỏ
cho nên khi nó nằm ở vị trí càng xa trung tâm thì càng ít gây ảnh hưởng đến kết quả vậy nên
ngưỡng vị trí bụi nhóm đề xuất là vùng trung tâm, còn đối với vết xước kích thước lớn hơn
sẽ gây ảnh hưởng lớn hơn đến kết quả phân loại vậy nên đề xuất ngưỡng vị trí xước sẽ là toàn
bộ vùng làm việc. (vùng biên và vùng vùng làm việc đã được đề cập ở Hình 7).

Thuật toán Logistic Regression thường được sử dụng để phân loại tập dữ liệu rời rạc hoặc nhị
phân trong lĩnh vực thống kê và máy học. Hồi quy Logistic hoạt động dựa trên nguyên tắc
của hàm sigmoid – một hàm phi tuyến biến đổi đầu vào thành xác suất thuộc về một trong hai
lớp nhị phân được thể hiện trong công thức (4). Ví dụ, trong thực tế, chúng ta thường sử dụng
mô hình Logistic Regression để dự đoán liệu một bệnh nhân có mắc bệnh ung thư hay không
dựa trên các đặc trưng và triệu chứng y tế của họ.
1
𝑠𝑖𝑔𝑚𝑜𝑖𝑑 = (4)
1 + 𝑒 −𝑥
Logistic Regression là một mô hình học máy có giám sát, được sử dụng rộng rãi trong phân
loại dữ liệu nhị phân. Công thức của mô hình này có dạng như sau:

1
𝑝(𝑥) = 𝑥−𝑢 (5)
− 𝑠
𝑒
1
Trong đó: 𝜇 là tham số vị trí điểm giữa của đường cong, nơi mà 𝑝(𝑢) = và 𝑠 là tham số tỷ
2
lệ.
Để tối ưu hiệu suất của mô hình, cần cung cấp cho nó tập hợp đầy đủ các đặc trưng để có thể
điều chỉnh các tham số một cách tối ưu. Trong trường hợp này, nhóm đề xuất mô hình phân
lọai Hình 15 sử dụng các đặc trưng như số lượng bụi, số lượng xước, vị trí của bụi, vị trí của
xước, và diện tích lớn nhất của xước, được trích xuất từ mô hình YOLO và xử lý ảnh. Tuy
nhiên, có sự khác biệt nhất định trong cách xử lý đặc trưng về vị trí lỗi. Thay vì áp dụng
ngưỡng theo vùng như đã đề cập ở trên, mô hình này sử dụng trực tiếp giá trị khoảng cách từ
lỗi đến trung tâm vị trí làm việc. Điều này giúp tăng tính chính xác và đồng nhất trong việc
xác định vị trí lỗi. Bên cạnh đó, mô hình cũng tích hợp kết quả phát hiện cạnh (diện tích vết
xước lớn nhất) từ phương pháp xử lý ảnh. Điều này là do mô hình YOLO trả về kích thước
hộp dự đoán của lỗi, trong khi lỗi không có hình dạng cố định. Sự kết hợp này giúp giảm thiểu
sai số và làm cho việc đánh giá các tham số của mô hình phân loại trở nên dễ dàng hơn.
17
 Hình 15. Đề xuất mô hình phân loại linh kiện

3. Kết quả thử nghiệm và đánh giá

3.1 Kết quả thực nghiệm phương pháp xử lý ảnh

Thông qua các bước tiền xử lý ảnh, kết quả nhận được là một ảnh đen trắng mà các điểm ảnh
trắng đại diện cho vị trí của các vết xước sau khi lọc và xử lý Hình 16 a. Tuy nhiên, phương
pháp xử lý ảnh đơn giản chỉ có thể làm nổi bật một số vết xước dựa trên các đặc trưng nổi
bật. Với những đặc trưng bụi, phương pháp này có thể coi nó là nhiễu và tiến hành khử nhiễu.
Ngoài ra, việc chuyển đổi hệ trục tọa độ mặc dù đã làm giảm thời gian sản xuất, tăng năng
suất xử lý. Tuy nhiên, quá trình này cũng làm thay đổi vị trí lỗi, điều này sẽ làm ảnh hưởng
đến quá trình đánh giá đưa ra kết quả nhận diện.
Sau khi ảnh được lọc qua bộ lọc Sobel có trọng số sẽ được đưa vào thuật toán Canny để phát
hiện đường viền của các vết xước. Thông qua quá trình này, có thể xác định vị trí và kích
thước của các vết xước trên ảnh. Kết quả của bước phát hiện đường viền được thể hiện ở hình
16 b.

Hình 16. Kết quả nhận diện vết xước bằng xử lý ảnh
a) Mặt nạ vết xước b) Phát hiện đường viền của vết xước

18
3.2 Kết quả thực nghiệm mô hình YOLOv8n

Sau khi đã chọn được mô hình phù hợp với bài toán mà nhóm đặt ra, nhóm chúng tôi đã tiến
hành thẩm định và đánh giá mô hình trên tập dữ liệu đánh giá gồm 300 dữ liệu hình ảnh đã
được gán nhãn.

a) Biểu đồ Precision-Recall b) Confusion Matrix

Hình 17. Kết quả đánh giá mô hình

Kết quả của quá trình thẩm định mô hình đem lại sự lạc quan khi độ chính xác trung bình
(AP) của lớp bụi và xước đều tăng lên, đạt 0.890 cho lớp xước và 0.521 cho lớp bụi. Đồng
thời, độ chính xác (mAP) ở ngưỡng IOU 0.5 cũng đã được cải thiện một cách đáng kể, đạt
0.706 so với 0.485 ở mô hình trước khi được thẩm định. Kết quả này cho thấy mức độ khả
quan của mô hình và khả năng phát triển của mô hình trong tương lai. Ma trận nhầm lẫn
(Confusion Matrix) là một công cụ quan trọng để đánh giá hiệu suất của một mô hình, liên
quan đến việc đánh giá và so sánh các nhãn dự đoán với nhãn thực tế. Khi các dự đoán khớp
với kết quả thực tế, chúng được coi là True Positive. Ma trận nhầm lẫn thể hiện độ tin cậy khi
dự đoán đúng một đối tượng.
Đối với lớp xước, các đặc trưng rõ ràng làm cho việc nhận diện dễ dàng hơn, dẫn đến tỷ lệ
nhận diện đúng của vết xước lên đến khoảng 88%. Tuy nhiên, đối với lớp bụi có kích thước
nhỏ, không có đặc trưng rõ ràng và phân bố không đồng đều, gây thách thức cho quá trình
nhận diện, đây chính là nguyên nhân khiến cho tỷ lệ nhận diện đúng (TP) khá thấp chỉ đạt
61%. Các đặc trưng của bụi và xước gần như giống nhau, do đó, ít trường hợp mô hình dự
đoán bụi là xước (2%), được gọi là False Positive. Chủ yếu, các vật thể thuộc lớp bụi thường
bị bỏ sót, tỷ lệ bỏ sót đạt 37% (False Negative). Điều này là một vấn đề đáng lo ngại và là ưu
tiên hàng đầu trong việc cải thiện hiệu suất trong phiên bản tiếp theo của nhóm chúng tôi.
Để kiểm tra khả năng hoạt động và hiệu suất thực tế của mô hình, nhóm chúng tôi tiến hành
chạy mô hình trên máy tính cá nhân với hai dữ liệu đầu vào khác nhau. Đầu tiên là dữ liệu
hình ảnh đã được chụp sẵn và lấy từ tập kiểm tra của tập dữ liệu. Thứ hai là hình ảnh được
lấy trực tiếp từ camera có độ phóng đại lớn (Microscope). Quá trình bắt đầu bằng việc lấy
19
một mẫu ngẫu nhiên từ tập kiểm tra của dữ liệu đã được gán nhãn. Dữ liệu này sau đó được
đưa vào mô hình để dự đoán, từ đó cho phép chúng tôi đánh giá tỷ lệ chính xác của dự đoán
của mô hình.

Hình 18. Dữ liệu gán nhãn

Dữ liệu gán nhãn mà chúng tôi sử dụng là một dữ liệu ảnh được lấy ngẫu nhiên từ tập kiểm
tra (test) của dataset. Đây là tập dữ liệu mà chúng tôi đã vẽ bounding box và gán nhãn tương
ứng cho mỗi đối tượng trong ảnh. Với dữ liệu trong Hình 18, chứa thông tin chi tiết về 3 vết
xước và 4 vết bụi trên linh kiện camera.

Hình 19. Kết quả nhận diện bằng mô hình YOLOv8n (71.43%, 97.6ms)

Kết quả nhận diện của mô hình YOLOv8n được thể hiện trên Hình 19, kết quả cho thấy mô
hình YOLOv8n không chỉ nhận diện được 3/4 vết bụi mà còn nhận diện được 2/3 vết xước
với độ chính xác 71.43%. Điều đáng chú ý là tốc độ nhận diện của mô hình vô cùng nhanh
chỉ 97.6ms. Kết quả này thể hiện rằng YOLOv8n không chỉ mang lại hiệu suất nhận diện tốt
mà còn giảm đáng kể thời gian xử lý, phù hợp cho các ứng dụng thời gian thực trong môi
trường công nghiệp. Tiếp theo, chúng tôi sẽ sử dụng dữ liệu hình ảnh được lấy trực tiếp từ
20
camera hiển vi với đối tượng là hình ảnh camera thật để làm dữ liệu đầu vào cho mô hình
nhận diện.

a) Dữ liệu ảnh từ camera hiển vi b) Kết quả nhận diện

Hình 20. Kết quả thực nghiệm

Hình a đại diện cho dữ liệu trực tiếp từ camera kính hiển vi, trong khi đó Hình 20b là kết quả
nhận diện từ mô hình được áp dụng trên dữ liệu ảnh trực tiếp. Trong hình này (Hình 20a), có
thể nhận thấy lỗi chính là những vết xước có kích thước lớn ở vị trí trung tâm. Tuy nhiên, do
cấu tạo nhiều lớp thấu kính trong quá trình chiếu ánh sáng có thể gây phản chiếu và khúc xạ,
làm cho những đặc trưng lỗi này không được hiển thị rõ ràng. Tuy nhiên, mô hình YOLOv8n
đã chứng tỏ sức mạnh của mình bằng việc phát hiện thành công 2 vết xước với độ tự tin lên
đến 90%. Đối với các vết bụi, mô hình cũng có đã nhận diện được, mặc dù độ tin cậy vẫn
chưa cao.
Điều này cho thấy tiềm năng vô cùng lớn của mô hình này trong việc giải quyết bài toán kiểm
tra lỗi ngoại quan linh kiện trong công nghiệp. Cho dù môi trường làm việc có khắc nghiệt về
điều kiện ánh sáng, nhiệt độ… cũng sẽ ít làm ảnh hưởng đến hiệu suất nhận diện của mô hình.

3.3 Hiệu suất phân loại linh kiện

Để đánh giá chính xác tiềm năng của mô hình Logistic Regression, nhóm đã tiến hành đào
tạo mô hình trên một tập dữ liệu gồm 400 mẫu ảnh. Trong đó, có 200 ảnh được gán nhãn là
OK và 200 ảnh được gán nhãn là NG. Sau quá trình đào tạo, mô hình đã được đánh giá trên
tập dữ liệu kiểm tra. Tập dữ liệu kiểm tra bao gồm: 91 ảnh được gán nhãn là OK và 142 ảnh
được gán nhãn là NG. Kết quả cho thấy khả năng phân loại của mô hình Logistic Regression
là khá tốt với khả năng phân loại đúng 88.88% với ảnh OK và 92.96% với ảnh NG.

21
 Hình 21. Confusion Matrix của mô hình phân loại

𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 (Độ chính xác) được tính bằng tỉ lệ giữa số lượng các trường hợp True Positive
(𝑇𝑃) và tổng số lượng các trường hợp được dự đoán là Positive (𝑇𝑃 + 𝐹𝑃):
𝑇𝑃
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = = 0.888 (6)
𝑇𝑃 + 𝐹𝑃
Recall (độ phủ sóng) được tính bằng tỉ lệ giữa số lượng các trường hợp True Positive (TP) và
tổng số lượng các trường hợp thực sự là Positive (TP + FN):
𝑇𝑃
𝑅𝑒𝑐𝑎𝑙 = = 0.879 (7)
𝑇𝑃 + 𝐹𝑁
𝑇𝑃 là số lượng các trường hợp được dự đoán đúng là Positive, 𝐹𝑃 là số lượng các trường hợp
được dự đoán là Positive nhưng thực sự là Negative, 𝐹𝑁 là số lượng các trường hợp được dự
đoán là Negative nhưng thực sự là Positive.
Thông qua quá trình tính toán các giá trị về Precision và Recall theo các công thức (6) và (7),
chúng ta nhận thấy rằng mô hình đạt được mức độ chính xác khá cao. Với giá trị Precision là
0.88 và giá trị Recall là 0.879, mô hình đã cho thấy khả năng phân loại chính xác cao, với khả
năng đánh giá và nhận diện đúng của cả hai lớp OK và NG. Điều này cho thấy mô hình có
khả năng đáng tin cậy trong việc phân loại và dự đoán trên tập dữ liệu kiểm tra. Mặc dù đây
chưa phải là những thống số để một mô hình có thể hoạt động tốt được trong môi trường công
nghiệp nhưng tuy nhiên nó đã cho thấy tính khả quan và khả năng phát triển của mô hình
trong tương lai.

4. Kết luận
Trong phạm vi của dự án này, nhóm chúng tôi đã đề xuất hai phương pháp để phát hiện lỗi
ngoại quan của linh kiện camera: xử lý ảnh và sử dụng học sâu (Deep Learning). Sau khi so
sánh và đánh giá kết quả của cả hai phương pháp, chúng tôi đã quyết định tích hợp cả hai mô
hình để thực hiện kiểm tra lỗi ngoại quan của linh kiện camera. Kết quả thu được từ phương
22
pháp đề xuất cho thấy sự đảm bảo về độ chính xác và độ tin cậy trong mỗi lần nhận diện. Mặc
dù môi trường hoạt động có thể thay đổi, nhưng mô hình vẫn tỏ ra mạnh mẽ và ổn định. Điều
này là kết quả của sự linh hoạt và khả năng tự điều chỉnh của mô hình cho phép nó thích nghi
với các biến động trong môi trường làm việc.

Quan trọng hơn, hiệu suất của mô hình trong môi trường công nghiệp được chứng minh là
đáng kể. Mô hình kiểm tra không chỉ là một công cụ phân loại linh hoạt, mà còn là một
phương tiện mạnh mẽ để đảm bảo an toàn và chất lượng trong quy trình sản xuất. Việc sử
dụng mô hình học sâu YOLOv8n kết hợp với phương pháp xử lý ảnh không chỉ giúp cải thiện
hiệu suất của quy trình kiểm tra linh kiện mà còn mang lại sự tiện lợi và tính linh hoạt cao
hơn trong việc triển khai và duy trì. Trong tương lai, nhóm sẽ tiến hành phát triển một hệ
thống hoàn thiện, bao gồm cả phần cứng và phần mềm, nhằm nâng cao hiệu quả của phương
pháp được đề xuất. Mục tiêu của chúng tôi là có được một hệ thống mạnh mẽ và ổn định, giúp
chúng tôi có thể hiệu chỉnh và tối ưu hóa phương pháp kiểm tra lỗi ngoại quan linh kiện.

Hơn nữa, mục tiêu của chúng tôi không chỉ dừng lại ở việc tối ưu hóa phương pháp, mà còn
là chứng minh tính khả thi của nó trong môi trường công nghiệp thực tế. Hệ thống kiểm tra
lỗi ngoại quan linh kiện camera sẽ được xem như là một giải pháp công nghệ tiên tiến, hứa
hẹn mang lại sự gia tăng năng suất lao động và giảm thiểu thời gian kiểm tra. Điều này sẽ
đóng vai trò quan trọng trong việc tăng cường hiệu suất và chất lượng của quy trình sản xuất
trong ngành công nghiệp.

Ưu tiên hàng đầu trong nghiên cứu và phát triển của nhóm là cải thiện hiệu suất phần mềm,
đặc biệt là khả năng nhận diện các hạt bụi. Tăng sự tự tin trong mỗi dự đoán đồng thời nâng
cao độ chính xác của dự đoán. Để làm điều này, nhóm chúng tôi sẽ tăng cường lượng dữ liệu
huấn luyện, đa dạng hóa dữ liệu bằng cách chụp từ nhiều góc độ khác nhau và trong môi
trường ánh sáng khác nhau. Đồng thời, nhóm cũng cần chú ý đặc biệt đến quá trình gán nhãn
dữ liệu, đảm bảo việc gán nhãn chính xác mà không bỏ sót bất kỳ dữ liệu nào, đảm bảo tính
chính xác của tập dữ liệu. Quá trình này cũng là một phần quan trọng giúp tăng hiệu năng
phân loại.
Ngoài ra, chúng tôi cũng đang tiến hành nghiên cứu, phát triển và thiết kế mô hình phần cứng
cho hệ thống. Việc xây dựng một hệ thống phần cứng đáng tin cậy không chỉ làm cho quá
trình kiểm tra được ổn định mà còn giúp điều chỉnh mô hình một cách chính xác. Tính đến
thời điểm hiện tại, chúng tôi đã tính toán và hoàn thiện bản thiết kế. Hệ thống này bao gồm
một bộ điều khiển trung tâm là PLC S7 1200 và một máy tính nhúng để thực hiện các quy
trình xử lý ảnh và điều khiển camera. Quan trọng nhất, hệ thống này được trang bị 3 khay
chứa linh kiện kiểm tra, mỗi khay có thể chứa lên đến 80 linh kiện của camera. Với cấu trúc
này, hệ thống có thể đáp ứng được quá trình kiểm tra đồng thời cho tối đa 240 linh kiện trong
một lần vận hành.

23
 Hình 22. Bản thiết kế mô phỏng hệ thống

Mục tiêu cuối cùng mà nhóm của chúng tôi hướng tới là phát triển một hệ thống toàn diện,
kết hợp cả phần mềm và phần cứng, nhằm giải quyết một trong những thách thức quan trọng
nhất trong ngành công nghiệp - đó là kiểm tra lỗi ngoại quan trên linh kiện camera. Với sứ
mệnh này, chúng tôi đặt ra một tầm nhìn rộng lớn, nhằm nâng cao hiệu suất và chất lượng sản
xuất trong ngành công nghiệp này.
Trong môi trường công nghiệp hiện đại, việc kiểm tra lỗi ngoại quan trên linh kiện camera
đòi hỏi sự chính xác và đáng tin cậy. Các lỗi ngoại quan như vết xước, bụi bẩn hoặc các
khuyết điểm khác có thể ảnh hưởng đến hiệu suất và chất lượng của sản phẩm cuối cùng. Do
đó, việc tự động hóa quy trình kiểm tra trở thành một yếu tố then chốt để tối ưu hóa quá trình
sản xuất và đảm bảo chất lượng sản phẩm.
Với những nỗ lực và cam kết của chúng tôi, chúng tôi hy vọng rằng hệ thống mà chúng tôi
phát triển sẽ đóng góp vào việc nâng cao hiệu suất và chất lượng sản xuất trong ngành công
nghiệp, từ đó thúc đẩy sự phát triển bền vững và tiến bộ của xã hội và nền kinh tế.

5. Tài liệu tham khảo

[1] Hafiz Mughees Ahmad, Afshin Rahimi, “Deep learning methods for object detection in
smart manufacturing: A survey”.
https://www.sciencedirect.com/science/article/abs/pii/S0278612522001066#preview-
section-abstract
[2] Qianwen Chao, Huikun Bi, Weizi Li, Tianlu Mao, Zhaoqi Wang, Ming C. Lin, Zhigang
Deng, “A Survey on Visual Traffic Simulation: Models, Evaluations, and Applications in
Autonomous Driving”
https://doi.org/10.1111/cgf.13803
24
[3] Yanyun Chen, Lin Xia, Tien-Tsin Wong, Xin Tong, Hujun Bao, Baining Guo, Heung-
Yeung Shum, “Visual simulation of weathering by γ-ton tracing”
https://doi.org/10.1145/1186822.1073321
[4] John V. Molenar, William C. Malm, Christopher E. Johnson, “Visual air quality
simulation techniques”
https://doi.org/10.1016/1352-2310(94)90265-8
[5] Peng, Y.; Liu, G.; Quan, Y.; Zeng, Q. The depth measurement of internal defect based on
laser speckle shearing interference. Opt. Laser Technol. 2017, 92, 69–73.
[6] Xiao, X.; Yu, L.; Dong, Z.; Mbelek, R.; Xu, K.; Lei, C.; Zhong, W.; Lu, F.; Xing, M.
Adipose stem cell-laden injectable thermosensitive hydrogel reconstructing depressed defects
in rats: Filler an scaffold. J. Mater. Chem. B 2015, 27, 5635–5644.
[7] Hui, K.; Jian, Y.; Chen, Z. Accurate and Efficient Inspection of Speckle and Scratch
Defects on Surfaces of Planar Products. IEEE Trans. Ind. Inform. 2017, 4, 1855–1865.
[8] Chen, J.; Li, C. Prediction and Control of Thermal Scratch Defect on Surface of Strip in
Tandem Cold Rolling. J. Iron Steel Res. Int. 2015, 22, 106–114.
[9] Rodionova, I.G.; Zaitsev, A.I.; Baklanova, O.N.; Kazankov, A.Y.; Naumenko, V.V.;
Semernin, G.V. Effect of carbon steel structural inhomogeneity on Manufacturing
Technology, vol. 13, no. 7, pp. 1078-1080, July 2023, doi: 10.1109/TCPMT.2023.3293005.
keywords:{Contamination;Corrosion;Inspection;Soldering;Oxidation;Resistors;Production;
AI algorithm;assembly process;corrosion;defects-per-million (DPM) rate;electronic
component;inspection;IPC standard;lead;oxidation},
[10] Radu Adrian Ciora and Carmen Mihaela Simion, “Industrial Applications of Image
Processing”, ACTA Universitatis Cibiniensis, Volume 64, Issue 1, 2014, pp.17-21.
[11] Corinna Cortes and Vladimir Vapnik, “Supportvector networks,” Machine Learning,
pp.273-297.
[12] Nguyễn Quang Hoan, Xử lý ảnh, Học viện Công nghệ Bưu chính viễn thông.
[13] Christopher Kanan and Garrison W. Cottrell, “Color-to-Grayscale: Does the Method
Matter in Image Recognition?”.
[15] Nobuyuki Otsu, “A Threshold Selection Method from Gray-Level Histograms”, IEEE
Transactions on Systems, Man, and Cybernetics, Volume 9, Issue 1, 1979.

[16] Der-Baau Perng , Shu-Ming Lee & Cheng-Chuan Chou (2010), “Automated bonding
position inspection on multi-layered wire IC using machine vision”, International Journal of
Production Research.

[17] Mao-Jiun J. Wang , Wen-Yen Wu & Chih-Cheng Hsu (2002), “Automated post bonding
inspection by using machine vision techniques”, International Journal of Production
Research.
25
[18] Chia-Feng Chang, Jiunn-Lin Wu, Kuan-Jen Chen and Ming-Chou Hsu, “A hybrid defect
detection method for compact camera lens”.

[19] Prateek Chhikara, “Understanding Morphological Image Processing and It’s

Operations”, Website:https://towardsdatascience.com/understanding-morphological-image-
processing-and-its-operations-7bcf1ed11756.

[20] Muthukrishnan, “Otsu’s method for image thresholding explained and implemented”,
Website: https://muthu.co/otsus-method-for-image-thresholding-explained-and-
implemented.

26