Bài toán: Nhận diện sản phẩm trên kệ thanh toán

bán hàng
1.Cao Văn Hùng 2. Bùi Nguyễn Anh 3. Trương Tấn Sang
Trung

Mô tả bài toán: Thách thức:

Input: Thách thức đặt ra là sự chuyển động, sự
Video với góc quay cố định hướng vào kệ thanh toán giống nhau trong các mặt hàng được quét,
Output: sự thay đổi về mẫu mã theo thời gian của
Tên sản phẩm và thời gian mà sản phẩm xuất hiện mặt hàng được quét dẫn đến sai lệch trong
trên khay thanh toán quá trình phát hiện và phân loại. Vì thế cần
có một giải pháp hiệu quả cho vấn đề trên.

Pipeline
Detector Classifier Tracker Counter

Deep SORT
Train Train
ROI
Mahalanobis

Kalman Hungarian
Result
Predict Deep Assigment Select
YOLOv5 Effcientnet-b2 Appearance
condition
Descriptor

Association metrics

Mô tả
1. Data generation 3. Classifier
Việc sinh dữ liệu bắt đầu với các Phân loại các object trong
thao tác bitwise_and để loại bỏ box nhận được từ detector
background. Sau đó sử dụng một với.
số augmentation (rotate, cale, ..)
rồi đặt ngẫu nhiên trên background 4. Tracker
kệ thanh toán Nhóm sử dụng DeepSORT một Không sử dụng ROI Sau khi sử dụng ROI

thuật toán thuộc dạng Online

2. Detector
Detector có nhiệm vụ detect các
object. YOLOv5 được chọn bởi tốc
độ real-time với độ chính xác cao.
Mutiple-Object Tracking, nhằm 5.2 Select condition
mục đích theo dõi tất cả các
Chọn class có score cao nhất
đối tượng xuất hiện trong
đại diện cho mỗi track. Các
khung hình bằng việc phát hiện
track có tổng số frame nhỏ
và gắn track_id (định danh) cho
hơn ngưỡng theshold thì loại
từng đối tượng.
đi.
5. Counter
5.1 Region of interest
ROI (region of interest) được
thiết lập nhằm mục đích lọc
các box có centroid nằm
ngoài ROI sẽ bị loại bỏ đi.
Nhờ vậy các object không
phải là sản phẩm nằm ngoài
khay được loại bỏ đi.