TỔNG QUAN BÀI TOÁN

HUMAN-OBJECT INTERACTIONS
1. Lê Việt Thịnh
2. Văn Nguyễn Ngọc Huyền
3. Bùi Cao Doanh
4. Võ Duy Nguyên
5. Nguyễn Tấn Trần Minh Khang
1
 Contents
1. Giới thiệu bài toán.
2. Dữ liệu thực nghiệm.
3. Độ đo.

2
GIỚI THIỆU BÀI TOÁN

3
 GIỚI THIỆU BÀI TOÁN
─ Human-Object Interaction: xác
định tập các tương tác (set of
interactions).
+ Định vị chủ thể (người) và
mục tiêu (vật thể) của
tương tác.
+ Phân lớp tương tác.

4
 GIỚI THIỆU BÀI TOÁN
─ Input: Bức ảnh tĩnh, chứa
hình của 1 (nhiều) người đang
tương tác với vật thể.
─ Output: tập các bộ ba
+ Bouding box của người.
+ Bouding box của vật.
+ Phân lớp của tương tác.

5
DỮ LIỆU THỰC NGHIỆM

6
Dữ liệu thực nghiệm
HICO-DET

7
 HICO-DET
─ Tên bài báo: Learning to Detect Human-Object Interactions
─ Tác giả: Yu-Wei Chao, Yunfan Liu, Xieyang Liu, Huayi Zeng, Jia
Deng.
─ Xuất bản: 2018 IEEE Winter Conference on Applications of
Computer Vision (WACV).

8
 HICO-DET
─ Bộ dữ liệu quy mô lớn được dùng trong bài toán HOI detection.
─ Được cải tiến từ bộ dữ liệu HICO bằng cách thêm các bouding
box của người và vật ứng với từng lớp interaction.

9
 HICO-DET

Gán nhãn trong bộ dữ liệu HICO-DET Gán nhãn trong bộ dữ liệu HICO

10
 HICO-DET
─ Kích thước: 47,776 ảnh.
+ Train: 38,118 ảnh
+ Test: 9658 ảnh
─ Cách thức thu thập: Sử dụng 47,774 ảnh từ bộ dữ liệu HICO và
thêm vào 2 ảnh nhằm đảm bảo mỗi lớp iteraction đều có ít nhất 1
instance annotation.
─ Phân loại đối tượng: 80 vật thể, 116 hành động, 600 lớp HOI
(80 lớp no interaction).

11
 HICO-DET
─ Các phương pháp sẽ được đánh giá trên ba tập:
+ Full: Tất cả 600 lớp HOI.
+ Rare: 138 lớp HOI, với mỗi lớp chỉ xuất hiện ít hơn 10 lần trong
tập huấn luyện.
+ Non-rare: 462 lớp HOI, với mỗi lớp xuất hiện ít nhất 10 lần
trong tập huấn luyện.

12
Dữ liệu thực nghiệm
SWIG-HOI

13
 SWIG-HOI
─ Tên bài báo: Discovering Human Interactions with Large-
Vocabulary Objects via Query and Multi-Scale Detection
─ Tác giả: Suchen Wang, Kim-Hui Yap, Henghui Ding, Jiyan Wu,….
─ Xuất bản: 2021 IEEE/CVF International Conference on
Computer Vision (ICCV).

14
 SWIG-HOI
─ SWIG-HOI được tổng hợp từ 2 bộ dữ liệu SWiG và DOH nhằm
mục đích nghiên cứu bài toán HOI trong trường hợp có 1 lượng
lớn iteractions và chỉ có số ít dữ liệu cho mỗi lớp.

15
 SWIG-HOI
─ Kích thước: ~94,000 ảnh.
+ Train: ~75,000 ảnh
+ Test: ~19,000 ảnh
─ Cách thức thu thập: Rút trích 1,000 vật thể thường xuyên được
tương tác nhất và 406 hành động từ bộ dữ liệu SWiG và tiến
hành gán nhãn interaction cho bộ dữ liệu DOH.
─ Phân loại đối tượng: 1000 vật thể, 400 hành động.

16
 SWIG-HOI
─ Kích thước: ~94,000 ảnh.
+ Train: ~75,000 ảnh
+ Test: ~19,000 ảnh
─ Cách thức thu thập: Rút trích 1,000 vật thể thường xuyên được
tương tác nhất và 406 hành động từ bộ dữ liệu SWiG và tiến
hành gán nhãn interaction cho bộ dữ liệu DOH.
─ Phân loại đối tượng: 1000 vật thể, 400 hành động.

17
 SWIG-HOI
─ Các phương pháp sẽ được đánh giá trên 3 tập:
+ Unseen: Không xuất hiện trong tập train.
+ Rare: Ít nhất 1 lần xuất hiện và xuất hiện ít hơn 10 lần.
+ Non-rare: Xuất hiện ít nhất 10 lần.

18
ĐỘ ĐO

19
 Độ đo
─ Các mô hình HOI detection được đánh giá bằng cách sử dụng
average precision (AP).
─ Một bộ <human, object, interaction> được xem là true positive khi
và lớp interaction được dự đoán đúng.

20
 Cảm ơn quí vị đã lắng nghe
Nhóm tác giả
Lê Việt Thịnh
Văn Nguyễn Ngọc Huyền
Bùi Cao Doanh
ThS. Võ Duy Nguyên
TS. Nguyễn Tấn Trần Minh Khang
21