TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT VĨNH LONG

KHOA CÔNG NGHỆ THÔNG TIN


_________________________________________________________________

KHÓA LUẬN TỐT NGHIỆP

ĐẠI HỌC CÔNG NGHỆ THÔNG TIN

NHẬN DIỆN TƯ THẾ, DÁNG ĐỨNG

(OPENPOSE)

Giảng viên hướng dẫn Sinh viên thực hiện

TS. Phan Anh Cang 17004204 - Hà Thị Đoan Trang

 NHẬN DIỆN TƯ THẾ, DÁNG ĐỨNG (OPENPOSE)

NỘI DUNG

 Giới thiệu đề tài

 Các nghiên cứu liên quan

 Nội dung đề tài

 Kết luận và Hướng phát triển của đề tài

SVTH: Hà Thị Đoan Trang GVHD: TS. Phan Anh Cang

 NHẬN DIỆN TƯ THẾ, DÁNG ĐỨNG (OPENPOSE)

 Giới thiệu đề tài

Y Tế Giải Trí Hướng Dẫn Tập Võ

SVTH: Hà Thị Đoan Trang GVHD: TS. Phan Anh Cang

 NHẬN DIỆN TƯ THẾ, DÁNG ĐỨNG (OPENPOSE)

 Giới thiệu đề tài

Tình hình
dịch bệnh

Tình trạng video Hành vi phạm

mang tinh bạo lực tội sắp xảy ra

SVTH: Hà Thị Đoan Trang GVHD: TS. Phan Anh Cang

 NHẬN DIỆN TƯ THẾ, DÁNG ĐỨNG (OPENPOSE)

 Các nghiên cứu liên quan

2.1 OpenPose

2.2 Mạng nơ-ron tích chập (CNN)

SVTH: Hà Thị Đoan Trang GVHD: TS. Phan Anh Cang
 NHẬN DIỆN TƯ THẾ, DÁNG ĐỨNG (OPENPOSE)

 Các nghiên cứu liên quan

2.3 Tập dữ liệu

2.4 Môi trường cài đặt

SVTH: Hà Thị Đoan Trang GVHD: TS. Phan Anh Cang

 NHẬN DIỆN TƯ THẾ, DÁNG ĐỨNG (OPENPOSE)

 Nội dung đề tài

3.1 Các điểm chính trên cơ thể người

18 điểm cơ thể 21 điểm trên bàn tay 68 điểm khuôn mặt

SVTH: Hà Thị Đoan Trang GVHD: TS. Phan Anh Cang

 NHẬN DIỆN TƯ THẾ, DÁNG ĐỨNG (OPENPOSE)

 Nội dung đề tài

3.2 Phương pháp đề xuất

SVTH: Hà Thị Đoan Trang GVHD: TS. Phan Anh Cang

 NHẬN DIỆN TƯ THẾ, DÁNG ĐỨNG (OPENPOSE)

 Nội dung đề tài

3.2 Phương pháp đề xuất
Pha Huấn luyện
Bước 1. Tiền xử lí ảnh
Trích xuất frame ảnh từ video đầu vào.
Bước 2. Trích xuất đặc trưng
Sử dụng mạng nơ – ron tích chập (CNN)
để trích chọn đặc trưng
Bước 3. Huấn luyện
Bằng mô hình VGG-19 và PoseNet
SVTH: Hà Thị Đoan Trang GVHD: TS. Phan Anh Cang
 NHẬN DIỆN TƯ THẾ, DÁNG ĐỨNG (OPENPOSE)

 Nội dung đề tài

3.2 Phương pháp đề xuất
Pha Kiểm Tra
Bước 1. Tiền xử lí ảnh
Trích xuất frame ảnh từ video đầu vào.
Bước 2. Trích xuất đặc trưng
Sử dụng mạng nơ – ron tích chập (CNN)
để trích chọn đặc trưng
Bước 3. Nhận diện
Từ bước 1 và bước 2 dựa vào thuật toán
phân loại để nhận diện đối tượng
SVTH: Hà Thị Đoan Trang GVHD: TS. Phan Anh Cang
 NHẬN DIỆN TƯ THẾ, DÁNG ĐỨNG (OPENPOSE)

 Nội dung đề tài

3.2 Phương pháp đề xuất

SVTH: Hà Thị Đoan Trang GVHD: TS. Phan Anh Cang

 NHẬN DIỆN TƯ THẾ, DÁNG ĐỨNG (OPENPOSE)

 Nội dung đề tài

3.3 Nghiên cứu phương pháp liên quan

Mô hình PoseNet

Mô hình mạng ResNet50

Mô hình mạng MobileNetV1

SVTH: Hà Thị Đoan Trang GVHD: TS. Phan Anh Cang

 NHẬN DIỆN TƯ THẾ, DÁNG ĐỨNG (OPENPOSE)

 Nội dung đề tài

3.3 Nghiên cứu phương pháp liên quan

Mô hình mạng MobileNetV1 Mô hình mạng ResNet50

SVTH: Hà Thị Đoan Trang GVHD: TS. Phan Anh Cang
 NHẬN DIỆN TƯ THẾ, DÁNG ĐỨNG (OPENPOSE)

 Nội dung đề tài

3.4 Kết quả thực nghiệm

Tư thế đứng Tư thế ngồi

SVTH: Hà Thị Đoan Trang GVHD: TS. Phan Anh Cang
 NHẬN DIỆN TƯ THẾ, DÁNG ĐỨNG (OPENPOSE)

 Nội dung đề tài

3.4 Kết quả thực nghiệm

Nhận diện khuôn mặt không

Tư thế đi bộ đeo kính
SVTH: Hà Thị Đoan Trang GVHD: TS. Phan Anh Cang
 NHẬN DIỆN TƯ THẾ, DÁNG ĐỨNG (OPENPOSE)

 Nội dung đề tài

3.4 Kết quả thực nghiệm

Nhận diện khuôn mặt có

Kết hợp nhận diện bàn tay
đeo kính
SVTH: Hà Thị Đoan Trang GVHD: TS. Phan Anh Cang
 NHẬN DIỆN TƯ THẾ, DÁNG ĐỨNG (OPENPOSE)

 Nội dung đề tài

3.4 Kết quả thực nghiệm

Kết hợp nhận diện

Nhận diện tổng thể
Đồng thời nhiều người
SVTH: Hà Thị Đoan Trang GVHD: TS. Phan Anh Cang
 NHẬN DIỆN TƯ THẾ, DÁNG ĐỨNG (OPENPOSE)

 Nội dung đề tài

3.4 Kết quả thực nghiệm

Nhận diện qua video

SVTH: Hà Thị Đoan Trang GVHD: TS. Phan Anh Cang
 NHẬN DIỆN TƯ THẾ, DÁNG ĐỨNG (OPENPOSE)

 Nội dung đề tài

3.4 Kết quả thực nghiệm

Nhận diện qua video

SVTH: Hà Thị Đoan Trang GVHD: TS. Phan Anh Cang
 NHẬN DIỆN TƯ THẾ, DÁNG ĐỨNG (OPENPOSE)

 Nội dung đề tài

3.4 Kết quả thực nghiệm

Nhận diện qua video

SVTH: Hà Thị Đoan Trang GVHD: TS. Phan Anh Cang
 NHẬN DIỆN TƯ THẾ, DÁNG ĐỨNG (OPENPOSE)

 Nội dung đề tài

3.5 Demo ứng dụng

Môi trường cài đặt: Tập dữ liệu: Demo ứng dụng:

- Google Colaboratory. - COCO và MPII. - Nhận diện qua hình ảnh.
- Ngôn ngữ lập trình - Thu thập thực tế.
- Nhận diện qua video.
Python.
- Cấu hình máy tính sử
dụng. GPU

SVTH: Hà Thị Đoan Trang GVHD: TS. Phan Anh Cang

 NHẬN DIỆN TƯ THẾ, DÁNG ĐỨNG (OPENPOSE)

 Kết luận và Hướng phát triển của đề tài

4.1 Kết luận

- Đề tài hoàn thành đưa ra khung xương cho hình ảnh đầu vào
- Áp dụng được cho cả video và hình ảnh
- Chưa đưa ra được kết quả hành động cho dữ liệu đầu vào

SVTH: Hà Thị Đoan Trang GVHD: TS. Phan Anh Cang

 NHẬN DIỆN TƯ THẾ, DÁNG ĐỨNG (OPENPOSE)

 Kết luận và Hướng phát triển của đề tài

4.2 Hướng phát triển của đề tài

- Thử nghiệm với nhiều định dạng hình ảnh, video hơn, dữ liệu lớn hơn.
- Áp dụng vào thực tế để giám sát hành vi phạm tội hoặc phát hiện video
bạo lực.

SVTH: Hà Thị Đoan Trang GVHD: TS. Phan Anh Cang

 NHẬN DIỆN TƯ THẾ, DÁNG ĐỨNG (OPENPOSE)

Cảm ơn Hội Đồng đã lắng nghe

phần trình bày của em!

SVTH: Hà Thị Đoan Trang GVHD: TS. Phan Anh Cang