Báo cáo 

môn xử lý ảnh

Đề  tài:
Nhận diện cảm xúc trên khuôn mặt người
qua camera 
Nhóm trình bày : 
1. Võ Đình Tuấn 
2. Trần Khánh Thiện
3. Ma Quốc Cường
Nội dung trình bày

 Phần 1 : Giới thiệu đề tài

 Phần 2 : Tổng quan lý thuyết
 Phần 3 : Triển khai xây dựng
Phần 1 : Giới thiệu đề tài
 Đặt vấn đề :
• Xã hội ngày càng phát triển, kéo theo đó là nhu cầu phát triển về sự tự
động hóa, thông minh của các thiết bị, hiểu ý con người mà không phải
thiết bị điều khiển trung gian .
• Cùng với các hình thức nhận dạng khác như: nhận dạng giọng nói, chữ
viết, dấu vân tay, võng mạc , thì bài toán nhận dạng cảm xúc trên khuôn
mặt người cũng là một đề tài thú vị, khuôn mặt là nơi thể hiện nhiều trạng
thái cảm xúc: vui, buồn, giận dữ, phẫn nộ, bình thường ,...
 Mục tiêu: 
Từ webcam thu ảnh đầu vào ta sử dụng các thuật toán để thu nhận khuôn
mặt và xác định cảm xúc trên khuôn mặt, sau đó cho ra cảm xúc tương ứng.
Phần 2 : Tổng quan

• Biểu cảm khuôn mặt là một hình

thức giao tiếp phi ngôn ngữ. Chúng
là một phương tiện chính để truyền
đạt thông tin xã hội giữa con người.
• Vì vậy có thể nói biểu cảm khuôn
mặt rất quan trọng đối với giao tiếp
xã hội , nhất là vận dụng nó trong
công việc hàng ngày. 
Haar Cascade

 Haar Cascade sử dụng các đặc trưng loại Haar (haar-like) và sau đó sử

dụng thật nhiều đặc trưng đó qua nhiều lượt (cascade) để tạo thành một
cỗ máy nhận diện hoàn chỉnh.
 Cấu trúc: Có 4 đặc trưng haar-like cơ bản được mở rộng, 

 Và được chia làm 3 tập đặc trưng sau: Đặc trưng cạnh, đặc trưng đường,
đặc trưng xung quanh tâm.
Sơ đồ nhận diện khuôn mặt
 Convolution Neural Network

 Convolution Neural Network là một dạng mạng nơ-ron được cấu tạo nhiều
lớp và thường được sử dụng trong thị giác máy tính và học máy.
 Cấu trúc mạng Convolution Neural Network gồm cơ bản 2 thành phần
chính:
1. Lớp trích lọc đặc trưng (Conv, Relu, POOL)
2. Lớp phân loại (Fully Connected)
Phần 3 : Triển khai xây dựng

Các bước triển khai xây dựng :

 Xây dựng bài toán
 Chuẩn bị dữ liệu
 Xây dựng mô hình
 Đánh giá mô hình với dữ liệu huyến luyện và kiểm thử
Xây dựng bài toán

 Nhận diện cảm xúc khuôn mặt sử dụng mạng nơ-ron tích chập trong thời gian
thực.
 Công nghệ sử dụng:
 Ngôn ngữ lập trình Python
 Mạng nơ-ron tích chập
 Haar – Casscade Classicfiers
 Thư viện mã nguồn mở Keras
 Xây dựng bài toán

Cắt vùng ảnh vùng

Lấy ảnh từ Đưa về ảnh Nhận diện mặt, đưa về kích
webcam xám mặt người thước 48*48 pixcels
và đưa về ảnh nhị
phân

Chuyển thành ma
Gán biểu cảm Lấy ra biểu cảm có giá trận các pixel rồi đưa
vào ảnh trị lớn nhất khi đưa qua mô hình đã huấn
qua mô hình. luyện
Chuẩn bị dữ liệu

Sử dụng 7 lớp từ bộ dữ liệu FER2013 bao gồm 7 loại cảm xúc: tức giận, ghê
tởm, sợ hãi, vui vẻ, buồn, ngạc nhiên, bình thường gồm 35887 ảnh.
 Bộ huấn luyện: gồm 28709 ảnh.
 Bộ kiểm thử: gồm 3589 ảnh.
Xây dựng mô hình

 Input : là ảnh xám kích thước 48*48 điểm ảnh

 Output : có 7 giá trị tương ứng với 7 loại cảm xúc: tức giận, ghê tởm, sợ
hãi, vui vẻ, buồn, ngạc nhiên, bình thường.
Tiến hành triển khai
Đánh giá mô hình với dữ liệu huấn luyện và
kiểm thử
 Tập kiểm thử :
 Test loss : 2.27945706329
 Test accuracy: 57.4254667071
 Tập huấn luyện :
 Train loss : 0.223031098232
 Train accuracy: 92.0512731201