Người thuyết trình:

Nguyễn Hữu Tân

http://groups.google.com/group/dd04kstn
06/01/2009
Giới thiệu về đề tài
 Yêu cầu:
 Xây dựng thuật toán nhận dạng cảm xúc
 Cải tiến thuật toán nhận dạng cảm xúc dựa trên PCA hiện có.
 Xây dựng thuật toán nhận dạng cảm xúc mới dựa theo mô hình
AAM &tương quan điểm.
 Xây dựng thuật toán nhận dạng cảm xúc mới dựa theo mô hình
AAM và mạng neural 3 lớp.
 Tích hợp nhận dạng cảm xúc để điều khiển robot đa hướng (phần mở rộng)
Tổng quan về nhận dạng cảm xúc
Vai trò của cảm xúc
 Đóng vai trò quan trọng trong việc thể hiện thông tin, tính
cách…..
 Góp phần xây dựng các mối quan hệ của con người.
 Là thành phần quan trọng trong việc xây dựng các hệ thống
người-máy.
 Thể hiện tình cảm của con người …..
 Ứng dụng của nhận dạng cảm xúc
 Xây dựng hệ thống điều khiển thiết bị cho người tàn tật.
 Kiểm tra tính chân thật của thông tin
 Kết hợp với nhận dạng góc quay của mặt để thêm tín hiệu điều
khiển.
 Điều khiển robot v…..v
 Phân loại các phương pháp nhận diện cảm xúc
 Theo thuật toán nhận dạng
 Gabor Wavelets
 SVD (Support Vector Machine)
 PCA (Principle Component Analysis)
 Face Modelling (AAM, WASM, ASM, RANSAC)….
 Xét tương quan điểm (Points Correlation)
 Sử dụng ảnh nhiệt
 Kết hợp

 Phân loại theo lớp nhận dạng

 Theo đơn vị vận động AU (action units ) - FACs
Mặt người => 46 Aus
1 cảm xúc = sự kết hợp nhiều AUs
 Theo mô hình (prototype) (AAM, ASM, RANSAC)
I.Nhận diện cảm xúc dựa trên PCA truyền
thống
Công trình liên quan: “Nhận diện cảm xúc mặt người” – LV.ThS- Trịnh Minh Khôi -2007
 Xây dựng một tập các trị riêng (S1, S2,…Sk)cho các hình huấn
luyện .Mỗi trị riêng: mang 1 số điểm điểm đặc trưng của khuôn mặt.

 Mã hóa hình ảnh: 1 ảnh  1 tổ hợp hệ số

b1 b2 bk

= + 5.7* + …+ 04*
I Hình trung bình S1 Sk

 1 cảm xúc  1 nhóm các hình ảnh trong tập huấn luyện.
I.Nhận diện cảm xúc dựa trên PCA truyền thống
I ⇔ (b , b ,...., b )
bth _ 1 I ⇔ (b , b ,...., b
bth _ 1 _ 1 bth _ 1 _ 2 bth _ 1 _ k vui _ 1 vui _ 1 _ 1 vui _ 1 _ 2 vui _ 1 _ k
)

I ⇔ (b , b
bth _ 2
,...., b ) I ⇔ (b , b
bth _ 2 _ 1
,...., b
bth _ 2 _ 2 bth _ 2 _ k vui _ 2 vui _ 2 _ 1 vui _ 2 _ 2 vui _ 2 _ k
)
........ ........
I bth _ 40
⇔ (bbth _ 40 _1 , bbth _ 40 _ 2 ,...., bbth _ 40 _ k ) I vui _ 40
⇔ (bvui _ 40 _1 , bvui _ 40 _ 2 ,...., bvui _ 40 _ k )

I nnhi _ 1
⇔ (bnnhi _1_1 , bnnhi _1_ 2 ,...., bnnhi _1_ k ) I gian _ 1
⇔ (b gian _1_1 , b gian _1_ 2 ,...., b gian _1_ k )

I nnhi _ 2
⇔ (bnnhi _ 2 _1 , bnnhi _ 2 _ 2 ,...., bnnhi _ 2 _ k ) I gian _ 2
⇔ (bgian _ 2 _1 , b gian _ 2 _ 2 ,...., b gian _ 2 _ k )
........ ........
I nnhi _ 40
⇔ (bnnhi _ 40 _1 , bnnhi _ 40 _ 2 ,...., bnnhi _ 40 _ k ) I gian _ 40
⇔ (b gian _ 40 _1 , b gian _ 40 _ 2 ,...., b gian _ 40 _ k )

S bth _1 bbth _1_1 a1 bbth _1_ 2 a2

= − + − + + bbth _1_ k ak
−
2 2 2
( ) ( ) .... ( )
S S ... S bth _ 40 S S ... S vui _ 40 S ... S nnhi _ 40 ... S gian _ 40
bth _ 1 bth _ 2 vui _ 1 vui _ 2 nnhi _ 1

I nhan _ dang
⇔ (a1 , a2 ,...., ak ) ? Lấy min
I.Nhận diện cảm xúc dựa trên PCA truyền thống
 Kết quả nhận diện:
 Điều kiện chiếu sáng tốt:
 Vui: 92%
 Giận dữ: 86%
 Bình thường: 84%
 Ngạc nhiên: 78%
(Kết quả được thực hiện bằng việc nhận dạng 200 hình ảnh đầu vào của tác giả)

 Thời gian trung bình cho một mẫu nhận diện: khoảng 250 ms.
 Nhược điểm:
 Độ chính xác phụ thuộc nhiều vào điều kiện ánh sáng
 Khi mặt nghiêng hay người ra xa webcam, kết quả nhận dạng bị sai
lệch nhiều
 Để đạt được độ chính xác cao, ta phải huấn luyện nhiều hình . Tốc độ
xử lí chậm.

=> Không thích hợp để điều khiển robot

II. Nhận diện cảm xúc theo phương pháp
mô hìnhAAM
AAM và xét
= Active tương quan
Appearance điểm
Model
Với sự giúp đỡ của
Ý tưởng:
Tiến sĩ Nguyễn Đức Thành, chủ nhiệm BM điều khiển Tự động, ĐHBK HCM
“Nếu cóProfessor,
Assoc thể xác định được
Nguyễn chính
Minh Đỗ xác
fromtọa độ các điểm
University trên Urbana
of Illinois, khuôn
mặt thì có thểUSA
Champaign, dựa vào tương quan các điểm đó để nhận dạng cảm
xúc.”
 Assoc Professor, Lê Tiến Thường, BM Viễn Thông, ĐHBK TPHCM.

Ưu điểm:
•Ít bị ảnh hưởng của yếu tố nền khuôn mặt lên kết
quả nhận dạng.
•Tốc độ nhận dạng sẽ khá nhanh. Có thể
•Việc nhận dạng có thể tiến hành trong điều kiện dùng điều
mặt chịu ảnh hưởng của các phép biến hình (quay, khiển
tịnh tiến, tỉ lệ)…. robot
II. Nhận diện cảm xúc theo phương pháp
mô hình AAM và xét tương quan điểm

R=
be _ rong _ mieng
1 be _ rong _ mat

=
R2 chieu _ cao _ mui
Chiều cao mắt chieu _ cao _ mat

Chiều cao mũi

R=
khoang _ cach _ lm
Khoảng cách lm 3 khoang _ cach _ mat
Khoảng cách mắt
Cảm xúc\Tỉ số R1 R2 R3
Bề rộng mặt
Vui vẻ Tăng BT Tăng
Ngạc nhiên BT Tăng BT
Bề rộng
Giận dữ miệng Tăng BT Giảm
Bình thường BT BT BT
Lưu đồ Cảm xúc\Tỉ số R1 R2 R3
Vui vẻ Tăng x Tăng
Tính R1, R2, R3 Ngạc nhiên BT Tăng x
Giận dữ Tăng x Giảm
Bình thường BT BT BT
R1>R1_ No
Thresh
Yes
Bình
R3>R3_ No R2>R2_ No thườn
Giận
Thresh Thresh g

Yes
Yes
Ngạc
Vui vẻ
nhiên
Tải bản FULL (20 trang): https://bit.ly/2Rsj9iD
Dự phòng: fb.com/TaiHo123doc.net
II. Nhận diện cảm xúc theo phương pháp
mô hình AAM và xét tương quan điểm
 Kết quả nhận dạng (tiến hành trên 200 hình)
Cảm xúc Phần trăm Cảm xúc Phần trăm
Vui 95% Vui 92%
Ngạc nhiên 81% Ngạc nhiên 78%
Giận dữ 83% Giận dữ 86%
Bình thường 80% Bình 84%
 Nhược điểm: thường
Tương quan điểm
(687ms/frame)
 Kết quả nhận dạng phụ thuộc vào việc chọn ngưỡng cho R1,
PCA truyền R2, R3.
thống
 Cần cải tiến thuật toán xác định từng điểm của(238ms/frame)
khuôn mặt để tăng tốc độ nhận
dạng & độ chính xác.

3131711