Nhân trắc học

Thai Hoang Le
Department of Computer Sciences
HCMC University of Natural Science
lhthai@fit.hcmus.edu.vn
 Nội dung
Nhân trắc học
Bài toán nhận dạng mặt người
Các kỹ thuật tính toán mềm áp dụng cho bài
toán
Các giai đoạn giải quyết bài toán nhận dạng mặt
người
Phân tích đánh giá từng giai đoạn
Ứng dụng thử nghiệm
BÀI TOÁN NHÂN
TRẮC HỌC
Nội dung
 Thế nào là nhận diện người?
 Bài toán nhận diện cá nhân
 Nhân trắc học (Biometric)
 Vai trò của Nhân trắc học
 Ứng dụng Nhân trắc học
 Một số đặc trưng Nhân trắc học
 Hệ Nhân trắc học và các thách thức
 Hướng nghiên cứu
Nhận diện người
 Nhận diện người đã từng là vấn đề cốt yếu trong xã hội loài
người.
 Trong những ngày đầu của cuộc sống nguyên thủy, loài người
sống trong những cộng đồng nhỏ và tất cả mọi người đều biết
nhau.
 Cùng với sự phát triển của dân số và sự gia tăng của các
phương tiện di động, chúng ta bắt đầu nhờ cậy vào tài liệu và
tính bảo mật cho mỗi cá nhân được thiết lập.
 Bây giờ, Nhận diện cá nhân (một người) đã trở thành một phần
cốt yếu, cần thiết cho nhiều lĩnh vực kinh doanh đa dạng như
ngân hàng, kiểm tra cửa khẩu, thi hành án vv…
Nhận diện cá nhân
 Các báo hiệu bảo vệ:
Hiện nay, chúng ta đang sống trong một xã
hội lớn cùng với sự gia tăng của những đối
tượng rất nguy hiểm, ghê gớm, những người
mà chúng ta không thể đặt lòng tin lâu dài
được. Các thông tin về các đối tượng này sẽ
được cung cấp đầy đủ thông qua các tài liệu
nhận diện cá nhân được phổ cập.
Nhận diện cá nhân
 Xác thực chống trộm:
Nhận diện những tên trộm ăn cắp PIN (vd:
ngày sinh) để mở các tài khoản tín dụng
hoặc rút tiền từ các tài khoản và thế chấp
vay.
3.3 triệu thẻ xác thực chống trộm được
dùng ở Mỹ năm 2002; tuy nhiên, có 6.7
triệu nạn nhân của các vụ gian lận thẻ tín
dụng.

Như vậy, các biểu diễn thay thế cho việc nhận diện như mật khẩu
(passwords) và các thẻ ID không đáp ứng đủ các nhu cầu chống trộm.
Quá nhiều password để nhớ

Những người sử dụng web có trung bình 21 password; 81%

người dùng chọn một password chung và 30% viết password
của họ xuống các file để nạp/tải chúng. (2002 NTA Monitor
Password Survey)
Nhân trắc học
 Nhận dạng người tự động trên cơ sở các bộ
phận cơ thể riêng biệt (khuôn mặt, vân tay,
tròng mắt, võng mạc, hình bàn tay) hoặc
thông qua các đặc điểm hành vi của con
người (chữ ký, dáng đi).
 Nhận dạng một người dựa vào các bộ phận
cơ thể của họ, từ đó chỉ ra tên tuổi của
người đó. Quá trình này được gọi là “Nhận
diện (identity)”. John Smith
Vài trò của Nhân trắc
học
 Nhận diện “Chấp nhận (positive)”
 Người đang xem xét có được hệ thống biết đến?
 Nếu đúng, cấp quyền truy nhập cho người đó(log-in)
 Nhận diện “độ thuộc lớn(Large Scale)”
 Người đang xem xét có trong Cơ Sở Dữ Liệu?
 Ngăn chặn việc sử dụng nhiều quyền đăng ký đối với cùng
một người.
 Trình duyệt
 Đây có phải là người cần tìm?
 Trong danh sách các đối tương lưu giữ ở sân bay.
Đặc điểm nhân trắc học sẽ cung cấp thông tin từ
chối (tôi không phải đối tượng cần tìm)
Vài trò của Nhân trắc
học
Áp dụng của Nhân trắc học
Lịch sử phát triển
 Hệ thống Bertillon (1882) chụp ảnh của một đối tượng nghiên
cứu, và ghi lại chiều cao, chiều dài của một chân, của cánh tay
và các ngón tay của các đối tượng
 Hệ thống Galton/Henry là một hệ thống cho phép phân lớp ảnh
vân tay (1900) thừa hưởng từ Scotland Yard (cục điều tra tội
phạm của cảnh sát London- Anh).
 FBI thiết lập một hệ thông nhận diện ảnh vân tay năm 1924
 AFIS được cài đặt năm 1965 với một cơ sở dữ liệu là 810,000
mẫu vân tay
 Bài báo nhận dạng mặt người đầu tiên được công bố năm
1971 (Goldstein et al.)
 FBI cài đặt hệ IAFIS trong năm 2000 với cơ sở dữ liệu với hơn
47 triệu mẫu vân, trung bình có 50,000 người truy cập mỗi
ngày. Cần 2 giờ để phúc đáp một tìm kiếm tội phạm.
 Hiện nay, điểm chốt yếu là xây dựng một hệ nhận diện người
tự động với độ chính xác cao.
 Các hệ thống nhận diện bên ngoài sự giám sát của con người
thường rất mơ hồ (Sai số lớn).
Các đặc trưng Nhân trắc học
Nhân trắc học: Hệ nhận dạng
mẫu
Hệ nhân trắc học: Một số khó
khăn
 Những biến đổi bên trong của mỗi lớp và
tính tương đồng giữa các lớp
 Quá trình phân đoạn
 Nhiễu đầu vào và tính hội tụ của quần thể
 Hiệu suất hệ thống (tỷ lệ lỗi, tốc độ, chi phí)
 Tính riêng biệt của các đặc trưng nhân trắc
học
 Sự hợp nhất của các thuộc tính nhân trắc
học đa dạng
 Tính leo thang
 Những công kích đối với hệ nhân trắc học
 Các vấn đề riêng tư
Hướng nghiên cứu
 Bộ tương thích người sử dụng
 Quan sát: làm thế nào người dùng tương
tác được với các thiết bị nhân trắc học(ví
dụ: cách sử dụng thiết bị hình bàn tay).
 Phần mềm nhân trắc học
 Xây dựng phần mềm tận dụng những nét
tiêu biểu của nhân trắc học (vd: như mầu
mắt, mầu tóc, giới tính để tăng cường khả
năng nhận diện).
 Theo vết (tracking)
 Màn hình theo vết toàn bộ các hoạt động
của đối tượng để có thể đưa ra nhận diện
chính xác về đối tượng
NHẬN DẠNG MẶT
NGƯỜI
The Problem of Searching for Face

Tri

Tien
Face Recognition
System

stranger

Faces
Database

19
The Problem of Searching for Face

Khiem

Face Recognition
System stranger

Toan

Face
Database

20
 The Face Recognition System

Face location,
size & pose
Face Face
Image/Video
Detection Alignment

Aligned face

Feature vector
Feature Feature Face
Extraction Matching Identify

Face
Database
21
 CÁC KỸ THUẬT ÁP
DỤNG CHO BÀI TOÁN
 NỘI DUNG

Các kỹ thuật trích chọn không gian mẫu

Các kỹ thuật phân lớp mẫu
Các kỹ thuật tính toán gần đúng

23
 TRÍCH CHỌN KHÔNG GIAN MẪU

Phân tích thành phần chính (Principal

Component Analysis - PCA)
Phân tích thành phần độc lập
(Independent Component Analysis - ICA)
Phân tích tách lớp tuyến tính (LDA)

24
 CÁC KỸ THUẬT PHÂN LỚP MẪU

Mạng Nơron nhân tạo ( Artificial Neural

Network)
Ada -Boost
Support Vector Machine (SVM)

25
 CÁC KỸ THUẬT TÍNH TOÁN GẦN
ĐÚNG

Số mờ (Fuzzy)
Thuật giải di truyền (GA)

26
 CÁC KHÂU NHẬN
DẠNG MẶT NGƯỜI
 Hệ thống nhận dạng mặt người

Vị Trí, Kích thước,

Tư thế khuôn mặt
Tìm khuôn Chuẩn hóa
Ảnh
mặt khuôn mặt

Khuôn mặt
được chuẩn hóa
Vector đặc trưng
biểu diễn
khuôn mặt Khuôn
Trích chọn So khớp đặc
mặt được
đặc trưng trưng
xác định

Cơ sở dữ liệu
khuôn mặt
ĐÁNH GIÁ ĐỀ XUẤT
 GIAI ĐOẠN DÒ TÌM KHUÔN MẶT

Mạng Nơron nhân tạo ( Artificial Neural

Network) cho dò tìm khuôn mặt
Ada –Boost cho dò tìm khuôn mặt
Đề xuất Ada-Boost + ANN cho dò tìm
khuôn mặt

30
 GIAI ĐOẠN CHUẨN HÓA MẶT
NGƯỜI

Chuẩn hóa mặt người bằng ASM

Chuẩn hóa mặt người bằng AAM
Phát triển mô hình ASM+ANN cho chuẩn
hóa mặt người.

31
 GIAI ĐOẠN RÚT TRÍCH ĐẶC
TRƯNG

Trích chọn đặc trưng bằng pp hình học

Trích chọn đặc trưng bằng PCA
Trích chọn đặc trưng bằng ICA
Trích chọn đặc trưng bằng ICA+ pp hình
học.
Xây dựng không gian đặc trưng với
ICA+LDA.

32
 GIAI ĐOẠN PHÂN LỚP MẶT NGƯỜI

Phân loại không gian toàn khuôn mặt

Phân loại theo không gian các bộ phận
Kết hợp các không gian.

33
ỨNG DỤNG THỰC TẾ
 Nội dung trình bày

Giới thiệu tổng quan về đề tài

Bài toán nhận dạng mặt người
Các phương pháp trích chọn đặc trưng đề xuất
Kết quả thử nghiệm
Chương trình ứng dụng
Kết luận và hướng phát triển

35
 Tổng quan về đề tài

Những khó khăn trong lĩnh vực truy tìm tội phạm
Hướng giải quyết trong đề tài

36
Bài toán nhận dạng mặt người

37
 Dò tìm khuôn mặt

Sử dụng phương pháp dò tìm Adaboost

Minh hoạ:

38
 Cơ sở dữ liệu thử nghiệm

Gồm ảnh khuôn mặt 20 người, mỗi người 16

ảnh. Tổng cộng: 320 ảnh
Kích thước mỗi ảnh là 100x100
Ví dụ:

39
 Trích chọn đặc trưng

 Các phương pháp trích chọn đặc trưng truyền thống

- Phương pháp véc tơ hoá toàn cục (có miệng)
- Phương pháp véc tơ hoá toàn cục (không miệng)
 Các phương pháp đề xuất
- Phương pháp véc tơ hoá bộ phận
- Phương pháp kết hợp toàn cục và bộ phận (có
miệng)
- Phương pháp kết hợp toàn cục và bộ phận (không
miệng)

40
 Trích chọn đặc trưng(tt)

Phát hiện mắt, miệng

Sử dụng PCA để rút trích

41
 Phát hiện mắt

Biến đổi
độ xám

-1 -1 -1
-1 8 -1
-1 -1 -1 Thresh

42
Phát hiện miệng

Red - Green Thresh

43
 PCA (Principle Component
Analysis)
Ảnh đầu vào được biểu diễn bằng véc tơ có kích
thước lớn, qua PCA thu được véc tơ có kích
thước nhỏ hơn mà vẫn giữ được các thông tin
quan trọng.
Ý nghĩa hình học: PCA chiếu dữ liệu theo
hướng mà ở đó dữ liệu khác nhau nhiều nhất.

44
Trích chọn đặc trưng cho
toàn khuôn mặt

PCA
xtc_cm ytc_cm
(a)

PCA
xtc_kcm ytc_kcm
(b)

45
Trích chọn đặc trưng cho
từng bộ phận
PCA
ymat_trai
ymat_trai
Dò tìm PCA
ymat_phai ybp= ymat_phai
bộ phận
PCA
ymieng ymieng

46
Kết hợp đặc trưng toàn khuôn
mặt với đặc trưng từng bộ
phận
PCA
ytc_cm
ytc_cm
PCA
Dò tìm ymat_trai ymat_trai
bộ phận PCA ykh_cm=
ymat_phai ymat_phai
PCA
ymieng ymieng

47
 Phương pháp nhận dạng

Sử dụng phương pháp SVM (Support Vector

Machine) để thử nghiệm.
Chiến lược sử dụng trong phân loại đa lớp:
phân loại theo bầu cử.

48
Báo cáo kết quả thử nghiệm

49
Báo cáo kết quả thử nghiệm
(tt)

50
 Báo cáo kết quả thử nghiệm
(tt)
Toàn cục (a-Có miệng): 84.38 %
Toàn cục (b-Không miệng): 83.75%
Bộ phận: 93.75 %
Kết hợp (a-Có miệng): 96.88 %
Kết hợp (b-Không miệng): 95.63 %

51
 Kết luận

Phương pháp kết hợp đặc trưng toàn khuôn mặt

(có miệng) với đặc từng bộ phận cho kết quả tốt
nhất

52
 Ứng dụng thử nghiệm

Xây dựng hệ thống tìm kiếm đối tượng theo mô

tả

53
 Lắp ráp khuôn mặt
Người sử dụng

Chọn

Dạng khuôn mặt Mắt trái Mắt phải Miệng

Khuôn mặt
theo mô tả

54
 Ví dụ:

Khuôn mặt sau khi ghép

55
 Tìm đối tượng trong cơ sở dữ
liệu
Khuôn mặt
theo mô tả

Tìm kiếm

Kết hợp toàn cục Kết hợp toàn cục

Toàn cục Toàn cục
và bộ phận và bộ phận Bộ phận
(có miệng) (không miệng)
(có miệng) (không miệng)

56
Ví dụ:

57
Demo chương trình

58