Professional Documents
Culture Documents
PhatHienKhuonMat SVM PDF
PhatHienKhuonMat SVM PDF
IC M N
Em xin chân thành c m n các th y, các cô khoa Công ngh Thông tin
Tr ng i h c Dân l p H i Phòng ã t n tình d y d , truy n t cho chúng em
nhi u ki n th c quý báu.
Em xin t lòng bi t n sâu s c n th y Th.s Ngô Tr ng Giang, ng i ã
n tình giúp và truy n t nhi u kinh nghi m tài có th c th c hi n
và hoàn thành.
Xin chân thành c m n các b n trong khoa Công Ngh Thông Tin, iH c
Dân L p H i Phòng ã giúp , ng viên tôi r t nhi u trong quá trình th c hi n
tài.
Em xin trân tr ng c m n!
i Phòng, tháng 07 n m 2007.
Sinh viên
Lê H ng Chuyên
CL C
I C M N .................................................................................................... 1
U ........................................................................................................... 4
CH NG 1: NG QUAN V PHÁT HI N KHUÔN M T .................... 5
1.1. Gi i thi u.............................................................................................. 5
1.2. t s l nh v c ng d ng phát hi n khuôn m t. ................................... 5
1.3. t s ph ng pháp xác nh khuôn m t ng i. .................................. 7
1.3.1. ng ti p c n d a trên tri th c. .................................................... 7
1.3.2. ng ti p c n d a trên c tr ng không thay i. ...................... 10
1.3.3. ng ti p c n d a trên so kh p m u. ......................................... 13
1.3.4. ng ti p c n d a trên di n m o................................................ 16
1.3.5. ng ti p c n t ng h p .............................................................. 25
1.4. Khó kh n và thách th c trong bài toán xác nh khuôn m t. ............... 26
CH NG 2: PHÁT HI N KHUÔN M T S D NG ADABOOST......... 28
2.1. Gi i thi u............................................................................................ 28
2.1.1. Các h ng ti p c n dò tìm khuôn m t nhanh................................ 28
2.1.2. ng ti p c n theo AdaBoost..................................................... 28
2.2. Trích ch n c tr ng cho AdaBoost.................................................... 29
2.3. Thu t toán ADABOOST..................................................................... 31
2.4. dò tìm phân t ng Adaboost............................................................ 35
2.5. Hu n luy n dò tìm khuôn m t ............................................................. 38
2.6. Dò tìm khuôn m t ............................................................................... 38
2.7. Nh n xét ............................................................................................. 39
2.7.1. u m ....................................................................................... 39
2.7.2. Khuy t m................................................................................. 39
CH NG 3: PHÁT HI N KHUÔN M T S D NG M NG N RON. . 40
3.1. ng quan v m ng n ron nhân t o .................................................... 40
3.1.1. ng n ron sinh h c.................................................................... 40
3.1.2. ron nhân t o:............................................................................ 41
3.1.3. Các thành ph n c a n ron nhân t o:............................................. 42
3.1.4. Mô hình c b n c a m ng n ron .................................................. 43
3.1.5. Xây d ng m ng n ron.................................................................. 44
3.1.6. Hu n luy n m ng n ron. .............................................................. 45
3.2. Chu n b d li u.................................................................................. 52
3.2.1. Gi i thi u ..................................................................................... 52
1.1. Gi i thi u.
H n m t th p k qua có r t nhi u công trình nghiên c u v bài toán
xác nh khuôn m t ng i t nh en tr ng, xám n nh màu nh ngày
hôm nay. Các nghiên c u i t bài toán n gi n, m i nh ch có m t khuôn m t
ng i nhìn th ng vào thi t b thu hình và u t th th ng ng trong nh
en tr ng. Cho n ngày hôm nay bài toán m r ng cho nh màu, có nhi u
khuôn m t trong cùng m t nh, có nhi u t th thay i trong nh. Không nh ng
y mà còn m r ng c ph m vi t môi tr ng xung quanh khá n gi n (trong
phòng thí nghi m) cho n môi tr ng xung quanh r t ph c t p (nh trong t
nhiên) nh m áp ng nhu c u c a th c t .
Xác nh khuôn m t ng i (Face Detection) là m t k thu t máy tính
xác nh các v trí và các kích th c c a các khuôn m t ng i trong các nh b t
( nh k thu t s ). K thu t này nh n bi t các c tr ng c a khuôn m t và b
qua nh ng th khác, nh : tòa nhà, cây c i, c th , …
HI ( x) = ∑ ny −1 I ( x, y ) và VI ( y ) = ∑ m
x −1 I ( x, y ) (1.1)
1.3.2.2. c tr ng k t c u
1.3.4.6. c v i FloatBoost
Samaria và Young dùng HMM 1-chi u (hình 1-9) và 2-chi u (hình 1-10)
trích c tr ng khuôn m t dùng nh n d ng khuôn m t. HMM khai thác
u trúc c a khuôn m t tuân theo các chuy n ti p tr ng thái. T các cùng có c
tr ng quan tr ng nh : tóc, trán, m t, m i, và mi ng, hai ông phân tích theo t
nhiên t trên xu ng d i, m i vùng c thi t k thành m t tr ng thái 1-chi u.
i nh c phân n chu n thành n m vùng theo th t t trên xu ng d i
o thành n m tr ng thái.
t gi thuy t quan tr ng c a mô hình Markov n là các m u có th c
c tính hóa nh các ti n trình ng u nhiên có tham s và các tham s này c
c l ng chính xác, ây là m t trong nh ng nh ngh a rõ ràng. Khi phát tri n
1.3.5. ng ti p c n t ng h p
CH NG 2: PHÁT HI N KHUÔN M T S D NG
ADABOOST.
2.1. Gi i thi u
Bài toán dò tìm khuôn m t nhanh trên nh là bài toán quan tr ng vì quá
trình nh n d ng i t ng s thi u chính xác n u nh thi u b c dò tìm và nh
c it ng. Bài toán dò tìm khuôn m t nhanh có ý ngh a r t quan tr ng
trong vi c nh n d ng, theo v t các it ng chuy n ng trong các n video
hay camera.
2.1.1. Các h ng ti p c n dò tìm khuôn m t nhanh
ii ( x, y ) = ∑ ∑ i( x' , y ' )
(2.1)
x '≤ x y '≤ y
J ( H M ) = ∑ e − yi H M ( xi ) (2.6)
1 P( y = + 1 | x, ω ( M −1) )
hM ( x ) = log (2.9)
2 P( y = − 1 | x, ω ( M −1) )
(M-1)
i là tr ng s t i th i m M.
Dùng công th c P(y| x, ) = P(x| y, ) P(y) và cho
1 P ( x | y = +1, ω )
LM ( x) = log (2.10)
2 P ( x | y = −1, ω )
1 P( y = +1)
T=
2 P( y = −1)
log (2.11)
M-1 M-1
p(x|y, ) p(z(1), z(2), …, z(M-1), zk, |y, )
(2.12)
M-1 (0)
p(x|y, ) p(z(1)| y, ) p(z(2)| y, (1)
)…
(M-2) (M-1)
p(z(M-1)| y, ) p(zk| y, ) (2.14)
(M-1)
t xác su t p(zk| y, ) cho phân l p d ng y = +1 và phân l p âm
y = -1 có th ph ng oán c t histogram tính c qua ánh giá công nh n
tr ng c a các ví d hu n luy n s d ng các tr ng s (M-1).
Cho :
P( z k | y = +1, ω ( M −1) )
L(kM ) ( x) = , và hk( M ) ( x) = {
1 (M )
Lk ( x ) − T } (2.15)
P( z k | y = −1, ω ( M −1) ) 2
{
Γ ( M ) ( x) = hk( M ) ( x) | ∀k } (2.16)
1. Kh i t o giá tr
1
ωi(0) = v i m u thu c phân l p yi = +1
2a
1
ωi(0) = v i m u thu c phân l p yi = -1
2a
M=0
2. Suy di n ti n
|T | |T | |t i |
G = ∏
i=1
Di = ∏ ∏ i =1 j =1
c ij (2.19)
- Nß
CH NG 3: PHÁT HI N KHUÔN M T
D NG M NG N RON.
3.1.3.1. Synapse:
Input: Cho :
• ng n -ron có num_layer l p (v i num_layer>1).
• i l p có num_of_layer n -ron (num_of_layer>=1).
• Tr ng s w liên k t n -ron ng u nhiên trong kho ng (-a,a).
Output: M ng n -ron nhân t o.
Ki u d li u: ch n l u d ki u m ng :
int num_layer;
int num_of_layer[num_layer];
float w[i][j][k]; v i 2<=i<=num_layer, 1<=j,k<=num_of_layer[] ,
Thu t toán:
- c 1: Ch n l p i=2 là l p b t u (ngay sau l p input).
- c 2: Ch n l p i là l p hi n th i.
- c 3 : T i l p ang xét i , xét n -ron th j .
- c 4: Th c hi n kh i t o ng u nhiên tr ng s k t n i v i n -ron k c a
p i-1 trong kho ng (-a,a).
w(i,j,k)=random(-a,a) (tr ng s k t n i c a n -ron th j c a layer[i] v i n -
ron th k c a layer[i-1] )
- c 5: N u k <= num_of_layer[i-1] quay l i “B c 4”, ng c l i th c
hi n “B c 6”.
- c 6: N u j<=num_of_layer[i] quay l i “B c 3”, ng c l i th c hi n
“B c 7”.
- c 7: N u i<=num_layer quay l i “B c 3”. ng c l i k t thúc.
3.1.6. Hu n luy n m ng n ron.
3.1.6.1. Ph ng pháp h c.
- Có 3 ki u h c chính, m i ki u h c t ng ng v i m t nhi m v h c tr u
ng. ó là h c có giám sát (có m u), h c không giám sát và h c t ng
ng. Thông th ng lo i ki n trúc m ng nào c ng có th áp ng c
yêu c u c a th c t .
v c có giám sát.
t thành ph n không th thi u c a ph ng pháp này là s có m t c a m t
ng i th y ( bên ngoài h th ng) nh ta th y hình 3-4 . Ng i th y này có
ki n th c v môi tr ng th hi n qua m t t p h p các c p u vào - u ra ã
c bi t tr c. H th ng h c ( ây là m ng n -ron) s ph i tìm cách thay i
các tham s bên trong c a mình (các tr ng s và các ng ng) t o nên m t
ánh x có kh n ng ánh x các u vào thành các u ra mong mu n. S thay
i này c ti n hành nh vi c so sánh gi a u ra th c s và u ra mong
mu n.
v c không giám sát.
Trong h c không có giám sát, ta c cho tr c m t s d li u x và hàm
chi phí c n c c c ti u hóa có th là m t hàm b t k c a d li u x và u ra
a m ng, f – hàm chi phí c quy t nh b i phát bi u c a bài toán. Ph n l n
các ng d ng n m trong vùng c a các bài toán c l ng nh mô hình hóa
th ng kê, nén, l c (filtering), phân nhóm (clustering).
u vào tr ng thái
a môi tr ng
Môi tr ng Th y giáo
u ra
mong mu n
u ra th c
th ng
h c
Sai s
v c t ng c ng.
li u x th ng không c t o tr c mà c t o ra trong quá trình m t
agent t ng tác v i môi tr ng. T i m i th i m t, agent th c hi n hành ng
yt và môi tr ng t o m t quan sát xt v i m t chi phí t c th i Ct, theo m t quy
trình ng nào ó (th ng là không c bi t). M c tiêu là m t sách l cl a
ch n hành ng c c ti u hóa m t chi phí dài h n nào ó, ngh a là chi phí tích
y mong i. Quy trình ho t ng c a môi tr ng và chi phí dài h n cho m i
sách l c th ng không c bi t, nh ng có th cl ng c. M ng n -ron
nhân t o th ng c dùng trong h c t ng c ng nh m t ph n c a thu t toán
toàn c c. Các bài toán th ng c gi i quy t b ng h c t ng c ng là các bài
toán u khi n, trò ch i và các nhi m v quy t nh tu n t (sequential decision
making) khác.
3.1.6.2. Thu t toán h c.
d
+ 1,
∑v w
i =1
i i >t
output = d (3.1)
− 1,
∑v w
i =1
i i ≤t
d
+ 1,
∑v w i i >0
d
= sign ∑ v i w i
i=0
output = d
i =0 (3.2)
− 1,
∑ vi wi ≤ 0
i =0
Thu t toán:
Thu t toán h c c a perceptron hay m ng n -ron m t l p g m 3 b c
chính:
c 1: Kh i t o:
kh i t o tr ng s w (0 ho c ng u nhiên).
ch n t c h c µ.
c2 :H c
V i m i m u (x,t) trong t p h c.
Tính y=f(x, w).
N u y!=t thay i vect tr ng s w v i:
w(m i (c )+ µ(t-y)x;
c 3: l p l i b c 2 cho t t c các m u.
- Hàm l i
1
E ( z) = ( z − 1) 2 Giá tr th t c a
2 u hu n luy n (3.5)
∂E ∂E ∂z ∂v
=
∂b ∂z ∂v ∂b (3.6)
- Ta có:
∂E
= (z − t)
∂z
∂z ∂g
= = z (1 − z )
∂v ∂v (3.7)
∂v 1, i = 0
=
∂b1 yi , i > 0
- t:
∂E ∂z
p= = ( z − t ) z ( z − 1) (3.8)
∂z ∂v
- Ta c:
∂E p i = 0
=
∂bi pyi i > 0 (3.9)
- -ron t ng n:
x1
a1
x2 a2
M (3.10)
M ad
a0
xd I
y = g(u)
d
u = a0 + ∑ xi ai
i =1
∂E ∂E ∂y ∂u
=
∂a ∂y ∂u ∂a (3.11)
- Ta có:
∂E K ∂E ∂zi ∂vi
=∑
∂y i =1 ∂zi ∂vi ∂y
∂E ∂zi
= ( zi − ti ) zi (1 − zi ) = pi
∂zi ∂vi
∂vi
= bi
∂y
∂y
= y (1 − y ) (3.12)
∂u
∂u 1, j = 0
=
∂a j c j , j > 0
- t:
∂E ∂y K
q= = ∑ pi bi y (1 − y ) (3.13)
∂y ∂u i =1
- Ta c:
∂E q i = 0
=
∂a1 qxi i > 0 (3.14)
∂E
wi = wi − µ
∂wi (3.15)
3.2. Chu n b d li u
3.2.1. Gi i thi u
x
x' s cos ϑ − s sin ϑ x t x a − b t x
= . + = . y
y ' s sin ϑ s cos ϑ y y t b a t (3.16)
y
1
u có nhi u t p to t ng ng, có th vi t nh sau:
x1 − y1 1 0 x1'
y a '
1 x1 0 1 y1
b
x2 − y 2 1 0 . = x 2'
t x ( (3.17)
y2 x2 0 1 y 2'
y M
t
M
a
(x y 1) . b = I ( x , y ) (3.19)
c
Ti n x lí t p m u h c Ti n x lí các c a s
Gi l i v trí các m u là
khuôn m t
t h p các khuôn m t
mà v trí trùng l p
Các khuôn m t
i các v trí
khác nhau
Mô t l u :
- c 1: Ti p nh n nh u vào có ch a các khuôn m t.
- c 2: ánh d u các v trí có kh n ng là các khuôn m t trên nh.
ây là b c lo i a s nh ng v trí không ph i là khuôn m t, ch
gi l i m t s ít nh ng v trí có kh n ng là khuôn m t.
- c 3: Th c hi n chu n hóa d li u t i nh ng n i ã ánh d u
c 2 b ng các ph ng pháp: cân b ng l c c i thi n sáng
và t ng ph n
- c 4: Ki m tra nh ng v trí ã c chu n hóa b c 3 có th t s
là khuôn m t hay không? Công vi c này c th c hi n b i m ng
-ron ã c hu n luy n v i nhi u nh m u là khuôn m t và không
khuôn m t.
- c 5: a ra quy t nh âu là khuôn m t. Vi c làm này c th c
hi n b ng vi c k t h p nhi u m ng và m t s heuristic n gi n.
CH NG 4: CÀI T NG D NG.
4.3. t qu
(a) (b)
(c) (d)
Hình 4-7: (a) nh v i môi tr ng n n ph c t p; (b) và (c) là nh khuôn m t
i các t th khác nhau, (d) là nh khuôn m t b che khu t m t ph n.
4.4. Nh n xét
dò tìm khuôn m t s d ng m ng N -ron th c hi n t ng i t t, tk t
qu kh quan khi dò tìm khuôn m t.
dò tìm khuôn m t s d ng m ng N -ron nh n bi t r t t t nh ng khuôn
t v i các t th khác nhau: th ng ng (hình 4-6), không th ng ng
(hình 4-7 b,c) ho c b che khu t m t ph n (hinh 4-7 d).
dò tìm th nghi m th c hi n dò tìm không t c k t qu nh mong
mu n trong môi tr ng nh có nhi u m t ng i. Nh hình 4-8 thì b dò tìm phát
hi n c 7/11 khuôn m t, phát hi n nh m l n 4 vùng có khuôn m t.
Xây d ng ch ng trình dò tìm khuôn m t s d ng m ng n -ron nh trên
ch mang tính ch t th nghi m thu t toán, c n ph i phát tri n nhi u h n n a
có th áp d ng vào trong th c t .
T LU N
TÀI LI U THAM KH O