2 0 0 5 7 t h I n t e r n a t i o n a l C o n f e r e n c e o n I n f o r m a t i o n F u s i o n ( F U S I O N )

Apa r t i c l e f i l t e r f o r j o i n t d e t e c t i o n a n d t r a c k i n g o f
m u l t i pl e o b j e c t s i n c o l o r vi d e o s e qu e n c e s
J a c e k C z y z
U C L-TELE
B a t i m e n t S t e vi n
P l a c e d u Le va n t 2
1 3 4 8 Lo u va i n -l a -N e u ve
B e l g i u m
c z y z @ t e l e . u c l . a c . b e
B r a n k o R i s t i c
DS TO
I S R D 2 0 0 l a b s
P O B o x 1 5 0 0
Ed i n b u r g h S A5 1 1 1
Au s t r a l i a
b r a n k o . r i s t i c @ d s t o . d e f e n c e . g o v. a u
B e n o i t Ma c q
U C L-TELE
B a t i m e n t S t e vi n
P l a c e d u Le va n t 2
1 3 4 8 Lo u va i n -l a -N e u ve
B e l g i u m
m a c q@ t e l e . u c l . a c . b e
Ab s t r a c t - Th e pa pe r pr e s e n t s a pa r t i c l e f i l t e r f o r i n t e g r a t e d
d e t e c t i o n a n d t r a c k i n g o f m u l t i pl e o b j e c t s i n i m a g e s e qu e n c e s ,
u s i n g c o l o r a s t h e o b s e r va t i o n f e a t u r e . Th e c o l o r b a s e d f e a t u r e h a s
b e e n f o u n d u s e f u l w h e n d e a l i n g w i t h n o n -r i g i d o b j e c t d e f o r m a -
t i o n s , pa r t i a l o c c l u s i o n s , r a pi d l y c h a n g i n g d y n a m i c s a n d c o m pl e x
b a c k g r o u n d s . Th e pr o b l e m o f j o i n t d e t e c t i o n a n d t r a c k i n g i s f o r -
m u l a t e d a s a h y b r i d va l u e d s e qu e n t i a l s t a t e e s t i m a t i o n pr o b l e m ,
i n c o r po r a t i n g a d i s c r e t e va r i a b l e w h i c h r e pr e s e n t s t h e n u m b e r
o f e x i s t i n g o b j e c t s . Th e s o l u t i o n i s i m pl e m e n t e d i n t h e f o r m o f
a pa r t i c l e f i l t e r . Th e pe r f o r m a n c e o f t h e pr o po s e d a l g o r i t h m i s
e va l u a t e d o n va r i o u s r e a l -w o r l d vi d e o s e qu e n c e s w i t h o b j e c t s
e n t e r i n g a n d l e a vi n g t h e s c e n e .
K e y w o r d s : C o m pu t e r vi s i o n , pa r t i c l e f i l t e r , m u l t i -t a r g e t
t r a c k i n g , d e t e c t i o n , c o l o r h i s t o g r a m .
I . I N TR O DU C TI O N
Tr a c k i n g m o vi n g o b j e c t s i n vi d e o s e qu e n c e s h a s m a n y a p-
pl i c a t i o n s , r a n g i n g f r o m vi d e o s u r ve i l l a n c e , h u m a n -c o m pu t e r
i n t e r f a c e s , i n t e l l i g e n t r o b o t i c s , e t c . Th e o b j e c t i ve i s t o d e t e c t
a n d t r a c k n o n -po i n t ( e x t e n d e d ) t a r g e t s w h i c h c a n u n d e r g o n o n -
r i g i d d e f o r m a t i o n s , r o t a t i o n s o r pa r t i a l o c c l u s i o n s . Ty pi c a l l y ,
t h e t r a c k i n g t a s k i s c a r r i e d o u t i n t h e f r a m e w o r k o f t h e
s e qu e n t i a l s t a t e -s pa c e e s t i m a t i o n , u s i n g K a l m a n b a s e d f i l t e r s
[ 1 ] .
Th i s pa pe r d e s c r i b e s a pa r t i c l e f i l t e r f o r j o i n t d e t e c t i o n a n d
t r a c k i n g o f a va r y i n g n u m b e r o f m u l t i pl e o b j e c t s i n a vi d e o
s e qu e n c e , u s i n g c o l o r a s t h e o b j e c t f e a t u r e . Th e w o r k e vo l ve s
f r o m [ 2 ] , w h e r e a pa r t i c l e f i l t e r f o r s i n g l e o b j e c t t r a c k i n g u s i n g
c o l o r h i s t o g r a m s h a s b e e n d e s c r i b e d . Th e c o l o r i s a u s e f u l
f e a t u r e t o e x pl o i t f o r t r a c k i n g b e c a u s e i t c a n h a n d l e n o n -r i g i d
d e f o r m a t i o n s o f t h e t a r g e t a s w e l l a s t h e c h a n g i n g d y n a m i c s i n
t h e c o m pl e x u n k n o w n b a c k g r o u n d . C o n c e pt u a l l y , h o w e ve r , t h e
c o l o r c a n b e r e pl a c e d b y o t h e r o b j e c t f e a t u r e s , s u c h a s s h a pe
o r c o n t o u r . Th e s t a t e ve c t o r t y pi c a l l y c o n s i s t s o f k i n e m a t i c
va r i a b l e s ( po s i t i o n , ve l o c i t y ) a n d o b j e c t s i z e va r i a b l e s . Th e k e y
f e a t u r e i n o u r a ppr o a c h i s t h e a u g m e n t a t i o n o f t h e s t a t e ve c t o r
b y a d i s c r e t e r a n d o m va r i a b l e w h i c h r e pr e s e n t s t h e n u m b e r o f
e x i s t i n g o b j e c t s i n a vi d e o s e qu e n c e . Th i s r a n d o m va r i a b l e i s
m o d e l e d a s a n M-s t a t e Ma r k o v c h a i n . I n t h i s w a y , t h e pr o b l e m
o f j o i n t d e t e c t i o n a n d t r a c k i n g o f m u l t i pl e o b j e c t s t r a n s l a t e s
i n t o a h y b r i d va l u e d ( c o n t i n u o u s -d i s c r e t e ) s e qu e n t i a l s t a t e
e s t i m a t i o n pr o b l e m , w h i c h c a n b e c o n ve n i e n t l y s o l ve d i n t h e
B a y e s i a n f r a m e w o r k u s i n g s e qu e n t i a l Mo n t e C a r l o m e t h o d s .
Th e r e s u l t i s a n a l g o r i t h m w h i c h i n t e g r a t e s d e t e c t i o n o f o b j e c t s
e n t e r i n g o r l e a vi n g t h e s c e n e , a n d t r a c k i n g o f t h o s e w i t h i n t h e
s c e n e .
P a r t i c l e f i l t e r s f o r h y b r i d s e qu e n t i a l s t a t e e s t i m a t i o n pr o b l e m
h a ve b e e n a ppl i e d i n o t h e r c o m pu t e r vi s i o n a ppl i c a t i o n s . I n
[ 3 ] t h e pa r t i c l e f i l t e r s w i t c h e s b e t w e e n d i f f e r e n t o b j e c t m o t i o n
m o d e l s , w i t h t h e d i s c r e t e -va r i a b l e i n t h e s t a t e ve c t o r e n c o d i n g
w h i c h o f t h e m o t i o n m o d e l s i s a c t i ve . I n [ 4 ] a h y b r i d s t a t e -
s pa c e a ppr o a c h w a s pr o po s e d f o r g e s t u r e / e x pr e s s i o n r e c o g -
n i t i o n . Th e B a y e s i a n Mu l t i pl e -B l o b Tr a c k e r ( B r a MB Le ) [ 5 ]
pr e s e n t s a m u l t i pl e -pe r s o n t r a c k i n g s y s t e m b a s e d o n s t a t i s t i c a l
a ppe a r a n c e m o d e l s . S i m i l a r t o o u r a ppr o a c h , t h e s t a t e ve c t o r
i s a u g m e n t e d w h e n a n e w o b j e c t e n t e r s t h e s c e n e ( a n d vi c e
ve r s e ) .
Th e pa pe r i s o r g a n i z e d a s f o l l o w s . Th e m o d e l i n g a n d
pr o b l e m f o r m u l a t i o n a r e d e s c r i b e d i n S e c t i o n 2 . Th e c o n -
c e pt u a l s o l u t i o n w i t h i n t h e f r a m e w o r k o f s e qu e n t i a l B a y e s i a n
e s t i m a t i o n i s pr e s e n t e d i n S e c t i o n 3 . Th e i m pl e m e n t a t i o n o f
t h e c o n c e pt u a l s o l u t i o n i n t h e f o r m o f a pa r t i c l e f i l t e r i s g i ve n
i s S e c t i o n 4 . Ex pe r i m e n t a l r e s u l t s a r e s h o w n i n S e c t i o n 5 ,
f o l l o w e d b y c o n c l u s i o n s i n S e c t i o n 6 .
I I . P R O B LEM F O R MU LATI O N
Th e a i m i s t o pe r f o r m s i m u l t a n e o u s d e t e c t i o n a n d t r a c k i n g
o f o b j e c t s d e s c r i b e d b y t h e s a m e c o l o r h i s t o g r a m 1 q* , i n a
vi d e o s e qu e n c e Z k =
{ Z I , Z 2 , .
. . , Z k } , w h e r e
z j ,
i s t h e i m a g e
f r a m e a t d i s c r e t e -t i m e ( s e qu e n c e ) i n d e x j = 1 , . . . , k . Th i s
t a s k i s t o b e pe r f o r m e d i n a s e qu e n t i a l m a n n e r , t h a t i s a s
t h e i m a g e f r a m e s b e c o m e a va i l a b l e o ve r t i m e . Th e n e x t t h r e e
s u b s e c t i o n s d e s c r i b e t h e a d o pt e d m o d e l s o f o b j e c t m o t i o n ,
o b j e c t a ppe a r a n c e a n d d i s a ppe a r a n c e , a n d t h e m e a s u r e m e n t
l i k e l i h o o d f u n c t i o n .
A. S t a t e ve c t o r a n d d y n a m i c m o d e l
Th e s t a t e ve c t o r o f a s i n g l e o b j e c t t y pi c a l l y c o n s i s t s o f
k i n e m a t i c a n d r e g i o n ( o r s h a pe ) pa r a m e t e r s , a s i n [ 2 ] . We a d o pt
1 N o t e t h a t i f t h e o b j e c t s t o b e d e t e c t e d a n d t r a c k e d a r e c h a r a c t e r i z e d b y
s a y t w o d i f f e r e n t c o l o r h i s t o g r a m s , t h e pr o b l e m c a n b e d e c o u pl e d i n t o t w o
c o m pl e t e l y i n d e pe n d e n t pr o b l e m s .
0 -7 8 0 3 -9 2 8 6 -8 / 0 5 1 $ 2 0 . 0 0 2 0 0 5 I EEE 1 7 6
t h e f o l l o w i n g s t a t e ve c t o r
X k
=
[ X k Y k H .
H y ] T,
( 1 )
w h e r e ( x , y ) d e n o t e s t h e c e n t e r o f t h e i m a g e r e g i o n ( i n o u r
c a s e a r e c t a n g l e ) w i t h i n w h i c h t h e c o m pu t a t i o n o f o b j e c t ' s
c o l o r h i s t o g r a m i s c a r r i e d o u t ; H z a n d
H .
d e n o t e t h e i m a g e
r e g i o n pa r a m e t e r s ( i n o u r c a s e i t s w i d t h a n d h e i g h t ) ; s u pe r -
s c r i pt T i n ( 1 ) s t a n d s f o r t h e m a t r i x t r a n s po s e . O b j e c t m o t i o n
a n d t h e d y n a m i c s o f i t s s i z e a r e m o d e l e d b y a r a n d o m w a l k ,
t h a t i s t h e s t a t e e qu a t i o n i s l i n e a r a n d g i ve n b y :
X k =
X k -1
+ Wk -1 - ( 2 )
P r o c e s s n o i s e Wk -1 i n ( 2 ) i s a s s u m e d t o b e w h i t e , z e r o -m e a n
G a u s s i a n , w i t h t h e c o va r i a n c e m a t r i x Q . O t h e r m o t i o n m o d e l s
( e . g . c o n s t a n t ve l o c i t y ) a n d h i g h e r d i m e n s i o n a l s t a t e ve c t o r s
( e . g . o n e c o u l d i n c l u d e t h e a s pe c t r a t i o c h a n g e r a t e o f t h e
i m a g e r e g i o n r e c t a n g l e i n t h e s t a t e ve c t o r ) m i g h t b e m o r e
a ppr o pr i a t e d e pe n d i n g o n t h e a ppl i c a t i o n .
B . N u m b e r o f e x i s t i n g o b j e c t s
Ad i s c r e t e -va l u e d r a n d o m va r i a b l e E E E = { 0 , 1 , . . . , M}
d e n o t e s t h e n u m b e r o f e x i s t i n g o b j e c t s i n t h e vi d e o s e qu e n c e ,
w i t h M b e i n g t h e m a x i m u m e x pe c t e d n u m b e r . Th e d y n a m i c s
o f t h i s r a n d o m va r i a b l e i s m o d e l e d b y a n M-s t a t e Ma r k o v
c h a i n , w h o s e t r a n s i t i o n s a r e s pe c i f i e d b y a n ( M+ 1 ) x ( M+ 1 )
t r a n s i t i o n a l pr o b a b i l i t y m a t r i x ( TP M) ] I =
[ l r i j ] , w h e r e
7 -i j
=
P r { Ek
=
i I Ek -1 = i }
( i , j
E
E) ( 3 )
1 -P d -P m
i
C P M1
P r
F i g . 1 . AMa r k o v c h a i n o f Ek va r i a b l e f o r M = 2
C . C o l o r m e a s u r e m e n t m o d e l
F o l l o w i n g [ 6 ] , [ 7 1 , [ 2 ] , w e d o n o t u s e t h e e n t i r e i m a g e Z k a s
t h e m e a s u r e m e n t , b u t r a t h e r w e e x t r a c t f r o m t h e i m a g e t h e
c o l o r h i s t o g r a m qk , c o m pu t e d i n s i d e t h e r e c t a n g u l a r r e g i o n
w h o s e l o c a t i o n a n d s i z e a r e s pe c i f i e d b y t h e s t a t e ve c t o r X k :
t h e c e n t e r o f t h e r e g i o n i s i n ( X k , Y k ) ; t h e s i z e o f t h e r e g i o n
i s d e t e r m i n e d b y
( H x , H y ) .
We a d o pt t h e G a u s s i a n d e n s i t y f o r t h e l i k e l i h o o d f u n c t i o n
o f t h e m e a s u r e d c o l o r h i s t o g r a m a s f o l l o w s :
2 k 1
D
2 _
p( qk J X k )
c x . A/ ( Dk ; 0 , a 2 )
=
;
e x p{
-
2 u 2 ( 4 )
w h e r e Dk = d i s t [ q* , qk ] i s t h e d i s t a n c e b e t w e e n ( i ) t h e
r e f e r e n c e h i s t o g r a m q* o f o b j e c t s t o b e t r a c k e d a n d ( i i ) t h e
h i s t o g r a m qk c o m pu t e d f r o m i m a g e Z k i n t h e r e g i o n d e f i n e d b y
t h e s t a t e ve c t o r X k . Th e s t a n d a r d d e vi a t i o n o r o f t h e G a u s s i a n
d e n s i t y i n ( 4 ) i s a d e s i g n pa r a m e t e r .
S u ppo s e q* =
{ q* ( u ) } . = 1 . . . u
a n d qk
=
{ qk ( U ) } u =1 , . . . , U
a r e t h e t w o h i s t o g r a m s c a l c u l a t e d o ve r U b i n s . Th e d i s t a n c e
Dk b e t w e e n t w o h i s t o g r a m s i s d e r i ve d i n [ 6 ] f r o m t h e B h a t -
t a c h a r y y a s i m i l a r i t y c o e f f i c i e n t a n d d e f i n e d a s :
i s t h e pr o b a b i l i t y o f a t r a n s i t i o n f r o m i o b j e c t s e x i s t i n g a t t i m e
k - 1 t o j o b j e c t s a t t i m e k . Th e e l e m e n t s o f t h e TP M s a t i s f y
1 j =1
7 r i j
= 1 f o r e a c h i , j E E. Th e d y n a m i c s o f va r i a b l e
E i s f u l l y s pe c i f i e d b y t h e TP M a n d i t s i n i t i a l pr o b a b i l i t i e s a t
t i m e k =0 , i . e .
pi
=P r { Eo =i } , f o r i =0 , 1 , . . . , M.
F o r i l l u s t r a t i o n , i f w e w e r e t o d e t e c t a n d t r a c k a s i n g l e o b j e c t
( i . e . M = 1 ) , t h e TP M i s a 2 x 2 m a t r i x g i ve n b y :
[ ,
[ ( 1
-P b ) P b d )
P d
( 1 -P d ) ]
w h e r e P b a n d P d r e pr e s e n t t h e pr o b a b i l i t y o f o b j e c t
" b i r t h " ( e n t e r i n g t h e s c e n e ) a n d " d e a t h " ( l e a vi n g t h e s c e n e ) ,
r e s pe c t i ve l y . S i m i l a r l y , f o r M = 2 , a po s s i b l e Ma r k o v c h a i n
w h i c h d o e s n o t a l l o w t r a n s i t i o n s f r o m z e r o t o t w o o b j e c t s a n d
f r o m t w o t o z e r o o b j e c t s , i s s h o w n i n F i g u r e 1 . Th e TP M o f
t h i s m o d e l i s g i ve n b y :
( 1 -P b )
I I I =
P d
[ 0
P b
( 1 -P d -P m )
P r
0
P m
( 1 -P r )
Ag a i n P b , P d , P m a n d P r a r e t h e d e s i g n pa r a m e t e r s . F o r h i g h e r
va l u e s o f M a s i m i l a r m o d e l m u s t b e a d o pt e d .
u
Dk = 1 -S +/ q* ( u ) qk ( U ) .
u =l
( 5 )
Th e c o m pu t a t i o n o f h i s t o g r a m s i s t y pi c a l l y d o n e i n t h e R G B
s pa c e o r H S V s pa c e [ 2 ] . Aw e i g h t i n g f u n c t i o n , w h i c h a s s i g n s
s m a l l e r w e i g h t s t o t h e pi x e l s t h a t a r e f u r t h e r a w a y f r o m t h e
r e g i o n c e n t e r , i s o f t e n a ppl i e d i n c o m pu t i n g t h e h i s t o g r a m s .
I n t h i s w a y t h e r e l i a b i l i t y o f t h e c o l o r d i s t r i b u t i o n i s i n c r e a s e d
w h e n b o u n d a r y pi x e l s b e l o n g t o t h e b a c k g r o u n d o r g e t o c -
c l u d e d .
N o t e t h a t t h e d e s c r i b e d m e a s u r e m e n t l i k e l i h o o d f u n c t i o n i s
n o t n e c e s s a r i l y r e s t r i c t e d t o c o l o r vi d e o s e qu e n c e s - r e c e n t l y
i t h a s b e e n a ppl i e d f o r d e t e c t i o n a n d t r a c k i n g o f o b j e c t s i n
m o n o c h r o m a t i c F LI R i m a g e r y [ 8 ] .
I I I . TH E C O N C EP TU AL S O LU TI O N
Th i s s e c t i o n d e s c r i b e s t h e c o n c e pt u a l s o l u t i o n t o i n t e g r a t e d
d e t e c t i o n a n d t r a c k i n g o f m u l t i pl e o b j e c t s i n t h e s e qu e n t i a l
B a y e s i a n e s t i m a t i o n f r a m e w o r k , f o r t h e m o d e l s d e s c r i b e d i n
t h e pr e vi o u s s e c t i o n .
Le t u s f i r s t i n t r o d u c e a n e w s t a t e ve c t o r Y k , w h i c h c o n s i s t s
o f va r i a b l e Ek a n d t h e s t a t e ve c t o r x k f o r e a c h " e x i s t i n g "
1 7 7
o b j e c t . Th e s i z e o f Y k d e pe n d s o n t h e va l u e o f Ek t h a t
r Ek
i f
Ek
=0
I [ x l k Ek ] T
i f
Ek =1
Y k j EX Tk k Ek ] T
i f
Ek =2
I [ X T, k . . . X M, k Ek ] T i f Ek =M
w h e r e X m , k i s t h e s t a t e ve c t o r o f o b j e c t m = 1 , . . . , I
t i m e k . G i ve n t h e po s t e r i o r d e n s i t y P ( Y k -1 I Z k -1 ) , a n c
l a t e s t a va i l a b l e i m a g e Z k i n t h e vi d e o s e qu e n c e , t h e g c
t o c o n s t r u c t t h e po s t e r i o r d e n s i t y a t t i m e k , t h a t i s
P ( Y k J
Th i s pr o b l e m i s a n i n s t a n c e o f s e qu e n t i a l h y b r i d e s t i m a
s i n c e o n e c o m po n e n t o f t h e s t a t e ve c t o r i s d i s c r e t e va
w h i l e t h e r e s t i s c o n t i n u o u s va l u e d .
O n c e t h e po s t e r i o r pd f P ( Y k | Z k ) i s k n o w n , t h e pr o b a l
P m = P r { Ek -
m l Z k }
t h a t t h e r e a r e m o b j e c t s i n a N
s e qu e n c e a t t i m e k i s c o m pu t e d a s t h e m a r g i n a l o f P ( Y k
i . e . :
P m J
J P ( x l , k ,
. . . , X m , k , Ek
-
m I Z k )
d X l , k
. . .
d x m , k
f o r m = 1 , . . . , M. Th e c a s e m = 0 i s t r i vi a l , s i n c e i n t h i s
P ( Y k I Z k ) r e d u c e s t o P r { Ek = O I Z k } . Th e MAP e s t i m a
t h e n u m b e r o f o b j e c t s a t t i m e k i s t h e n d e t e r m i n e d a s :
r n k
=
a r g m a x
P
m =0 , l , . . . , M
Th i s e s t i m a t e pr o vi d e s t h e m e a n s f o r a u t o m a t i c d e t e c t i c
n e w o b j e c t a ppe a r a n c e a n d t h e e x i s t i n g o b j e c t d i s a ppe a r ,
Th e po s t e r i o r pd f s o f s t a t e c o m po n e n t s c o r r e s po n d i n
i n d i vi d u a l o b j e c t s i n t h e s c e n e a r e t h e n c o m pu t e d a s
m a r g i n a l s o f pd f p( x l , k ,
. -
I X . , k v Ek
=- n Z k ) .
Th e f o r m a l B a y e s i a n r e c u r s i ve s o l u t i o n t o t h e d e s c i
pr o b l e m o f s e qu e n t i a l h y b r i d e s t i m a t i o n c a n b e pr e s e n t c
a t w o s t e p pr o c e d u r e c o n s i s t i n g o f pr e d i c t i o n a n d u pd a t e
Ek = m t h e pr e d i c t e d d e n s i t y c a n b e e x pr e s s e d a s :
M
p( X l , k , . . .
,
X m , k , Ek
=
m I Z k -1 ) =
Epj
j =O
w h e r e , u s i n g n o t a t i o n
X k - X 1 , k . . . X j , k ,
w e h a ve
pj - J p( X k m , Ek = m I X 3 k -, Ek -1 j , Z k -1 )
>
p( X 3 Ek -1
=
j I Z k -1 ) d X k -1
f o r j
=
0 , . . . , M. Equ a t i o n ( 9 ) i s a pr e d i c t i o n s t e p b e c
o n i t s r i g h t h a n d s i d e ( R H S ) f e a t u r e s t h e po s t e r i o r pd f a t
k - 1 . F u r t h e r s i m pl i f i c a t i o n o f ( 1 1 ) f o l l o w s f r o m
p( X m ,
Ek
= m I X 3 _ 1 , Ek -1 j , Z k -1 )
P ( X k | I X -k ' -Ek Tn m , Ek -1
-
j ) X
P r { Ek = m I Ek . 1-
i } -
N o t e t h a t t h e s e c o n d t e r m o n t h e R H S o f ( 1 2 ) i s a n e l e m e n t
o f t h e TP M, i . e . P r { Ek =
m l Ek _
= -=r j m . As s u m i n g
t h a t o b j e c t s ' s t a t e s ( k i n e m a t i c s , s i z e pa r a m e t e r s ) a r e m u t u a l l y
i n d e pe n d e n t , t h e f i r s t t e r m o f t h e R H S o f ( 1 2 ) c a n b e e x pr e s s e d
a s :
P ( X kM| X 3 _ Ek
=
m , Ek -1
=
i ) =
m
| P ( X i , k l | X i , k -1 )
i =l
i m
H 1 P ( X i , k I X i , k -1 ) H P b ( X i , k )
i =l i =j +l
I i
[ i P ( X i , k l X i , k -1 ) ] i
' k i =l
i f m =
j
i f m > i
( 1 3 )
i f m <j
w h e r e
* p( X i , k I x i , k -1 ) i s t h e t r a n s i t i o n a l d e n s i t y o f o b j e c t i ,
d e f i n e d b y t h e o b j e c t d y n a m i c m o d e l , s e e f o r e x a m pl e
( 2 ) .
* P b ( X i , k )
i s t h e i n i t i a l
o b j e c t pd f
o n i t s
a ppe a r a n c e ,
w h i c h
i n t h e B a y e s i a n f r a m e w o r k i s a s s u m e d t o b e k n o w n
( s u b s c r i pt b s t a n d s f o r " b i r t h " ) . F o r e x a m pl e , w e c a n
e x pe c t t h e o b j e c t t o a ppe a r i n a c e r t a i n r e g i o n ( e . g . a l o n g
t h e e d g e s o f t h e i m a g e ) , w i t h a c e r t a i n ve l o c i t y , l e n g t h
a n d w i d t h . I f t h i s i n i t i a l k n o w l e d g e i s i m pr e c i s e , w e c a n
m o d e l P b ( X i , k ) w i t h a u n i f o r m d e n s i t y .
* 6 1 , 6 2 , . . .
, 6 j ,
w h i c h f e a t u r e s i n t h e c a s e m < j , i s
a r a n d o m b i n a r y s e qu e n c e , s u c h t h a t 6 i E { O , 1 } a n d
=1
m .
Th e u pd a t e s t e p r e s u l t s f r o m t h e a ppl i c a t i o n o f t h e B a y e s
r u l e a n d f o r m a l l y s t a t e s :
p( X ' , Ek
=
m I J Z k )
=
P ( z k
I X m , Ek =
m ) p( X m j , Ek
=
m | Z k -1 ) k
( k Z , 1 ( 1 4 )
P ( Z k I Z k -1 )
w h e r e p( X m , Ek
=
m I Z k -1 ) i s t h e pr e d i c t i o n d e n s i t y g i ve n
b y ( 9 ) a n d
P ( Z k I X k m ,
Ek = m ) i s t h e i m a g e l i k e l i h o o d
f u n c t i o n . As d e s c r i b e d i n S e c t i o n 1 1 -C , f r o m i m a g e Z k w e
e x t r a c t c o l o r h i s t o g r a m s a n d u s e t h e m a s t h e m e a s u r e m e n t s .
I n t h e a d o pt e d f r a m e w o r k o f m u l t i pl e o b j e c t s , t h i s m e a n s t h a t
w e r e pl a c e
P ( Z k l X m ,
Ek = m ) w i t h
m
( 1 0 )
p( ql , k , . .
,
qm , k J X ' ,
Ek
=
m )
=
I J p( qi , , , ) ,
i =i
( 1 5 )
w h e r e qj , k i s a c o l o r h i s t o g r a m c o m pu t e d f r o m Z k i n t h e r e g i o n
s pe c i f i e d b y X i , k . Th u s b a s e d o n ( 4 ) a n d ( 5 ) w e f o r m a l l y w r i t e :
=c
1
e x p{ -_ l m
P ( Z k l X m , E e x pf i i k
( 1 6 )
Ll l l l
w h e r e Di , k
=
d i s t [ q* ,
qi , k ]
i s t h e d i s t a n c e b e t w e e n i -t h o b j e c t
c o l o r h i s t o g r a m a n d t h e r e f e r e n c e c o l o r h i s t o g r a m .
Th e d e s c r i b e d c o n c e pt u a l s o l u t i o n f o r s i m u l t a n e o u s d e -
t e c t i o n a n d t r a c k i n g o f m u l t i pl e o b j e c t s n e x t h a s t o b e
i m pl e m e n t e d . Th e m a i n d i f f i c u l t y i s a h i g h l y n o n -G a u s s i a n
( 1 2 )
l i k e l i h o o d f u n c t i o n s pe c i f i e d b y ( 1 6 ) a n d ( 5 ) .
1 7 8
I V. P AR TI C LE F I LTER
P a r t i c l e f i l t e r s a r e s e qu e n t i a l Mo n t e C a r l o t e c h n i qu e s s pe c i f -
i c a l l y d e s i g n e d f o r s e qu e n t i a l B a y e s i a n e s t i m a t i o n w h e n s y s -
t e m s a r e n o n -l i n e a r a n d r a n d o m e l e m e n t s a r e n o n -G a u s s i a n .
We i m pl e m e n t t h e c o n c e pt u a l s o l u t i o n d e s c r i b e d i n t h e pr e -
vi o u s s e c t i o n i n t h e f o r m o f a pa r t i c l e f i l t e r . P a r t i c l e f i l t e r s
a ppr o x i m a t e t h e po s t e r i o r d e n s i t y P ( Y k Z k ) b y a w e i g h t e d
s e t o f r a n d o m s a m pl e s o r pa r t i c l e s . I n o u r c a s e , a pa r t i c l e o f
i n d e x n i s c h a r a c t e r i s e d b y a c e r t a i n va l u e o f Ek va r i a b l e
a n d t h e c o r r e s po n d i n g n u m b e r o f s t a t e ve c t o r s x k w h e r e
i -1 , . . . , Ek n
, i . e .
w h e r e N i s t h e n u m b e r o f pa r t i c l e s . Th e ps e u d o -c o d e o f t h e
m a i n s t e ps o f t h i s f i l t e r ( s i n g l e c y c l e ) a r e pr e s e n t e d i n Ta b l e I .
N e x t w e d e s c r i b e i n m o r e d e t a i l e a c h s t e p o f t h i s a l g o r i t h m .
Th e i n pu t t o t h e P F a r e t h e pa r t i c l e s a t t i m e k - 1 a n d t h e
i m a g e a t t i m e k ; t h e o u t pu t a r e t h e pa r t i c l e s a t t i m e k . Th e f i r s t
s t e p i n t h e a l g o r i t h m r e pr e s e n t s r a n d o m t r a n s i t i o n o f E' 1 t o
Ek
b a s e d o n t h e TP M H . Th e ps e u d o -c o d e o f t h i s s t e p i s
g i ve n i n Ta b l e 3 . 9 o f [ 9 ] .
S t e p 2 . a o f Ta b l e I f o l l o w s f r o m e qu a t i o n ( 1 3 ) . I f EJ l 1
Ek ,
t h e n w e d r a w
X l , k p( X k l z k ,
X n
k -l )
f o r i =1 , . . . , En .
I n o u r i m pl e m e n t a t i o n w e u s e t h e t r a n s i t i o n a l pr i o r f o r t h i s
pu r po s e ,
t h a t i s
X n
k
'
p( x k I X zk -l )
I f t h e n u m b e r o f
o b j e c t s
i s i n c r e a s e d f r o m k - 1 t o k , i . e .
Ek _ 1
<
Ek ,
t h e n f o r
t h e o b j e c t s t h a t c o n t i n u e t o e x i s t w e d r a w X n k u s i n g t h e
t r a n s i t i o n a l pr i o r ( a s a b o ve ) , b u t f o r t h e n e w b o r n o b j e c t s w e
d r a w pa r t i c l e s f r o m pb ( X k ) . F i n a l l y i f
Ek _ l
>
Ek ,
w e s e l e c t
a t r a n d o m Ek n o b j e c t s f r o m t h e po s s i b l e En k l , w i t h e qu a l
pr o b a b i l i t y . Th e s e l e c t e d o b j e c t s c o n t i n u e t o e x i s t ( t h e o t h e r s
d o n o t ) a n d f o r t h e m w e d r a w pa r t i c l e s u s i n g t h e t r a n s i t i o n a l
pr i o r ( a s a b o ve ) .
S t e p 2 . b f o l l o w s f r o m e qu a t i o n s ( 1 5 ) a n d ( 1 6 ) . I n o r d e r t o
pe r f o r m i t s r o l e o f a d e t e c t o r , t h e pa r t i c l e f i l t e r c o m pu t e s i t s
i m po r t a n c e w e i g h t s b a s e d o n t h e l i k e l i h o o d r a t i o
p
r r
( qi ,
k
I X i , k )
( L
f t p( q' , k J X i , k )
w h e r e qi k i s t h e c o l o r h i s t o g r a m o f t h e i m a g e b a c k g r o u n d
c o m pu t e d i n t h e r e g i o n s pe c i f i e d b y X i , k . U s i n g t h e G a u s s i a n
m o d e l ( 4 ) o f t h e d i s t a n c e b e t w e e n t h e h i s t o g r a m s , t h e u n n o r -
m a l i s e d i m po r t a n c e w e i g h t s a r e c o m pu t e d f o r e a c h pa r t i c l e
a s :
i f En
- 0
1 7 V
n
pn ( 1 8 ) w k
=
-
k 2
] ( 8
C B e x p { v ( D
n k ) } J
i f En > 0
w h e r e
Dn k
-
d i s t
[ q* ,
qn k ( z k ) ]
( 1 9 )
i s t h e d i s t a n c e b e t w e e n t h e r e f e r e n c e h i s t o g r a m q* a n d t h e
h i s t o g r a m qn k c o m pu t e d f r o m Z k . F u r t h e r m o r e ,
C B
2 a 2
E Di
( 2 0 )
{ -( )
w i t h
( 2 1 )
w h e r e Z B i s t h e b a c k g r o u n d i m a g e . N o t e t h a t i f t h e d i s t a n c e
s u m Ei -k 1 Di k i n ( 1 8 ) i s s m a l l e r t h a n t h e b a c k g r o u n d d i s t a n c e
E
n
n , B
s u m
Z Ek i
Dk B t h e n t h e
w e i g h t
t i 9 -k
i s
g r e a t e r
t h a n
1 , a n d
t h i s pa r t i c l e h a s a b e t t e r c h a n c e o f s u r vi va l i n t h e r e s a m pl i n g
s t e p.
S t r i c t l y s pe a k i n g , t h e c o m pu t a t i o n o f C B r e qu i r e s t h a t t h e
c o l o r h i s t o g r a m o f t h e i m a g e b a c k g r o u n d i s k n o w n a t e ve r y
l o c a t i o n o f t h e i m a g e . I n m a n y c a s e s t h i s i s i m pr a c t i c a l
( e s pe c i a l l y w h e n t h e c a m e r a i s m o vi n g a n d t h e b a c k g r o u n d i s
va r y i n g ) , h e n c e w e t r e a t C B a s a d e s i g n pa r a m e t e r ( a c o n s t a n t )
w h i c h i s a d o pt e d t o t a k e i n t o a c c o u n t t h e s i m i l a r i t y b e t w e e n
t h e t a r g e t a n d t h e b a c k g r o u n d h i s t o g r a m .
F o r t h e r e s a m pl i n g s t e p 5 , s t a n d a r d O ( N ) a l g o r i t h m s e x i s t ,
s e e f o r e x a m pl e Ta b l e 3 . 2 i n [ 9 ] .
Th e o u t pu t o f t h e P F ( s t e p 6 ) i s c a r r i e d o u t f o r t h e r e po r t i n g
pu r po s e s , a n d c o n s i s t s o f e s t i m a t i o n o f t h e n u m b e r o f o b j e c t s
m n a n d t h e e s t i m a t i o n o f o b j e c t s ' s t a t e s . Th e n u m b e r o f
o b j e c t s i s e s t i m a t e d b a s e d o n ( 8 ) , w h e r e P r { Ek
-
m l Z k }
i s c o m pu t e d i n t h e P F a s :
1 N
P r { Ek
=
m I Z k }
= N E 6 ( Ek
n
m )
n =l
( 2 2 )
a n d 6 ( i , j )
=
1 , i f i - j , a n d z e r o o t h e r w i s e ( K r o n e k e r d e l t a ) .
Th e e s t i m a t e o f t h e s t a t e ve c t o r o f o b j e c t i = 1 , . . , m n i s t h e n
N
E x n k 6 ( En , i )
X 2 , k l k
= n
E 6 ( E, i )
n =l
( 2 3 )
V. EX P ER I MEN TAL R ES U LTS
Ex pe r i m e n t s w e r e c o n d u c t e d o n t w o r e a l w o r l d i m a g e
s e qu e n c e s . Th e pr a c t i c a l a s pe c t s o f t h e i m pl e m e n t e d a l g o r i t h m
a r e d e s c r i b e d n e x t .
Th e t r a n s i t i o n a l pr o b a b i l i t y m a t r i x i s s i m pl i f i e d a s d e s c r i b e d
i n S e c t i o n I I -B : o n l y t r a n s i t i o n s f r o m m k -1 o b j e c t s a t t i m e
k - 1 t o m k -1 1 o b j e c t s a t k a r e a l l o w e d , w i t h pr o b a b i l i t y
0 . 0 5 . I n t h i s w a y t h e TP M i s a t r i -d i a g o n a l m a t r i x , w i t h
a ppr o x i m a t e l y 5 % o f t h e pa r t i c l e s i n t h e s t a t e w i t h Ek =
m k -1 + 1 . Th e pr o b a b i l i t y t h a t t h e n u m b e r o f o b j e c t s r e m a i n s
u n c h a n g e d i s a c c o r d i n g l y s e t t o 0 . 9 0 . Th i s s i m pl i f i c a t i o n o f
t h e TP M m e a n s t h a t i f t w o o b j e c t s a ppe a r a t t h e s a m e t i m e ,
t h e e s t i m a t e o f t h e o b j e c t n u m b e r m n w i l l b e i n c r e m e n t e d i n
t w o s t e ps .
Th e n u m b e r o f pa r t i c l e s r e qu i r e d b y t h e f i l t e r d e pe n d s
o n t h e s e l e c t e d va l u e o f M a n d t h e pr i o r k n o w l e d g e o n
1 7 9
D
n , B
= d i s t
[ q*
i , k
, qi ' k
( Z B ) ]
n
=
L-n
x
n n
n
Y k J -/ k I
l , k ,
- -
-,
X Ek
, k ( n
=
1 7 . . . I N )
F i g . 2 . I m a g e f r a m e s o f a vi d e o s e qu e n c e w i t h a s u r ve i l l a n c e c a m e r a : d e t e c t e d a n d t r a c k e d pe r s o n s a r e m a r k e d w i t h a r e c t a n g l e
w h e r e t h e o b j e c t s a r e l i k e l y t o a ppe a r ( t h i s k n o w l e d g e i s
m o d e l e d b y P b ( X i , k ) ) . F o r M = 1 , t h e f i l t e r w i t h u p t o
N = 2 0 0 pa r t i c l e s a c h i e ve s a d e qu a t e a c c u r a c y ( b o t h f o r
d e t e c t i o n a n d e s t i m a t i o n ) . F o r M = 6 i d e n t i c a l o b j e c t s , i t w a s
n e c e s s a r y t o u s e N =
1 0 0 0 0 pa r t i c l e s . Th e pd f o f n e w b o r n
pa r t i c l e s P b ( x i , k ) w a s a d o pt e d t o b e u n i f o r m d e n s i t y o ve r t h e
s t a t e ve c t o r va r i a b l e s ( i . e . n o pr i o r k n o w l e d g e a s t o w h e r e
t h e o b j e c t s w i l l a ppe a r ) . F i n a l l y , t h e c o l o r h i s t o g r a m s w e r e
c o m pu t e d i n t h e R G B c o l o r s pa c e u s i n g 8 x 8 x 8 b i n s a s i n [ 2 ] .
A. Ex a m pl e 1
I n t h e f i r s t e x a m pl e t h e o b j e c t i ve i s t o d e t e c t a n d t r a c k
t w o d i f f e r e n t o b j e c t s ( i . e . t w o h u m a n s w i t h d i f f e r e n t c o l o r
h i s t o g r a m s ) i n a vi d e o s e qu e n c e r e c o r d e d w i t h a s u r ve i l l a n c e
c a m e r a . Th e i m a g e r e s o l u t i o n i s 4 3 5 x 3 4 3 pi x e l s . Th e f i r s t
pe r s o n w e a r s a w h i t e s h i r t , w i t h a b l a c k t i e a n d h i s pa n t s
a r e b l a c k . Th e s e c o n d pe r s o n i s i n a b l u e t -s h i r t . Th e r e a r e
2 0 0 i m a g e f r a m e s a va i l a b l e f o r d e t e c t i o n a n d t r a c k i n g , w i t h
a c a m e r a m o vi n g s l o w l y i n o r d e r t o f o l l o w pe r s o n 1 . N i n e
s e l e c t e d i m a g e f r a m e s a r e d i s pl a y e d i n F i g u r e 2 . Th e e s t i m a t e d
pr o b a b i l i t i e s o f e x i s t e n c e o f b o t h pe r s o n 1 a n d 2 a r e s h o w n
i n F i g u r e 3 . I n t h i s e x a m pl e w e e f f e c t i ve l y r u n t w o pa r t i c l e
f i l t e r s i n pa r a l l e l , e a c h t u n e d ( b y t h e r e f e r e n c e h i s t o g r a m ) t o
d e t e c t a n d t r a c k i t s r e s pe c t i ve o b j e c t . Ea c h f i l t e r i s u s i n g 1 5 0
pa r t i c l e s , w i t h a
= 0 . 8 a n d C B = 3 0 . P e r s o n 1 a ppe a r s i n t h e
f i r s t i m a g e f r a m e a n d c o n t i n u e s t o e x i s t t h r o u g h o u t t h e vi d e o
s e qu e n c e . Th e pa r t i c l e f i l t e r d e t e c t s i t i n t h e f r a m e n u m b e r 1 4 :
t h e pr o b a b i l i t y o f e x i s t e n c e o f pe r s o n 1 j u m ps t o t h e va l u e o f 1
b e t w e e n f r a m e 1 4 a n d 1 6 , a s i n d i c a t e d i n F i g u r e 3 . Ad e t e c t e d
o b j e c t / pe r s o n i s i n d i c a t e d i n e a c h i m a g e b y a w h i t e r e c t a n g l e ,
l o c a t e d a t t h e e s t i m a t e d o b j e c t po s i t i o n . P e r s o n 2 e n t e r s t h e
s c e n e ( f r o m t h e l e f t ) i n f r a m e 5 0 a n d i s d e t e c t e d b y t h e P F i n
f r a m e 6 0 . F r a m e s 7 9 a n d 8 1 s h o w t h e s i t u a t i o n w h e r e pe r s o n 2
pa r t i a l l y o c c l u d e s pe r s o n 1 . N o t e h o w t h i s pa r t i a l o c c l u s i o n i s
r e f l e c t e d i n t h e d r o p o f t h e pr o b a b i l i t y o f e x i s t e n c e f o r pe r s o n
1 i n F i g u r e 3 . I n f r a m e 1 6 0 , pe r s o n 2 l e a ve s t h e s c e n e , a n d
h e n c e i t s pr o b a b i l i t y o f e x i s t e n c e d r o ps t o z e r o ; pe r s o n 1 i s
c o n t i n u e d t o b e t r a c k e d u n t i l t h e l a s t f r a m e .
B . Ex a m pl e 2
Th e s e c o n d e x a m pl e i s h a r d e r : t h e o b j e c t i ve i s t o d e t e c t ( a s
t h e y e n t e r o r l e a ve t h e s c e n e ) a n d t r a c k t h e s o c c e r pl a y e r s o f
t h e t e a m i n r e d a n d b l a c k s h i r t s ( w i t h w h i t e -c o l o r e d n u m b e r s
o n t h e i r b a c k ) . U p t o t h r e e pl a y e r s a ppe a r s i m u l t a n e o u s l y i n
t h e s e l e c t e d vi d e o s e qu e n c e . F i g u r e 4 d i s pl a y s 1 0 s e l e c t e d
f r a m e s o f t h i s vi d e o s e qu e n c e , w i t h a r a pi d l y m o vi n g c a m e r a .
1 8 0
I : I
--a m 1 6 0
F r a m e 1 F r P m - A
F r a m e 8
F r a m e 7 1 F r a m e 9 5
F i g . 4 . I m n a g e f r a m e s o f a s o c c e r s e qu e n c e : d e t e c t e d a n d t r a c k e d pl a y e r s a r e m a r k e d w i t h a r e c t a n g l e
Th e i m a g e r e s o l u t i o n i s 3 0 0 x 4 0 0 pi x e l s . Th e f i l t e r i s u s i n g
N
=
5 0 0 0 pa r t i c l e s , w i t h pa r a m e t e r s a =
0 . 1 a n d C B = 1 0 0 .
At f r a m e 4 w e o b s e r ve t h a t t h e f i r s t pl a y e r i s d e t e c t e d , a n d
r n 4 s w i t c h e s t o 1 . At f r a m e 8 t h e s e c o n d pl a y e r i s d e t e c t e d
a n d h e n c e m 8
= 2 . Th i s d e m o n s t r a t e s a ve r y qu i c k r e s po n s e
o f t h e pa r t i c l e f i l t e r t o t h e c h a n g e o f t h e n u m b e r o f o b j e c t s .
At f r a m e 3 3 , t h e f i r s t d e t e c t e d pl a y e r l e a ve s t h e s c e n e . At t h e
s a m e t i m e a t h i r d pl a y e r i s pa r t i a l l y vi s i b l e a t t h e b o t t o m o f
1 8 1
TAB LE I
P AR TI C LE F I LTER P S EU DO -C O DE ( S I N G LE C Y C LE)
[ { y n } N 1 ] -=pF [ { y n
1 1 , k
{ k } n =1 = F { k -1 } n ' =1 v Z k ]
1 ) Tr a n s i t i o n s o f Ek -1 va r i a b l e ( r a n d o m t r a n s i t i o n o f t h e
n u m b e r o f e x i s t i n g o b j e c t s ) :
[ { Ek } N 1 ]
=
ETr a n s
[ { Ek _ } N f =l , I 1 ]
2 ) F O R n = 1 : N
a . B a s e d o n
( Ek , , En ) pa i r , d r a w a t r a n d o m
x n
X n
X 1 , k l
. . ,
Ek -, k ;
b . Eva l u a t e i m po r t a n c e w e i g h t i -Vn ( u p t o a
n o r m a l i z i n g c o n s t a n t ) u s i n g ( 1 8 ) .
3 )
4 )
EN D F O R
N o r m a l i s e i m po r t a n c e w e i g h t s
a . C a l c u l a t e t o t a l w e i g h t : t = S U M
[ { f 3 -} N
1 ]
b . F O R n =1 : N
* N o r m a l i z e :
Wn
= t -l i Vn
EN D F O R
5 ) R e s a m pl e :
[ 6 y )
n
_ t _ } N 1 h ]
= R ES AMP LE
[ P y F n , w n I ]
6 ) C o m pu t e t h e o u t pu t o f t h e P F
f i r s t o n e , t h e g o a l i s t o d e t e c t a n d t r a c k t w o o b j e c t s s pe c i f i e d
b y t w o d i f f e r e n t h i s t o g r a m s . Th e s e c o n d e x pe r i m e n t a l r e s u l t
d e a l s w i t h a h a r d e r pr o b l e m w h e r e t h e a i m i s t o d e t e c t a n d
t r a c k m u l t i pl e o b j e c t s d e s c r i b e d b y t h e s a m e c o l o r h i s t o g r a m .
Th e e x pe r i m e n t a l r e s u l t s c o n f i r m t h a t t h e m e t h o d c a n b e
s u c c e s s f u l l y a ppl i e d e ve n w h e n t h e c a m e r a i s m o vi n g . Th e
k e y i n t h e a d o pt e d a ppr o a c h i s t h a t t h e b a c k g r o u n d i s o f a
s u f f i c i e n t l y d i f f e r e n t c o l o r s t r u c t u r e t h a n t h e o b j e c t s t o b e
t r a c k e d . Th i s b a s i c t r a c k e r c a n b e i m pr o ve d i n s e ve r a l w a y s .
F o r e x a m pl e , c o l o r h i s t o g r a m s c a n b e c o m pu t e d i n d i f f e r e n t
r e g i o n s o f t h e t a r g e t ( f a c e , s h i r t , pa n t s , e t c ) i n o r d e r t o t a k e i n t o
a c c o u n t t h e t o po l o g i c a l i n f o r m a t i o n [ 7 ] . Th e n , i n s t e a d o f c o l o r
a s t h e o b j e c t f e a t u r e , w e c o u l d u s e f o r e x a m pl e i t s s h a pe , w i t h
a f f i n e t r a n s f o r m a t i o n pa r a m e t e r s i n c l u d e d i n t h e s t a t e ve c t o r .
R EF ER EN C ES
[ 1 ] N . P e t e r f r e u n d , " R o b u s t t r a c k i n g o f po s i t i o n a n d ve l o c i t y w i t h K a l m a n
s n a k e s : ' I EEE Tr a n s . P a t t e r n An a l y s i s a n d Ma c h . I n t e l l i g e n c e , vo l . 2 1 ,
n o . 6 , pp. 5 6 4 -5 6 9 , 1 9 9 9 .
[ 2 ] K . N u m m i a r o , E. K o l l e r -Me i e r , a n d L. Va n -G o o l , " An a d a pt i ve c o l o r -
b a s e d pa r t i c l e f i l t e r , " I m a g e a n d Vi s i o n C o m pu t i n g , vo l . 2 1 , pp. 9 9 -1 1 0 ,
2 0 0 3 .
[ 3 ] M. I s a r d a n d A. B l a k e , " Am i x e d -s t a t e c o n d e n s a t i o n t r a c k e r w i t h a u -
t h o m a t i c m o d e l -s w i t c h i n g , " i n P r o c . I n t . C o n f C o m pu t e r Vi s i o n , 1 9 9 8 ,
pp. 1 0 7 -1 1 2 .
[ 4 ] M. J . B l a c k a n d A. D. J a ps o n , " R e c o g n i s i n g t e m po r a l t r a j e c t o r i e s u s i n g
t h e c o n d e n s a t i o n a l g o r i t h m : ' i n P r o c . 3 r d I n t . C o n f Au t o m a i c F a c e a n d
G e s t u r e R e c o g n i t i o n , 1 9 9 8 , pp. 1 6 -2 1 .
[ 5 ] M. I s a r d a n d J . Ma c C o n n i c k , " B r a MB Le : a B a y e s i a n m u l t i pl e b l o b
t r a c k e r , " i n P r o c . I n t . C o n f C o m pu t e r Vi s i o n , 2 0 0 1 , pp. 3 4 -4 1 .
[ 6 ] D. C o m a n i c i u , V. R a m e s h , a n d P . Me e r , " R e a l -t i m e t r a c k i n g o f n o n -r i g i d
o b j e c t s u s i n g m e a n s h i f t , " i n P r o c . I EEE C o n f . C o m p. Vs i o n P a t t e r n
R e c o g . , H i l t o n H e a d , S C , J u n e 2 0 0 0 , pp. 1 1 : 1 4 2 -1 4 9 .
[ 7 ] P . P e r e z , C . H u e , J . Va r m a a k , a n d M. G a n g n e t , " C o l o r -b a s e d pr o b a b i l i s t i c
t r a c k i n g , " i n P r o c . Eu r o pe a n C o n f C o m pu t e r Vi s i o n ( EC C V) , A. H . e t a l . ,
Ed . S pr i n g e r -Ve r l a g , 2 0 0 2 , pp. 6 6 1 -6 7 5 , I N C S 2 3 5 0 .
[ 8 ] A. Y i l m a z , K . S h a f i qu e , a n d M. S h a h , " Ta r g e t t r a c k i n g i n a i r b o r n e f o r w a r d
l o o k i n g i n f r a r e d i m a g e r y , " I m a g e a n d Vi s i o n C o m pu t i n g , vo l . 2 1 , pp. 6 2 3 -
6 3 5 , 2 0 0 3 .
[ 9 ] B . R i s t i c , S . Ar u l a m pa l a m , a n d N . G o r d o n , B e y o n d t h e K a l m a n f i l t e r :
P a r t i c l e f i l t e r s f o r t r a c k i n g a ppl i c a t i o n s . Ar t e c h H o u s e , 2 0 0 4 .
F i g . 3 . Th e pr o b a b i l i t y o f e x i s t e n c e f o r o b j e c t I a n d 2 i n a vi d e o s e qu e n c e
c o n s i s t i n g o f 2 0 0 f r a m e s
t h e i m a g e . At f r a m e 3 5 , i n 3 5 s w i t c h e s b a c k t o 1 . Th e t h i r d
pl a y e r i s d e t e c t e d a t f r a m e 4 0 . F r a m e 6 3 s h o w s a n o t h e r pl a y e r
e n t e r i n g t h e s c e n e f r o m t h e r i g h t . Th i s pl a y e r i s d e t e c t e d i n
f r a m e 7 1 , i . e . f n 7 l
= 3 . Al l t h r e e pl a y e r s r e m a i n i n t h e s c e n e
a n d a r e t r a c k e d s u c c e s s f u l l y u n t i l t h e l a s t f r a m e , n u m b e r 9 5 .
VI . C O N C LU S I O N
Th e pa pe r pr e s e n t e d a pa r t i c l e f i l t e r f o r j o i n t d e t e c t i o n a n d
t r a c k i n g o f m u l t i pl e o b j e c t s i n a s e qu e n c e o f i m a g e s , u s i n g
c o l o r h i s t o g r a m s a s o b j e c t f e a t u r e s . Th e d e ve l o pe d pa r t i c l e
f i l t e r i s c a pa b l e o f r u n n i n g i n r e a l -t i m e f o r a l l pr a c t i c a l pu r -
po s e s . Tw o s e t s o f e x pe r i m e n t a l r e s u l t s w e r e pr e s e n t e d . I n t h e
1 8 2