Mozgásanalízis

(Motion analysis)
Mozgókép
Az első mozgásábrázolás

Eadweard Muybridge: The Horse in Motion (1878)

Mozgókép

f ( x, y , t )
Forrásművek

M. Sonka, V. Hlavac,
R. Boyle
Image Processing:
Analysis and
Machine Vision
(4th edition),

Cengage Learning, 2015

Forrásművek

A. Distante, C. Distante:

Handbook of Image
Processing and Computer
Vision
Volume 3: From Pattern to
Object

Springer, 2020
Mozgással kapcsolatos problémák

• Mozgás detektálása
(egyetlen statikus kamerával)

• Objektum detektálása
(mozgó objektum egy mozdulatlan kamerával
vagy mozgó kamera és álló objektum esetén)

• 3D tulajdonságok származtatása egy mozgó

objektumról különböző időpontokban készített
2D projekciók alapján
Mozgásmező (motion field)

látvány a
mozdonyvezető motion field
szemszögéből
Mozgásmező (motion field)
Mozgásmező (motion field)

gól – nem gól detektálás

Mozgás parallaxis (motion parallax)

a közeli tárgyak gyorsabban mozognak

 A megoldást elősegítő feltevések

max. sebesség behatárolt gyorsulás együttmozgás

a pont csak a körön a pont csak a körön merev testek pontjai
belülre kerülhet a belülre kerülhet a 2. hasonló módon
követke-ző frame-en frame-en mozdulnak el
 Alapvető módszerek

• differenciál módszerek

• optical flow

• érdekes/jellemző pontok
megfeleltetésén alapuló módszerek
 Differenciál módszerek

Legyen f1 és f2 két egymást követő frame.

Ekkor a különbségkép (difference image):

0 ha f1 ( x, y )  f 2 ( x, y )  
d ( x, y )   ,
1 különben

ahol  egy „kis” (pozitív) szám.

Példa különbségképre

f1 f2

d
(invertált
megjelenítés)
 A különbségkép elemei

A különbségkép d(x,y) pontja az alábbi három

esetben lehet 1:

• f1(x,y) és f2(x,y) közül az egyik egy mozgó

objektum, a másik pedig a statikus háttér pontja,
• különböző mozgó objektumok egy-egy pontjai,
vagy
• ugyanazon mozgó objektum különböző pontjai.
Felhalmozott különbségkép

A különbségképekből kapott röppályák (trajectories)

nem adják meg a mozgás irányát. Ha az irány ismerete
is fontos, akkor a segít a felhalmozott különbségkép
(cumulative difference image):
N
d cum ( x, y )   ak  f1 ( x, y )  f k ( x, y ) ,
k 2

ahol az ak súly a k-adik kép jelentőségét tükrözi

(általában az időben közeli képek súlya a nagyobb).
Példa felhalmozott különbségképre

f1 f2
f5 d cum
Példa különbségképekre

f1 f2 f 2  f1

d cum
Probléma a mozgásmező
megalkotásakor

mozgó motion
téglalap field
Apertrura (aperture) probléma

Ha a mozgó objektumnak
csak egy részlete látszik,
akkor a mozgása nem
detektálható egyértelműen.
Rész és egész
Rész és egész
Rész és egész
 Mozgó élek detektálása

f1 f2

d me ( x, y )  f1 ( x, y )  f1 ( x, y )  f 2 ( x, y )
 Optical flow
A képpontok intenzitásváltozásának látszólagos
mozgását optikai áramlásnak nevezzük.
 Optical flow

Idealizált kép, ahol a mozgásmező és az

optical flow egybeeseik.
 Optical flow
A kép mozgás okozta változásait jelzi időben
közeli frame-ek között. A 3D objektum(ok)
mozgását 2D sebességmezővel (velocity
field) jellemzi.
Feltételezi, hogy a közeli pontok elmozdulása
hasonló és valamennyi pont intenzitása
változatlan marad, vagyis:
f ( x  x, y  y, t  t )  f ( x, y, t )

B.K.P. Horn, B.G. Schunck: Determining Optical Flow,

Artificial Intelligence, 17, 1981, 185-204.
Példa optical flow-ra

t t  t optical
flow
 Példa optical flow-ra

t t  t optical
flow
 Példa optical flow-ra

t t  t optical
flow
 Példa optical flow-ra

optical
flow
t  t
Példa optical flow-ra
Példa optical flow-ra
Az optical flow számítása

Mivel a közeli pontok hasonlóképpen

mozdulnak el, így feltételezhető, hogy

f ( x  x, y  y, t  t ) 
f ( x, y, t )  x  f x  y  f y  t  f t ,

vagyis a Taylor-sor további tagjai

elhanyagolhatók.
Az optical flow számítása
Mivel
f ( x  x, y  y, t  t )  f ( x, y, t ) ,
így
x  f x  y  f y  t  f t  0 ,
vagyis feltételezzük, hogy:
T
x y  x y 
 ft  fx  f y   f x , f y   , 
t t  t t 
 f  (u , v)  f  c .
T
 Az optical flow számítása
Horn-Schunck módszerrel
A mozgás-sebesség előző megközelítése
nem határozza meg teljesen a sebesség-
vektort, így újabb feltevés, hogy a
sebesség-vektor kismértékben változik csak
egy adott környezetben. Ekkor az alábbi
hibafüggvény minimalizálandó:

 
E ( x, y)   f xu  f y v  ft    ux2  u y2  vx2  v y2 .
2 2

Lagrange multiplikátor
 Az optical flow számítása
Horn-Schunck módszerrel
A megoldandó differenciálegyenletek:

 2
f x
2
 u  f x f y v   u  f x ft
2

 2
f y
2
 v  f x f yu   v  f y ft .
2

sebességátlagok x és y
irányokban egy környezetben
 Az optical flow számítása
Horn-Schunck módszerrel

A megoldás:

P P
u  u  fx , v  v  fy ,
D D
ahol:

P  fxu  f y v , D  f  f .
2
x
2
y
2
 Algoritmus egymást követő
képpárra (Gauss-Seidel iterációval)
1. inicializálás:

i, j : u 0 (i, j )  0 , v 0 (i, j )  0

2. k-adik iteráció:
k 1
u (i, j )  u
k
(i, j )  f x (i, j )  P (i, j ) / D (i, j )
k 1
v (i, j )  v
k
(i, j )  f y (i, j )  P (i, j ) / D (i, j )
3. megállási feltétel:

 E
i j
2
(i, j )  
Az optical flow számítása
Horn-Schunck módszerrel
 További módszerek az
optical flow számítására

• Discrete Least Squares Horn–Schunck

módszer
• Horn–Schunck algoritmus
• Lucas–Kanade módszer
• BBPW (Brox–Bruhn–Papenberg–Weickert)
módszer
Nagy elmozdulások kezelése
többfelbontású piramissal
Nagy elmozdulások kezelése
többfelbontású piramissal

f1

f2
Mozgásanalízis jellemző pontok
detektálásával

A mozgásanalízis az f1 , f2 , … egymást
követő frame-eken detektált jellemző pontok
megfeleltetésén alapul.
Ha a megfeleltetés (correspondence
problem) megoldott, akkor sebességmező
(velocity field) könnyen előalítható.
Mozgásanalízis jellemző pontok
detektálásával

jellemző pontok detektálása SIFT detektorral

Mozgásanalízis jellemző pontok
detektálásával

f1 f2
jellemző pontok párosítása
Mozgásanalízis jellemző pontok
detektálásával

egymástól függetlenül mozgó pontok röppályái

Példa mozgáskövetésre
(motion tracking)
Példa mozgáskövetésre
(motion tracking)
Példa mozgáskövetésre
(motion tracking)