DETEKCIJA POKRETA

1 Doc. dr Lidija Krstanović

 VIDEO-NIZ SLIKA
 Video se sastoji od niza frejmova, odnosno digitalnih slika koje
se prikazuju u određenoj vremenskoj i prostornoj rezoluciji
 Od broja frejmova po sekundi, odnosno vremenske rezolucije
zavisi koliko tačno možemo detektovati, reprezentovati ili
modelovati pokret

2
 VIDEO
 Određen je sa tri parametra, dva prostorna i jednim vremenskim-
I(x, y, t)
 x, y, t su diskretne kooridnate

 Što je manji vremenski interval Δ𝑡 to je veća vremenska

rezolucija
 pokreti će biti bolje prikazeni, glatkiji
 Slično je i ako govorimo o generisanju pokreta
 Vremenski interval Δ𝑡 se predstavlja preko broja frejmova po
sekundi

3
METODA 1: APSOLUTA RAZLIKA

4
METODA 1
 Posmatra se promena intenziteta osvetljaja između piksela na
istoj prostornoj poziciji u treenutnom i prethodnom
frejmu((f(x,y,t), f(x,y,t-1))
 Ukoliko je ta razlika veća od nekog praga, detektovali smo
pokret
 Koraci:
 Slika se pretvori u grayscale sliku
 Odredi se razlika između trenutnog i prethodnog frejma kao:
 apsolutna razlika |I(x,y,t)-I(x,y,t-1)|ili
 kvadratna razlika (I(x,y,t)−I(x,y,t−1)) 2
 Posmatra se ta razlika za svaki piksel u x, y prostoru
5
 Ako je ta razlika veća od nekog praga došlo je do pokreta
METODA 1: PROBLEMI
 Ukoliko se dobro ne odabere prag može se desiti da se
promena osvetljaja ili šum detektuje kao pokret
 Da algoritam ne bi bio osetljiv na:
 šum potrebno je odstraniti male promene intenziteta svetlosti
 promenu osvetljaja između dva frejma potrebno je
normalizovati i jedan i drugi uzastopni frejm
 Zato je neophodno uraditi prostornu ili vremensku
filtriranje videa, kao predobradu pre detekcije pokreta
 Takođe je neophodno uraditi adaptivno odabiranje praga

6
METODA 1: PRIMER

7
METODA 2: IZRAČUNAVANJE POZADINE
 Pozadina kod detekcije pokreta je deo slike koji
se ne kreće i nalazi se iza objekta koji se kreće
 Pokret se onda detektuje kao preko određivanja
apsolutne razlike između trenutnog frejma i
pozadine: |framei–background| > Threshold

Threshold

8
METODA 2: PROBLEMI
 Promene osvetljaja:
 Postepene (jutro do noći)
 Trenutne (oblaci i sunce)

 Promene u geometriji i sadržaju pozadine

 Promene postojedih objekata u pozadini.
 Npr. novoparkirana kola treba da postanu nova pozadina

 Promene vezane za kameru ili sami njeni parametri

 šum
 trzanje kamere

9
METODA 2: NALAŽENJE POZADINE
 Najjednostavnije: pozadina je prethodni frejm, što se
svodi na metodu 1
 Rezultati detekcije jako zavise od strukture objekta,
brzine pokreta i vremenske rezolucije video signala
 Takođe često nećemo moći videti ceo objekat nego samo
ivice pošto je unutrašnjost objekta često unformna, a
pokret obuhvata samo deo objekta
 Drugi načini za naleženje pozadine su:
 preko mean filtera (u vremenskom domenu)
 preko median filtera (u vremenskom domenu)

10
 METODA 2: POZADINA PREKO MEAN
 Pozadina se određuje kao srednja vrednost od poslednjih n
frejmova-mean filter
1
𝐵 𝑥, 𝑦, 𝑡 = 𝐼(𝑥, 𝑦, 𝑡)
𝑛
𝑛
 Detekcija pokreta:
𝐼 𝑥, 𝑦, 𝑡 − 𝐵(𝑥, 𝑦, 𝑡) > 𝑇𝑟𝑒𝑠ℎ𝑜𝑙𝑑

11

pozadina detektovan pokret

 METODA 2: POZADINA PREKO MEDIAN
 Pozdina se određuje primenom mean filtera na n frejmova
 Dakle,
𝐵 𝑥, 𝑦, 𝑡 = 𝑚𝑒𝑑𝑖𝑎𝑛 𝐼(𝑥, 𝑦, 𝑡 − 𝑖)
𝐼 𝑥, 𝑦, 𝑡 − 𝐵(𝑥, 𝑦, 𝑡) > 𝑇𝑟𝑒𝑠ℎ𝑜𝑙𝑑 za 𝑖 ∈ 0, … , 𝑛 − 1

12
pozadina detektovan pokret
METODA 2: ADAPTIVNI METOD ZA
ODREĐIVANJE POZADINE

 Adaptivno se filtrira više uzastopnih frejmova

 Tako se dobija bolja i tačnija pozadina

 Primer:

 Da bi se još više poboljšala detekcija pokreta

može se adaptivno određivati prag
13
 METODA 3: POREĐENJE PO BLOKOVIMA
(ENG. BLOCK MATCHING)
t

Kriterijum:
14
 METODA 3: ALGORITAM
 Slika se deli na blokove fiksne ili promenljive veličine, koji mogu
biti preklapaju ili ne
 Za svaki blok se traži korespodencija, tj. pomeraj u odnosu na
predhodni frejm ili neki drugi korespodentni.
 Korespodencija između određenih blokova u sadašnjem i nekom
od predhodnih frejmova se određuje na osnovu neke kriterijumske
funkcije:
 Srednja kvadratna razlika (MSE)
 Srednja apsolutna razlika (MAD)
 Suma apsolutnih razlika (SAD)
 Kros-korelaciona funkcija
 Opšta funkcija tipa:

15
METODA 3: NAČIN PRETRAGE
 Nejjednostavniji, ali i računski najzahtevniji
način pretrage je da se vrši potpuna pretraga:
 Svaki određeni blok iz sadašnjeg frejma se traži po
celom predhodnom frejmu
 Jako zahtevan za obrade u realnom vremen
 Ne daje dovoljno tačne rezultate

 Efikasniji pristup-pretraga u tri koraka:

 prvo se pretražuju veći grublji pokreti
 a potom manji
 u svakom koraku se određuje minimalna vrednost
kriterijumske funkcije za 9 tačaka
16
METODA 4: OPTICAL FLOW
 Optical Flow metoda pokušava da detektuje kretanje,
između dva susedna frejma, koje nastaje usled kretanja
objekta ili pomeranja kamere
 To kretanje reperezentuje vektorskim poljem

 vektori u tom vektorskom polju predstavljaju vektore

pomeraja
 svaki taj vektor pomeraja predstavlja kretanje tačke
između trenutnog i prethodnog frejma

17
METODA 4: OPTICAL FLOW-PRETPOSTAVKE
 Pretpostavke:

 Intenziteti piksela (tj. lumunansa) nekog objekta se ne

menja između dva susedna frejma

 Susedni pikseli imaju slično kretanje

18
METODA 4: OPTICAL FLOW-PRETPOSTAVKA 1
 Pretpostavka: Intenziteti piksela (tj. lumunansa) nekog
objekta se ne menja između dva susedna frejma

 Posmatrajmo piksel I(x,y,t), neka je on napravio pomeraj

(dx, dy) posle vremena dt
 Kako posmatramo isti piksel i intenzitet se nije
promenio, važi
I(x,y,t)=I(x+dx,y+dy,t+dt)
 Izvršimo razvoj desne strane u Tejlorov red i sredimo
izraz
19
 OPTICAL FLOW: JEDNAČINA
 Dobijamo
𝑓𝑥 𝑢 + 𝑓𝑦 𝑣 + 𝑓𝑡 = 0
gde je
𝜕𝑓 𝜕𝑓
𝑓𝑥 = , 𝑓𝑦 =
𝜕𝑥 𝜕𝑦
𝑑𝑥 𝑑𝑦
𝑢= ,𝑣 =
𝑑𝑡 𝑑𝑡
 Gornja jednačina se zove Optical Flow jednačina
 U ovoj jednačini možemo naći 𝑓𝑥 i 𝑓𝑦 , to su gradijenti slike

 Slično 𝑓𝑡 je gradijent po vremenu

 u, v su nepoznati
 Imamo jednu jednačinu i dve nepoznate
 to ne možemo da rešimo 20
 OPTICAL FLOW: LUCAS-KANADE (PRETPOSTAVKA 2)
 Pretpostavka: susedni pikseli imaju slično kretanje
 Lucas-Kanade metod uzima u obzir susetsvo 3x3 oko
posmatranog piksela
 Dakle, pretpostavlja da svih 9 tačaka ima isto kretanje

 Na ovaj način naš problem se svodi na rešavaje 9 jednačina sa dve

nepoznate
 Ovakav sistem je predeterminisan
 Bolje rešenje daj metoda najmanjih kvadrata (eng. least square fit
method)
 Konačna matrična jednačina ove metode
 dobijamo dve jednačine sa dve nepoznate

21