L k ij 5 Lekcija 5: Robotska R b t k vizija i ij

Prof.dr.sc. Prof dr sc Jasmin Velagi Elektrotehniki fakultet Sarajevo K l ij M Kolegij: Mobilna bil robotika b tik 2012/2013

5.1. Uvod

Ljudski vizualni sistem prihvaa informacije u obliku kodiranih svjetlosnih signala i transformira ih u elektrohemijske signale koji se dalje prenose neuronima u ovjekovom mozgu. U biolokim znanostima se prouava kako se ove neuronske informacije obrauju i na temelju njih grade interni prikazi okruenja i kako ljudi zakljuuju o svojoj okolini na temelju ovih prikaza. Sa stajalita robotike robotike, podruja raunarske ili robotske vizije istrauju oblasti raunarskog predstavljanja okoline na temelju svjetlosnih signala i prouavaju tehnike umjetne inteligencije koje obavljaju zadatke zakljuivanja ili planiranja na temelju dobivenog prikaza okoline.

2/139

Uvod Mehanizam ljudskog percipiranja okoline, odnosno objekata u njoj njoj. Model ljudskog vizualnog sistema.
oko mozak
3/139

optiki sistem ulazna slika

mrenica svjetlosna energija

vizualni putevi elektrina percepcija energija

Uvod

Glavni cilj sistema robotske vizije je oponaati sposobnosti p i znaajke j ljudskog j g vizualnog g sistema. Kako j je vizija j najmo j niji j nain opaanja p j okoline slijedi da vizualni robotski sistemi osiguravaju veliki broj informacija o robotskom okruenju na temelju kojih se moe ostvariti inteligentna interakcija u dinamikoj sredini. Pri tome treba voditi rauna da je obrada podataka i gradnja mape okruenja na temelju vizualnih i l ih informacija i f ij znaajno j sloenija l ij od d istih sa nevizualnim senzorima. Temeljni T lj i procesi i u robotskoj b t k j viziji: i iji obrada b d i analiza li slike.

4/139

Uvod

Obrada i analiza slike predstavljaju vane procese kojima se transformira slika u prihvatljiv oblik i izdvajaju, odnosno prepoznaju odgovarajue znaajke slike koje se mogu koristiti u razliitim procesima unutar t navigacijskog i ij k sistema i t mobilnog bil robota. b t Digitalna obrada slike je proces podvrgavanja numerikih reprezentacija objekata u slici seriji operacija s ciljem postizanja eljenog rezultata. Ulaz i izlaz u procesu obrade slike predstavljaju sliku sliku, dok se sam proces obrade sastoji od poboljavanja i obnavljanja slike.
Ulazna slika Obrada

5/139

Izlazna slika

Uvod
Digitalna obrada slike obuhvaa sljedee procese:

Operacije na slici (konvolucija, Fourierova transformacija, Z transformacija,...). Transformacije slike (linearne, ortogonalne, diskretne). Metode poboljanja slike (operacije na taki, prostorne operacije, upotreba transformacija, tehnike pseudokoloriranja, d k l i j filt filtriranje i j linearno li ih homomorfno,...). f ) Obnavljanje slike (modeli degradacije slike, Inverzni i Wienerov filter, filter pseudoinverzija matrica matrica, ...). ) Rekonstrukciju slike iz projekcija (Radonova transformacija, t a s o ac ja, ope operator ato povratne po at e projekcije, p oje c je, p projekcijski oje c js teorem, inverzna Radonova transformacija, Hilbertova transformacija, Fourierova metoda rekonstrukcije, ...). Kompresiju slike koja pokuava smanjiti broj bitova potrebnih za pohranu slike bez ili sa gubitkom informacija.

6/139

Uvod

Ulazna slika

Izlaz iz sistema za analizu nije slika, ve numeriki ili simboliki opis njenog sadraja. U sistemu za analizu slike postoje tri grupe operacija izdvajanje znaajki, segmentacija i opis scene.

Pretprocesiranje

7/139

Izdvajanje znaajki

Segmentacija

Klasifikacija i opis scene

Simboliki opis scene

Interpretacija scene

Uvod
Postupci u procesu analize slike:

Raspoznavanje uzoraka (pravilo najblieg susjeda, Bayesovo pravilo, algoritmi za grupiranje,). Izdvajanje (ekstrakcija) znaajki slike (prostorne osobine, osobine u domeni transformirane slike, detekcija rubova, detekcija granica). Segmentacija S t ij slike lik (amplitudna, ( lit d obiljeavanje bilj j k komponenti, ti granice objekata, unutarnjost objekta, grupiranje, ekspertni sistemi, , neuronske mree, , ). ) Matematika morfologija (binarna i siva). Analiza a a te tekstura, stu a, ob oblika a i po pokreta eta. Registracija slike (klasifikacija metoda za registraciju, pregled geometrijskih transformacija i algoritama). Stereovizija (kalibracija kamere, stereovizija, problem korespondentnih taaka).

8/139

5.2. Proces formiranja slike

Veina vizualnih robotskih sistema koriste kamere za opaanje p j p prostora. Opaanje podruja je izuzetno vano u mobilnoj robotici za izbjegavanje prepreka pri obavljanju nekog zadatka. Meutim, utim kod vizualnog sistema (kamera) izraen je problem gubitka informacija o dubini. Ako se mogu predvidjeti informacije o dimenzijama objekta objekta, ili pak o njegovoj boji i refleksiji, tada se mogu izvui informacije o dubini. Svojstva slike ne ovise samo o promjenama u sceni ve i o parametrima kamere.

9/139

Proces formiranja slike

Veza izmeu parametara kamere i svojstava slike.

10/139

Slika je rezultat refleksije svjetlosti od objekta u smjeru kamere

Udaljenost lee do izmeu le Ud lj tl d objekta bj kt d i razmak ki l e i arita e povezani su arinom duljinom lee f:

1 1 1 = + f d e

Proces formiranja slike

Slika je rezultat refleksije svjetlosti od objekta u smjeru kamere. Ako je udaljenost izmeu lee i ravnine slike jednaka e tada se nakon refleksije na ravnini slike dobiva taka. Kada ravnina slike nije na udaljenosti e od lee svjetlost e se od objekta reflektirati na ravnini slike u obliku zamagljenog kruga. Prva aproksimacija polazi od toga da je svjetlost homogeno distribuirana du tog kruga i njegov promjer iznosi:

11/139

L R= 2e

L promjer lee, razmak izmeu

ravnine i slike lik i arine i ravnine. i

Proces formiranja slike

Razliit sugerira razliite pozicije fokusiranja za istu scenu. Na slikama se zapaa razliitost u otrini rubova teksture (blii rubovi imaju veu otrinu) slike su dobivene za dvije razliite vrijednosti .

12/139

Iz niza slika iste scene, scene dobivenih sa razliitim geometrijama kamere, moe se rekonstruirati dubina slike.

Proces formiranja slike

Stvarna slika je uzorkovana konanim brojem taaka (piksela). Rezolucija uzorkovanja, odnosno rezolucija slike predstavlja broj piksela digitalne slike. Tipine rezolucije su 640 480 piksela, 320 240 piksela, itd. Kod rezolucije je takoer vano koliko esto se mjerenja kamere proslijeuju raunaru. Kod CCD kamera je standardni intenzitet mjerenja 30 slika/sekundi. Svaki piksel predstavlja pojedini uzorak na slici. On j je prikazan p cjelobrojnom j j vrijedno j u koja j oznaava intenzitet (osvjetljenost) slike u toj taki.

13/139

Proces formiranja slike

Prikaz slike u obliku dvodimenzionalnog polja. Indeksi piksela [i,j] predstavljaju cjelobrojne vrijednosti koje oznaavaju redak, odnosno stupac u kome se nalazi p piksel.
stupac j a(i, j) m stupaca

14/139

redak i

piksel a(i, j)

n redaka a

Proces formiranja slike

Osim rezolucije slike, vaan parametar koji se odnosi na p piksele j je kvantizacija j slike, odnosno razina intenziteta slike koja se koristi za prikaz piksela. Tipine razine kvantizacije slike iznose: 28 = 256, 25 = 32, , itd. Sistem vizije mobilnog robota obino se sastoji od dvije glavne komponente: optikog sistema koji prikuplja svjetlost preko konanog polja pogleda p g i fokusira ovu svjetlost j na ravninu slike i optoelektrikog sistema koji preuzima ovu fokusiranu svjetlost i konvertira je za raunar razumljive (itljive) signale.

15/139

Proces formiranja slike

Sklopovlje sistema vizije prikazano je na slici.

svjetlost 2D slika Kontinuirani elektrini signal 2D digitalna slika

16/139

3D scena

Optika
lee

Senzor slike
CCD polje

Meuspremnik slika (Frame grabber) bb )

Raunar

CCD ili CMOS kamera

Proces kolekcije, odnosno prikupljanja svjetlosti i njenog pohranjivanja u raunaru predstavlja sloen proces. Zbog toga su i postupci koji se za njih koriste takoer sloeni.

Proces formiranja slike

Lee predstavljaju zaseban modul optikog sistema kamere. Vane specifikacije lee su: arina udaljenost (odreuje irinu vidnog polja) polja), fokusiranje (runo/automatsko) i distorzija lee (problem korekcije j distorzije). j ) Slika trodimenzionalnog (3D) prostora dobivena kamerom oduzima prostoru jednu dimenziju, tako da slika postaje dvodimenzionalna (2D - gubitak informacije j o dubini) ). Iz jedne slike prostora ne moe se odrediti udaljenost od kamere do objekta u okruenju niti dimenzije objekta.

17/139

Proces formiranja slike

Za dobivanje ovih informacija mora se koristiti vie slika slika. Pri tome treba naglasiti da rekonstrukcija 3D slike iz 2D slika nije jednoznaan problem problem. Rjeavanje problema rekonstrukcije 3D slike zahtijeva:

18/139

modeliranje j procesa p akvizicije j slika (kalibracija kamere), izdvajanje karakteristinih znaajki iz slike slike, identifikaciju odgovarajuih k karakteristi kt i tinih ih znaajki jki iz i dviju d ij ili vie i slika.

5.3. CCD i CMOS kamere

CCD (Charged Coupled Device) kamera

Danas najpopularniji sistem vizije vizije. Osnovni element je CCD ip koji se sastoji od polja svjetlosno osjetljivih elemenata elemenata, ili piksela piksela, obino izmeu 20.000 i nekoliko miliona piksela (trenutno). (trenutno) Svaki piksel je dimenzija od 5m x 5m do 25m x 25m i ima mogunost kapacitivnog punjenja, odnosno pranjenja. Prvo se kondenzatori P k d t i svih ih piksela ik l u cijelosti ij l ti napune, nakon ega zapoinje proces integracije (generiranja) (generiranja).

19/139

CCD i CMOS kamere CCD (Charged Coupled Device) kamera

Fotoni svjetlosti udaraju u svaki piksel piksel, oslobaaju elektrone koji su obuhvaeni elektrikim poljem i zaustavljaju se na pikselu (fotoelektriki efekt). Tokom vremena svaki piksel e akumulirati razliit iznos energije na temelju ukupnog broja fotona koji su udarili u njega. Nakon to se p period integracije g j kompletira, p , relativan iznos energije piksela se pohranjuje i ita p proces kolekcije j .

20/139

CCD i CMOS kamere

CCD kamera - ip

Dolazi u razliitim oblicima i dimenzijama dimenzijama. Ukupan broj piksela - 4008 x 2672 = 11 Mega Piksela. Veliina piksela izmeu 5 i 25 m. Veliina dijafragme izmeu 5 i 36 mm po osi osi.

21/139

Fotodiode F t di d koje k j se k koriste i t u CCD ipu i nemaju j j jednaku d k osjetljivost na sve frekvencije svjetlosnog signala.

CCD i CMOS kamere

CMOS kamera

CMOS ip se znaajno razlikuje od CCD ipa. ipa On takoer ima polje piksela, ali su oni locirani paralelno i svaki piksel koristi nekoliko tranzistora za svoje lociranje. Proces integracije (akumuliranje energije u pikselima) je isti kao kod CCD ipa. U fazi kolekcije CMOS koristi drukiji pristup, gdje se svaki piksel mjeri i pojaava se njegov signal, pri emu se to odvija paralelno za svaki piksel u polju. Rezultantne vrijednosti piksela se prenose do njihovih destinacija.

22/139

CCD i CMOS kamere

Obje tehnologije sistema vizije, CCD i CMOS, generiraju digitalne signale koji se mogu direktno iskoristiti u robotici. ip u kameri posjeduje paralelne digitalne ulazne i izlazne pinove preko kojih se prenose diskretne vrijednosti sadraja piksela. Neki moduli vizualnog sistema koriste ove digitalne signale i obrauju ih u stvarnom vremenu. Za ovu svrhu koristi se ip koji predstavlja meuspremnik slika (frame grabber) izmeu digitalnih izlaza kamere i digitalnih ulaza u raunar. unar Ovakvi ipovi "hvataju" kompletnu sliku i omoguuju pristup p s up p pikselima, se a, ob obino o u pojed pojedina anom o po poretku. e u

23/139

CCD i CMOS kamere

Vizualni senzori za praenje boja

Vaan aspekt opaanja vizualnog sistema je detektiranje i praenje odgovarajue boje (objekta) u okolini okolini. Opaanje boje ima dvije vane prednosti:

24/139

D t k ij boje Detekcija b j j je f funkcija k ij pojedina j di ne slike. lik Omoguuje kombinaciju sa drugim izvorima, recimo i stereovizijom t i ij ili l laserskim ki senzorom, k kako k bi se znaajno poboljale informacije.

Danas postoje D t j k komercijalne ij l verzije ij k kamera sa dodatnom elektronikom koja omoguuje detektiranje i praenje objekta na temelju njegove boje.

CCD i CMOS kamere

Vizualni senzori za praenje boja

Vrlo je interesantan CMUcam vizualni senzor za robote. Ovaj vizaulni sistem se sastoji od CMOS kamere kamere, mikroprocesora koji radi na 50 MHz. Radi se o jeftinom inteligentnom vizualnom sistemu (smart kamera). Ovaj sistem osigurava visokokvalitetne informacije izvuene iz slike navedenom, vanjskom procesoru, koji obrauje dobivene informacije i moe upravljati, recimo, mobilnim robotom. Vanjski procesor konfigurira mod podataka koji se koristi za praenje.

25/139

CCD i CMOS kamere

Vizualni senzori za praenje boja
26/139

CMOS kamera

Mikroprocesorski bazirani sistem

3D senzor primjena u robotici (za inspekciju)

5.4. Kalibracija kamere

Redukcija trodimenzionalne pozicije take u njenu dvodimenzionalnu projekciju unutar kamere predstavlja fundamentalni problem koritenja vizije u mobilnoj robotici. Za prevazilaenje ovog problema koriteni su mnogi mehanizmi koji suuju skup moguih vrijednosti udaljenosti do objekta, upotrebu vie kamera ili koritenje vremenske integracije. Kljuni koncept u transformaciji 3D slike u njenu 2D projekciju predstavlja perspektivna projekcija.

27/139

Kalibracija kamere

Perspektivna projekcija - svaka taka slike se projicira po pravcu kroz sredite projekcije, budui da se svjetlost prostire pravolinijski. Koncept perspektivne projekcije je ekvivalentan projekciji takozvane "pinhole" kamere.
slika

28/139

objekt

sredite projekcije

arina udaljenost ravnina slike

Kalibracija kamere

Bolji geometrijski prikaz se dobiva ako se slika pomakne ispred optikog sredita kamere (sredite projekcije). Tada se kanonike osi slike postavljaju u sredite projekcije.
kanonike koordinate slike (x, y) y x kanonike z osi f Z u koordinate piksela k l (u, v) v (X, Y, Z) u kanonikim koordinatama koordinate objekta bj kt

29/139

optika os

Kalibracija kamere

Veza izmeu kanonikih koordinata slike x i y i koordinata objekta u prostoru X, Y i Z dana je na sljedei nain:
fX x= , Z fY y= Z

30/139

Povezanosti navedenih koordinata predstavljaju nelinearne transformacije. Osnovni zadatak se sastoji u odreivanju koordinata X, Y i Z iz koordinata x i y, odnosno u i v.

Kalibracija kamere

Neka je zadana proizvoljna taka u prostoru izraena u homogenim koordinatama X=[ [X1 X2 X3 1]T, tada njene kanonike koordinate u slici (x1/x3, x2/x3) iznose:
X1 x1 X ~ 2 x 2 = P X 3 x 3 1

31/139

(*) ( )

~ gdje je P projekcijska matrica.

Kalibracija kamere

Projekcijska matrica transformira 3D koordinatni sistem realnog g svijeta j u 3D koordinatni sistem koji je poravnat sa optikim sreditem (centrom) i idealnom ravninom slike kamere, a rezultat je perspektivne projekcije na idealni 2D koordinatni sistem ravnine slike. Neki parametri kamere ne ovise o vrsti upotrijebljene kamere i oni se nazivaju vanjski parametri kamere, kamere dok se parametri koji se mijenjaju ovisno o vrsti kamere nazivaju unutarnji parametri kamere. kamere Proces dobivanja, odnosno odreivanja projekcijske matrice za odreenu kameru naziva se kalibracija kamere.

32/139

Kalibracija kamere

Postoje razliiti mehanizmi kalibracije pojedinane kamere, ali je moda najjednostavniji i najvie koriteni postupak koritenja kalibracijskog objekta sa poznatom 3D pozicijom i projekcijom. Za zadanu skupinu kalibracijskih taaka u koordinatnom sistemu realnog svijeta Xi ( (napravljeno lj vie i slika lik sa k kalibracijskim lib ij ki objektom) bj kt ) odrede se njihove projekcije u ravnini slike (ui , vi). N k t Nakon toga se izraz i (*) moe napisati i ti k kao:
~ ui x 3 P11 ~ 21 vi x 3 = P ~ P x 3 31 ~ P12 ~ P22 ~ P32 ~ P13 ~ P23 ~ P33 ~ X 1 ~ P14 P11 X 1 ~ X 2 ~ P24 = P21 X 1 X ~ ~ 3 P34 P31 X 1 1 ~ P12 X 2 ~ P22 X 2 ~ P32 X 2 ~ P13 X 3 ~ P23 X 3 ~ P33 X 3

33/139

~ ~ P14 ( PX i )1 ~ ~ P24 = ( PX i ) 2 ~ ~ P34 ( PX i ) 3

gdje je u = x1/x3 i v = x2/x3

Kalibracija kamere
~ Da bi se preslikavanje PX i obavilo sa najmanjom ~ pogrekom u slici uzima se da je P3 , 4 = 1 i
34/139

primijenjuje se metod najmanjih kvadrata (LS metod engl. least square) koji minimizira sljedei izraz:

~ ~ ~ ~ 2 (( PX i )1 ( PX i )3 ui ) + (( PX i )2 ( PX i )3 vi )2

Rjeenje minimizacije se dobiva rjeavanjem matrine jednadbe AX = B, gdje je:

X i A= 0 K
~ X T = [ P1 , 1

Yi 0
~ P1 , 2

Zi 0
~ P1 , 3

1 0
~ P1 , 4

0 Xi
~ P2 , 1

0 Yi
~ P2 , 2

0 Zi
~ P2 , 3

ui X i

uiYi viYi
~ P3 , 2

1 vi X i
~ P2 , 4 ~ P3 , 1

ui Zi vi Zi
~ P3 , 3 ]

Kalibracija kamere
ui B = vi K
35/139

Rjeenje LS metode je:

X = ( AT A ) 1 AT B

Optiko sredite kamere (Cx, Cy, Cz) u koordinatnom sistemu prostora (objekta) definira se na sljedei nain:
C x 0 C ~ y 0 = P C z 0 1

Kalibracija kamere

~ Svaki redak matrice P definira ravninu koja prolazi kroz taku optikog sredita kamere. kamere ~ ~ Presjecite P1 i P2 definira usmjerenost ~ ~ kamere a presjecite P2 i P3 zakret kamere kamere, oko te osi.

36/139

Kalibracija kamere

Primjer 1. Kalibracija kalibracijskog objekta.

kamere

koritenjem
37/139

Kao kalibracijski objekt koristi se ahovska ploa.

Kalibracija kamere

Proces kalibracije = odreivanje unutarnjih (intrinzini) i vanjskih (ekstrinzinih) parametara. U postupku kalibracije prvo se detektiraju vrhovi ahovskih polja na svim slikama te se nacrta mrea na slici li i ahovske h k plo l e kako k k bi trebala t b l izgledati i l d ti bez b distorzije. Ukoliko je neki ugao predaleko od stvarnog, stvarnog onda se pomou distorzijskih koeficijenata runo podeavaju p j uglovi. g Na sljedeoj slici prikazan je primjer detektiranja uglova g za drugi g uzorak sa p prethodne slike. Identian postupak se provodi i za ostale uzorke. Stvarni uglovi g na slici oznaeni su znakom +, , kruii predstavljaju reprojicirane uglove, dok strelice predstavljaju gradijent pogreke.

38/139

Kalibracija kamere

Nakon toga se te informacije o poloaju uglova koriste u procesu odreivanja ekstrinzinih i intrinzinih parametara, odnosno minimizaciji srednje kvadratne pogreke.
50 100 150 200

39/139

Y
Stvarni S i vrhovi h i slike (+) i detektirani vrhovi h i na projiciranoj mrei (o)

v [pikse eli]

250 300 350 400 450 500 550 100

200

300

400 u [pikseli]

500

600

700

800

Kalibracija kamere
Dobiveni intrinzini parametri

.

arina duljina:

40/139

( f w , f h ) = (913.49376, 921.60192 ) (1.50531, 1.61318 )

Centar slike: (u0 , v0 ) = (393.65084,232.70717) (2.91469, 2.77715) Iskoenost senzora: = 0.00000 0.00000 Distorzija:
k c = [- 0.13214 0 13214 0.39384 0 39384 - 0.00938 0 00938 - 0.00309 0 00309 0.00000 0 00000]
T

[0.0 0.01276 76 0.08875 0.00087 0.00089 0.00000 ]

Pogreka piksela: err = [0.19534 0.19198 ]T

Kalibracija kamere
Dobiveni ekstrinzini parametri

.

Vektor translacije:

41/139

p t = [- 269.983575

- 74.307502

1712.84948 0 ]

Vektor rotacije: Rv = [1.902719 1.757589 Matrica rotacije:

- 0.043652]

0 147023 0.147023 R= 0.914020 0 378089 - 0.378089

0 931663 0.931663 0.000430 0 363325 0.363325

0 332249 0.332249 - 0.405668 - 0.851495 0 851495

Pogreka piksela: err = 0.27080 0.34822

Kalibracija kamere

Vektor kc odreuje distorziju kamere, odnosno definira odstupanje p j p poloaja j p piksela u stvarnoj j slici u odnosu na istu dobivenu na idealnoj ravnini slike. Vektor rotacije j Rv iskazuje j smjer j rotacije j slike u 3D prostoru oko optike osi (os isijavanja). Matrica R opisuje rotaciju slike u 3D prostoru u odnosu na koordinatni sistem kamere. Vektor translacije pt definira pomak slike u odnosu na idealnu ravninu slike. Intervali pouzdanosti intrinzinih parametara dobivaju se na temelju minimiziranja odstupanja piksela veeg broja uzoraka iste slike dobivenih iz razliitih uglova snimanja.

42/139

Kalibracija kamere

Estimirane lokacije kamere u odnosu na ahovsku plou za svih 20 uzoraka, odnosno pogleda kamere prema ahovskoj ploi. Estimirane lokacije odreene su matricom rotacije i 1500 vektorom translacije.
1000 z [mm m] 500 20 0 7 13 1 11 9 16 2 3 8 5 10 18 12 6 15

43/139

Ekstrinzini parametri (pozicija i 1500 19 orijentacija ahovske ploe u 1000 odnosu na koordinatni sistem y [mm] [ ] kamere). 500
0 -500

17

14 4

-500

500 x [mm]

1000

1500

Kalibracija kamere

3D prikaz pozicije i orijentacije uzoraka ahovske ploe u koordinatnom sistemu kamere, gdje je sredite kamere, odnosno ishodite pridruenog joj koordinatnog sistema oznaeno sa Oc.
11 10 2 5 4 1 17 7 20 9 12 16 8 13 18

44/139

200 0 -200 -400 -400 -200

19 14

6 15

z c [mm]

Oc

2000 1500 1000 200 y c [mm] 0 400 500 0 x c [mm]

Kalibracija kamere

Na sljedeem slajdu prikazana radijalna distorzija lee kamere. Openito, distorzija u optici lea oznaava odstupanje od idealnog modela projekcije gdje ravne linije u sceni ostaju ravne linije na projekcijskoj ravnini. Kod kamere su najvie izraene radijalna i tangencijalna distorzija. Radijalna distorzija pokazuje kako se pomjeraju take ahovske ploe u xyz koordinatnom sistemu prilikom akvizicije slike i koristi se za estimaciju stvarnih pozicija i orijentacija ahovske ploe. Ona je jednaka nuli u centru lee te se poveava kako se udaljavamo od centra prema periferiji.

45/139

.

Kalibracija kamere

Radijalna distorzija lee kamere.

0

50 100 150

0.5

.5 1 1

v [pikseli]

1.5

250

Ol
1.5 1 0. 5

0.5

4 3.5 3 2.5

300 350

4. .5

400 450 500

0. 5

200

4
200

4.5

5 4.
100

1.5 2 2.5 3 3.5

300 400

2 3 .5 4

2 2.5 3

3. 5
600

500

700

u [pikseli]

4.5

1.5
1

3. 5 4

46/139
5 2.
3

4
4.5

2.5

3 3.5 4
5 4.5

4 3.5 3 2.5

5 1.
4.5

4.5

Kalibracija kamere

.

Pogreka projekcije izraena brojem piksela. Na slici su prikazane pogreke za svih 20 kalibracijskih uzoraka, odnosno razliitih pogleda na ahovsku plou.
0.8 0.6 0.4 v [pikse eli] 0.2 0 -0.2 -0.4 -0.6 -0.8 08 -1 -0.5 0 u [pikseli] 0.5 1

47/139

5.5. Uzorkovanje slike

Digitalna slika predstavlja kolekciju uzoraka vizualnog sadraja okoline. U principu, scena se sastoji od polja svjetlosnih zraka pridruenih svim moguim smjerovima pogleda iz svih moguih poloaja. Ovakav opis scene naziva se lumigraf. Iako slika prikazuje kontinuiranu povrinu, ona se sastoji od diskretnih taaka uzorkovanih vremenski i prostorno. Diskretizacija uvodi fizika ogranienja na kvalitetu prikaza kontinuiranih povrina, pri emu se signali visokih frekvencija gube iz slike, a izobliuju se signali niih frekvencija. frekvencija Ovaj fenomen se zove aliasing.

48/139

Uzorkovanje slike

Minimalna frekvencija uzorkovanja koja se zahtijeva j za kompletni p p prikaz kontinuiranog g signala zove se Nyquistova frekvencija. Za prikaz kontinuiranog signala potrebno je da se signal uzorkuje sa frekvencijom koja je najmanje j j dvaput p vea od najve j e frekvencije j u signalu (Shanonov teorem). S tim u vezi neka se promatra jednodimenzionalni signal f(x)=cos(x). Ako se signal f(x) uzorkuje u cjelobrojnim takama (to jest u 0, 1, 2, 3, itd.) tada se postiu vrijednosti 1 1, -1, -1 1 1, -1,.... -1

49/139

Uzorkovanje slike

Ako se f(x) uzorkuje u neparnim cjelobrojnim takama tada se dobivaju vrijednosti 1, 1, 1, 1, .... Izraeno pomou ugaone frekvencije frekvencije, frekvencija uzorkovanja mora biti , to znai da kontinuirani signal frekvencije iznad i ispod - ne moe biti prikazan. (k ) kontinuiranog signala Amplitudni spektar f f(x), za k, xn, predstavlja se Fourierovom transformacijom:

50/139

(k ) = f

f ( x )e ixk dx

Uzorkovanje slike

Filtri ili operatori transformacije slike sa velikim iznosima amplitudnog p g spektra p za k blizu (Nyquistova frekvencija) pojaavaju visoke frekvencije u slici, odnosno izobliuju sliku. Operacije nad slikom najee se mogu karakterizirati konvolucijskom sumom (y = x h):
y (n1 , n2 ) =

51/139

k1 = k 2 =

x( k , k ) h( n k , n
1 2 1 1

k2 )

Tako, naprimjer, izglaivanje slike x(k1,k2) moe se provesti operatorom: 0 1 0 1 h(k1 , k 2 ) = 1 4 1 (*) 8 0 1 0

Uzorkovanje slike

(k1, k2) = (0, 0) predstavlja centralni element od h.

Dvodimenzionalna Fourierova transformacija (1 , 2 ) ulaznog signala x(n1,n2) povezana je x sa dvodimenzionalnom Fourierovom (1 , 2 ) izlaznog signala y(n , transformacijom y 1 n2) relacijom:

52/139

( , ) x (1 , 2 ) = h (1 , 2 ) y 1 2

Frekvencijska karakteristika se moe koristiti za analizu odziva operatora (filtra) za proizvoljni ulazni signal.

Uzorkovanje slike

Za dvodimenzionalni operator h( x1 , x 2 ) ( k , k ) je predstavljen diskretnom konvolucijom, h 1 2 definiran izrazom:

53/139

( k , k ) = h 1 2

1 = + 2 = + 1 = 2 =

h( 1 , 2 )e ( 1 k 1 + 2 k 2 )

gdje su k1 i k2 kontinuirane vrijednosti prostorne frekvencije Za operator iz izraza (*) frekvencije. ( ) slijedi:
( k , k ) = h 1 2
1 = + 2 = +

1 = 2 =

h( 1 , 2 )e i ( 1 k 1 + 2 k 2 )

1 ik 1 = + e + e ik 1 + e ik 2 + e ik 2 2 = ( 4 + 2 cos( k1 ) + 2 cos( k2 )) / 8

Uzorkovanje slike Amplituda od h prikazana je na slici.

54/139
0.8 |h(k1,k2)| 0.6 0.4 02 0.2 0 -0.2 -3 -2 0 k2 2

-1

0 k1

-2

Sa slike se uoava veliko pojaanje za frekvencije blizu Nyquistove. Ovo znai da operator (*) nee dobro operirati u prisustvu uma.

5.6. Znaajke slike

Osnova mnogih vizualnih zadataka u robotskoj viziji j j je usporedba p dvaju j ili vie p pogleda g istog g objekta dobivenih sa dvije/vie kamera ili dobivenih iz jedne kamere sa razliitih pozicija, pri emu je jedan od njih referentni pogled. esto j je korisno izabrati takve apstrakcije p j slika koje pojednostavljuju usporedbu. Pojedinani pikseli su samo indirektno povezani sa intenzitetom (boja) objekta u sceni. Iznosi piksela su rezultat sloene interakcije izmeu osvjetljenosti prostora, poloaja kamere, prisustva drugih objekata u prostoru i refleksijskih svojstava objekata.

55/139

Znaajke slike

Vrijednosti pojedinanih piksela ne koriste se direktno u veini zadataka robotske vizije. vizije Zbog toga je potrebno nainiti njihovo preobradbu da se istaknu korisne strukture u slici. U nastavku se obrauju sljedee znaajke slike:

56/139

boja i sjena, ogranienja osvjetljenosti slike (optiki tok), korelacija, izdavajanje znaajki, izdvajanje rubova.

Boja i sjena

Kamere u boji postiu intenzitet od skupa senzora osjetljivih j j na razliite valne duljine j svjetlosti (obino RGB). Nakon toga se slika predstavlja vektorom vrijednosti u svakom pikselu, radije nego samim intenzitetom. Jedna od najefikasnijih metoda za opis objekta u sceni je histogram boja kojim se objekt opisuje odreenom kombinacijom boja. Slika se predstavlja vektorom (h1, h2 ,..., hn) u ndimenzionalnom vektorskom prostoru, gdje svaki element hi oznaava broj piksela i-te boje u slici.

57/139

Boja i sjena

Slinost slike H opisane histogramom (h1, h2 ,..., hn) i slike K opisane sa (k1, k2 ,..., kn) moe se izraunati prema izrazu:
d (H, K ) =

58/139

h k
i

U standardnim p primjenama j skup p mogu g ih boja se reducira na manji broj (256 je tipian broj j boja) j ) i tada se slika moe p predstaviti sa 256 vrijednosti. Histogrami se normiraju tako da je mjera slinosti neovisna o veliini slike.

Optiki tok

Iako vrijednosti pojedinanih piksela nisu stabilne uz velike p promjene j u slici, , mogu g se smatrati stabilnim pri malim promjenama. Drugim rijeima, ima intenzitet take se ne mijenja njezinim kretanjam. Ovo je iskazano jednadbom ogranienja osvjetljenosti, odnosno jednadbom ogranienja gradijenta:

59/139

f ( x + dx, y + dy, t + dt ) = f ( x, y, t )
gdje je f(x, y, t) funkcija intenziteta slike.

(**) ( )

Optiki tok

Razvojem funkcije f(x, y, t) u Taylorov red dobiva se:

60/139

f ( x + dx, y + dy, t + dt ) = f ( x, y, t ) +

f f f dx + dy + dt + ( x 2 ) x y t

Zanemarenjem Z j lanova l visokog i k reda d (O(x2) drugog i vieg reda po x-u) i uzimajui u obzir izraz (**) slijedi:

f f dx f dy = + t x dt y dt

(***) jednabom

Ova jednadba se naziva ogranienja optikog toka.

Optiki tok

Jednadba ogranienja optikog toka postavlja ogranienje na brzinu slike (u, v) = (dx/dt, dy/dt) u ovisnosti o lokalnim derivacijama funkcije intenziteta slike (Ex, Ey, Et) = (df f/dx, df f/dy y, df/dt). Jednadba ( (***) ) nije dovoljna za izraunavanje optikog toka (u, v), ve samo linearnog ogranienja Exu + Eyv + Et = 0. Lokalne informacije sadrane u jednadbi ogranienja optikog toka daju linearna ogranienja na (u, v), pri emu optiki tok predstavlja vektorsko polje (u, v).

61/139

Optiki tok

Ovo postavlja ogranienje na tok u smjeru gradijenta g j osvjetljenosti j j ali ne i na ogranienje u smjeru okomitom na smjer gradijenta osvjetljenosti (slika ispod).

62/139

Optiki tok

Takoer je potrebno raunati u i v za svaki piksel piksel, to nije mogue navedenim postupkom jer jednadba ogranienja optikog toka daje samo jednu jednadbu po pikselu. Da bi se dobilo D d bil jednozna j d no polje lj opti tikog k toka neophodne su dodatne informacije. Nedostupnost lokalnih informacija optikog toka u smjeru okomitom na smjer gradijenta osvjetljenosti poznato je pod imenom aperture problem (problem dijafragme kamere).

63/139

Optiki tok

Rjeavanje aperture problema se omoguuje uvoenjem j dodatnih izraza koji j izraunavaju j integral kvadrata amplitude gradijenta optikog toka:

64/139

es =

2 2 2 (u x + uy + vx + v2 y ) dxdy

i pogreku u optikog toka:

jednadbi

ogranienja

ec =

( E x u + E y v + Et ) 2 dxdy y

Optiki tok

Oba izraza trebaju poprimiti to je mogue manje vrijednosti kada se eli minimizirati es + ec, odnosno izbjei aparture problem, gdje je parametar koji "oteava" oteava pogreku u jednadbi kretanja scene (slike). Velika V lik vrijednost ij d t ovog parametra t se koristi k i ti ako je mjerenje osvjetljenosti tano, a mala ako k su mjerenja j j prekrivena ki umom (zaumljena). U praksi se parametar runo podeava postigle g to j je mogu g e bolje j kako bi se p performanse.

65/139

Optiki tok

Primjena Eulerove jednadbe daje:

2 u = ( E x u + E y v + Et ) Ex

66/139

v = ( E x u + E y v + Et ) E y
2

gdje dj je: j
2 2 2 = 2 + 2 dx dy

Laplaceov operator.

Optiki tok

Gornje jednadbe formiraju par eliptikih diferencijalnih jednadbi drugog reda. U sluaju pojave silueta (jedan objekat zatvara drugi) javlja se diskontinuitet u optikom toku. Ovo naravno naruava ogranienje glatkoe. Jedna od mogunosti prevazilaenja ovog problema je pokuati pronai rubove koji nagovjetavaju ovakva preklapanje objekata, a da se pri tome iskljue pikseli u blizini takvih rubova na temelju j raunanja j opti p kog g toka. Optiki tok obeava da bude sastavni dio buduih algoritama vizije koji e kombinirati znakove koritenjem viestrukih algoritama. Meutim, algoritmi izbjegavanje prepreka i upravljaki navigacijski sistemi koji iskljuivo koriste optiki tok nisu jo uvijek u irokoj upotrebi.

67/139

Korelacija

Iako se intenzitet strukture scene mijenja sa promjenom pogleda, moe postojati sluaj da lokalna struktura slike blizu promatrane, interesantne take ostane konstantna. Jedan od najpopularnijih pristupa koji umjesto promatranja jednog piksela, kao kod optikog toka, promatra skup piksela (prozor u slici) i uzorak iz jedne slike se korelira sa drugom slikom da se pronae njegov poloaj u drugoj slici. Ovaj pristup se naziva korelacija. Slinost dviju slika f i g definirana je izrazom:

68/139

d 2 (x, y ) =

( f ( x, y ) g ( x + x, y + y )) 2

Korelacija

Gornja suma je nainjena preko podruja dviju slika koje se usporeuju. Mjestu gdje se slika g moe nai u slici f pridruuje se mala vrijednost j d2, odnosno slike f i g su sline ako je d2 malo. Obavljanjem Oba ja je ope operacije ac je kvadriranja ad a ja dob dobiva a se se:

69/139

d 2 (x, y ) =

f ( x, y ) 2 + g ( x + x, y + y ) 2 2 f ( x, y )g ( x + x, y + y )

Ako se pretpostavi da su f i g konstantni unutar cijelog prozora prozora, tada je minimizacija izraza d2(x, y) ekvivalentna maksimizaciji korelacije f i g-a, gdje je j dana sa: korelacija

corr (x, y ) =

f ( x, y) g (x + x, y + y)

Korelacija

U tipinim primjenama je mali prozor u jednoj slici u korelaciji j sa dijelovima j p prozora druge g slike. Korelacija je relativno jeftina jeftina. Cijena je povezana sa veliinom prozora i podruja koji se pretrauje pretrauje. Takoer, jednostavna korelacijska funkcija dana gornjim izrazom je osjetljiva na lokalne osjetljivosti slika f i g. Ova funkcija O f k ij j je tako k er osjetljiva j lji na um u ulazu l i distorziju izmeu dviju slika koje nisu rezultat jednostavnog pomjeranja (shiftovanje) (shiftovanje).

70/139

Korelacija

Normiranjem se dobiva sljedea korelacijska funkcija:

71/139

W ( x, y) f ( x + x, y + y) g ( x + x, y + y)
v f (x, y )v g (x, y )
1 2

g j su f i g korigirane gdje g verzije j ulaza, , vf i vg su lokalne varijance od f i g izraunate unutar funkcije prozora W.

Izdvajanje znaajki slike

Umjesto razmatranja cjelokupne slike neki pristupi koriste heuristike za identificiranje pojedinih taaka na slici koje su vane za odreeni zadatak i kasnije koritenje tih taaka za prikazivanje slike. Korneri, naprimjer, esto su veoma vani za vizualne zadatke i za njihovo identificiranje se koriste ranije izgraeni detektori kornera kornera. Opa klasa takvih operatora je poznata pod imenom detektori znaajki ili operatori od interesa interesa. U praksi ovi detektori trebaju identificirati lokacije koje su stabilne unutar malih promjena u slici i malih promjena u taki pogleda. Oni takoer saimaju sliku u obliku brojnih podesivih znaajki.

72/139

Izdvajanje znaajki slike

Jedan od najpopularnijih i najvie koritenih detektora znaajki j j je Moravecov operator p . Ovaj operator generira potencijalne take od interesa na temelju mjerenja karakteristinih parametara lokalne strukture slike. Moravecov operator definira mjeru varijance u pikselu (x, y) kao:
2 var( x, y ) = [ f ( x, y ) f ( x + k , y + l )] k ,lS

73/139

1 2

gdje je:

S = {(0 , a), (0 , a), ( a ,0 ), ( a ,0 )}

a je parametar.

Izdvajanje znaajki slike

Varijanca se rauna u okolici piksela (x, y) i minimalna varijanca se rauna na sljedei nain:

74/139

Moravec ( x, y ) =

(x ,y )N N

min

var( x + x, y + y )

pri emu se uzimaju samo minimalne lokalne vrijednosti operatora koje premauju specificirani prag prag.

Moravecov operator je dizajniran s ciljem identifikacije taaka u slici koje imaju visoku varijancu, kao to su, naprimjer, korneri.

Izdvajanje znaajki slike

Iako su take sa visokom vrijednou varijance od interesa veoma je teko rei koji detektor e biti odgovoran. Nagel (Nagel, (Nagel 1982) je razvio detektor koji veoma dobro reagira na uzorke intenziteta koji se pojavljuju u blizini kornera u slici slici. Naalost, distribucija intenziteta slike identificiranih Nagelovim detektorom kornera samo indirektno odgovaraju kornerima na slici.

75/139

Izdvajanje znaajki slike

Mnogo efikasniji je takozvani binarni akvizicijski j predloak p koji j p predstavlja j p posebno izraen predloak poznate veliine koji se stavi u prostor i kome se lahko odrede pozicija i orijentacija.

76/139

Binarni akvizicijski predloak

Izdvajanje rubova

Mnoge slike mogu se opisati u obliku strukture promjena u intenzitetu slike slike. Rubovi predstavljaju konture u slici na kojima se skokovito mijenja intenzitet intenzitet. Budui da je slika opisana kontinuiranom funkcijom f(u, v) slijedi da se rubovi pojavljuju na mjestima gdje su velike vrijednosti ij d ti gradijenata dij t funkcije f k ij f(u, v). Gradijent j funkcije j f(u, v) j je vektor f(u, v)=[f/u, f/v]. Trenutno postoji veliki broj diskretnih aproksimacija gradijenta.

77/139

Izdvajanje rubova

Kod gradijentnih operatora moraju se izraunavati lokalni maksimumi i minimumi u slici, to moe biti vrlo teko ostvariti ostvariti. Ovaj problem se ublaava primjenom gradijentnih operatora drugog reda reda, kod kojih se trae take prolaska druge derivacije funkcije f(u, v) kroz nulu nulu. Ako su 1 i 2 ortogonalne usmjerene derivacije intenziteta slike, tada je amplituda 2 2 + gradijenta intenziteta slike dana sa 1 2 dok je smjer ovog gradijenta dan sa tan-1 (2/1).

78/139

Izdvajanje rubova

Naprimjer, Sobelov operator se implementira pomou korelacije p j slike sa operatorima p 1 i 2, g gdje j su oni dani sa:
1 0 1 2 0 2 , 1 = 1 0 1 2 1 1 2 = 0 0 0 1 2 1

79/139

Efekt djelovanja Sobelovog operatora prikazan je na slikama.

original (I)

1I

2I

Izdvajanje rubova

Naalost, operatori koji koriste derivacije imaju j tendenciju j p poja j avanja j uma u slici. Zbog toga je potrebno obaviti filtriranje da bi se smanjio um um, pa tek onda primijeniti Sobelov operator. U vezi s tim je vano promatrati odziv svakog od Sobelovih filtera. Tako za 1 prijenosna funkcija postaje:
(k , k ) = 1 1 2
1 = + 2 = + 1 = 2 =

80/139

h( 1 , 2 )e i (1k1 + 2 k 2 )

= 2i (sin( k1 + k 2 ) + sin( k1 k 2 ) + 2 sin( k1 ))

Izdvajanje rubova

prikazan je na slici. Modul prijenosne funkcije 1

81/139
8 6 4 2 0 -2 -3 0 k2 2

-2

-1

0 k1

-2

Iako 1 ima veliku amplitudu na visokim frekvencijama moe se oekivati njegovo slabo djelovanje u prisustvu uma. uma Koritenje inicijalnog filtriranja s ciljem uklanjanja visokih frekvencija ini operatore sline Sobelovim mnogo stabilnijim.

Izdvajanje rubova

Drugi glavni problem sa gradijentnim operatorima p j je da se mora p pretraivati njihov j izlaz kako bi se pronali i identificirali lokalni maksimum i minimum (poznati kao iljci) na slici. iljci su predstavljeni znaajkama koje je veoma teko p pronai u slici. Upotreba gradijentnih operatora drugog reda reducira ovaj problem jer se pretraga iljaka zamjenjuje sa pronalaenjem taaka prolaska kroz nulu. Postoji mnogo vrsta gradijentnih operatora drugog reda koji se ovdje mogu razmatrati, pri emu je moda Laplaceov operator najpopularnijim.

82/139

Izdvajanje rubova

Ovaj operator je oblika:

= 2 + 2 x y
2 2 2

83/139

Laplaceov operator je neusmjereni operator drugog reda reda. Operatori drugog reda takoer pojaavaju visoke frekvencije, frekvencije to ima za posljedicu njihovu osjetljivost na um i potrebno je takoer predfiltriranje p j slike niskopropusnim p p filtrom, , naprimjer, Gaussovim filtrom oblika:

G ( x, y ) =

1 2
2

x2 + y2 2 2

Izdvajanje rubova

Laplaceov operator Gaussova filtra iznosi:

84/139

2 (G I ) = ( 2 G ) I )

Ovaj j se operator p koristi za raunanje j prolaska kroz nulu druge derivacije radije nego za raunanje iljaka u prvoj derivaciji. Operator 2G je izotropni operator to znai da nije j selektivan p prema orijentaciji j j rubova. Odzivi Gaussova filtra i njegovog Laplaceovog operatora prikazani su na sljedeem slajdu.

Izdvajanje rubova

Odzivi Gausova filtra (a) i njegovog Laplaceovog operatora (b)

-3

85/139

x 10 6

x 10 2

-4

0 -2
0 y -20 -20 -10 x 10 20

0 20 0

-4 -6 20 0 y -20 -20 -10 x 0 10 20

(a)

(b)

Izdvajanje rubova

Rezultati dobiveni Laplaceovim operatorom Gaussova filtra primijenjenim za istu sliku uz razliite vrijednosti parametra prikazani su na sljedeim slikama.

86/139

original

=1

Izdvajanje rubova
87/139

=0.5

=2

Izdvajanje rubova

Sa slika je jasno da se promjenom ovog parametra moe prilagoavati rezolucija prikaza prostora. Izdvojeni individualni rubni pikseli obino se povezuju u sloenije strukture prije daljnje obrade. obrade Naprimjer, skup taaka koje predstavljaju linijski segment moe se u njega i pretvoriti. Na taj j se nain smanjuje j j koliina p podataka kojom je prikazana slika. Ovaj postupak se zove vektorizacija slike.

88/139

Izdvajanje rubova

Cannyjev operator Ova metoda koristi vierazinski algoritam za detekciju rubova u slici. Za razliku od ostalih metoda za detekciju i izdvajanje rubova, Cannyjeva metoda koristi dvije razliite vrijednosti pragova za detektiranje jakih i slabih rubova, te ukljuuje slabe rubove samo u sluaju kada su povezani sa jakim rubovima. Na ovaj nain omogueno je kvalitetnije izdvajanje rubova iz slike u prisustvu uma. Cannyjeva metoda predstavlja "optimalnu" metodu za detekciju, odnosno izdvajanje rubova. Optimalna O i l f funkcija k ij C Cannyjevog j d detektora k opisana i j je zbrojem eksponencijalnih lanova.
89/139

Izdvajanje rubova

Cannyjev algoritam moe se razmatrati kao filter koji ulaznu crno-bijelu sliku obrauje tako da na izlaznoj slici postoje samo rubovi ili ne-rubovi. Detekcija rubova odvija se u etiri faze: izglaivanje (usrednjavanje) slike, odreivanje gradijenta intenziteta slike, stanjivanje rubova i uporedba s pragom.

90/139

originalna slika

Sobel

Canny

5.7. Segmentacija slike

Segmentacija slike bavi se dekompozicijom scene u njezine sastavne dijelove. Osnovni cilj njenog koritenja je odvajanje piksela koji predstavljaju objekte od interesa od ostalih piksela u sceni. Proces segmentacije slike obuhvaa tri potprocesa: klasifikacija piksela, reprezentacija i opis. Na temelju ovih procesa razvijene su razliite metode segmentacije. U nastavku poglavlja se razmatraju sljedei postupci segmentacije: binarna, segmentacija s pragom (amplitudna segmentacija), grupiranje, obiljeavanje komponenti i metode koje koriste granice objekta.

91/139

Segmentacija slike
Binarna klasifikacija s pragom

Klasifikacija piksela predstavlja proces zakljuivanja koji se primjenjuje na svaki piksel i pridruuje ga jednoj j j od C klasa, c {0,..., C 1}, g gdje j se klasa piksela c predstavlja cjelobrojnom vrijednou. Kada j je C = 2 tada se g govori o binarnoj j klasifikaciji. U tom sluaju, pikseli se mogu klasificirati kao objekti (c = 1) ili neobjekti (c = 0) predstavljeni bijelom ili crnom bojom. Binarna klasifikacija:
0 f (u , v) < t c(u , v) = (u, v) f 1 f (u , v) t

92/139

gdje f predstavlja sliku i t prag

Segmentacija slike

Prag t moe se odrediti koritenjem histograma prvog reda, odnosno raunanjem minimuma u histogramu. Odreuje se iznos praga tako da dio piksela ima svjetlinu niu od praga ili odrediti prag na temelju histograma izraunatog za piksele u slici koji zadovoljavaju neki kriterij (velik iznos gradijenata) gradijenata). Kod mnogih slika vrijednost piksela pada u jednu od dvije skupine skupine, tamne ili svijetle take. ke U takvim se sluajevima objekt moe izdvojiti od pozadine na temelju vrijednosti amplitude. Kod izbora praga mogu nastati problemi usljed j j uma i smetnje, j , kada objekt j ip pozadina djelovanja slike imaju irok raspon vrijednosti i u sluaju neuniformne pozadine.

93/139

Segmentacija slike

Binarno klasificirane slike sa razliitim vrijednostima praga: 0.4, 0.6 i 0.8.

50 100 v [pikseli]

94/139

50 100 v [pikseli]
100 200 300 u [p [pikseli] ] 400 500

150 200 250 300 350

150 200 250 300 350 100 200 300 u [pikseli] 400 500

50 100 v [pikseli] 150 200 250 300 350 100 200 300 u [pikseli] 400 500

50 100 v [pikseli] ] 150 200 250 300 350 100 200 300 u [pikseli] 400 500

Segmentacija slike
Binarna klasifikacija sa Niblackovim algoritmom

Niblackov algoritam koristi lokalni prag koji se rauna na sljedei nain:

95/139

t (u , v ) = (W ) + k (W )
gdje je W veliina regija oko take (u, v), () srednja vrijednost i ( ( ) standardna devijacija. devijacija
50 100 v[ [pikseli]

50 100 v [p pikseli]
100 200 300 u [pikseli] 400 500

150 200 250 300 350

150 200 250 300 350 100 200 300 u [pikseli] 400 500

Segmentacija slike
Grupiranje s K srednjih vrijednosti (engl. K-means clustering)
96/139

Pronalazi grupe (engl. clusters) taaka u ravnini, gdje svaka grupa odgovara skupini piksela sa istaknutom razlikovnom bojom.
1 09 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 0 0.2 0.4 x 0.6 0.8 1 y

Tri grupe taaka sa centrima gdje su centrima, centri prikazani veim krugovima.

Segmentacija slike

Ovdje se polazi od pretpostavke da pojedinana scena sadri etiri razliita elementa u boji. Pikseli se grupiraju i j u etiri ti i k kromatske t k klase kl (C = 4). Algoritam grupiranja s K srednjih vrijednosti je it ti i algoritam iterativni l it za grupiranje i j N-dimenzionalnih di i l ih taaka u K prostornih grupa. Svaka grupa definirana je centrom ck koji predstavlja N-dimenzionalni vektor. Neka je x N-dimenzionalni vektor znaajki slike u taki (i, j). Segmentacija treba grupirati vektore tako da znaajke unutar jedne grupe budu uniformne. Nadalje, neka je poznat broj grupa K i neka je ck(n) centar k-te grupe u n-toj iteraciji. Inicijalno se ck(0) postave na bilo koju vrijednost.

97/139

Segmentacija slike

U n-toj iteraciji odabere se jedan vektor xi i dodijeli se grupi g p taaka Rk ijem j j je centru najblii: j

98/139

x i Rk d ( x i , c k (n)) = min {d ( x i , c j (n))}

j =1,..., K

Zatim se ponovo izraunaju centri grupa kao vektori koji minimiziraju udaljenosti za vektore iz pojedine grupe:

c k (n + 1) :

x i R k

d ( x , c (n + 1)) = min{d ( x , y)}, k = 1,..., K

i k y i

Postupak p se p ponavlja j sve dok se p poloaj j centara vie ne mijenja, odnosno dok se sve take ne pridrue pojedinoj grupi.

Segmentacija slike

Primjer 2. Segmentacija zasnovana na grupiranju s K srednjih vrijednosti

99/139

50 100 150 v [piks seli]

100 v [piks seli] 200 300 400

200 250 300 350 400 450 100 200 300 400 u [pikseli] 500 600

100

200

300 400 u [pikseli]

500

600

originalna slika

slika dobivena klasifikacijom piksela za C = 4

Segmentacija slike
0.8 0.7 06 0.6

100 v [pikseli] 200

100/139

0.5 0.4 0.3 0.2 0.1 0 0 02 0.2 0.4 0 4 x 06 0.6 08 0.8 4 2 3 1 y

300 400

100

200

centri klasa u xy kromatskoj ravnini

100 v [pik kseli] 200 300 400

300 400 u [pikseli]

500

600

pikseli klase 3. p

slika nakon primjene morfoloke operacije zatvaranja s krunim strukturnim elementom polumjera r = 2

100

200

300 400 u [pikseli]

500

600

Segmentacija slike
Segmentacija zasnovana na obiljeavanju komponenti
101/139

Jednostavna i efikasna metoda koja se zasniva na ispitivanju povezanosti piksela sa njegovim susjedima i obiljeavanja povezanih skupova taaka. Algoritam: Prvo se binarnom slikom prolazi liniju po liniju, slijeva na desno i odozgo prema dolje. Trenutni piksel X moe biti objekt (vrijednost 1) ili pozadina (vrijednost 0). Ako je vrijednost piksela 1 tada se on obiljei ispitivanjem susjeda. Ako je neki od susjeda ve obiljeen da pripada nekom objektu onda i X dobiva istu oznaku.

Segmentacija slike

U sluaju da neki od susjeda imaju razliite oznake tada se pripadni objekti stapaju (ekvivalentni objekti). Nova oznaka se stvara kod svakog prijelaza iz vrijednosti na izolirani piksel 1 (novi objekt). Rezultat pretraivanja je segmentacija slike u regije, to jest skupine objekata slike.

102/139

Segmentacija slike
Segmentacija zasnovana na granicama objekta

Vri segmentaciju objekata u slici na temelju granica objekata. Granice objekta mogu se izdvojiti sljedeim metodama: praenje granice objekta, interpolacija krivulje i Houghova transformacija. Metoda praenja granice (konture) daje kao izlaz niz koordinata taaka koje se nalaze na granici objekta. Dobiveni niz odreuje regiju slike koja pripada objektu. Metoda interpolacije p j krivulje j p povezuje j take rasporeda rubova da bi se dobila zatvorena kontura koja definira regiju.

103/139

Za to je potrebno razbiti konture u dijelove koji se interpoliraju i primijeniti neki od postupaka interpolacije.

Segmentacija slike

Houghova transformacija Houghova transformacija koristi se za detekciju linija u slici. Pravu liniju, odnosno pravac, potrebno je opisati u obliku minimalnog broja parametara. Standardni zapis v = au + b je problematian u sluaju vertikalnog pravca kada je a = . Umjesto toga moe se koristiti (, ) parametrizacija:
104/139

u sin + v cos =
odnosno:

v = u tan +

cos

Segmentacija slike

[-/2, /2) je ugao nagiba i udaljenost pravca od ishodita, , za koji j vrijedi j [ min, max].
Horizontalni pravac ima = 0 i vertikalni = -/2. Svaki pravac moe se promatrati kao taka (, ) u dvodimenzionalnom prostoru svih moguih linija. Houghova transformacija preslikava pravac u taku u koordinatnom sistemu . Familija F ilij pravaca k koja j polazi l ik kroz j jednu d t taku k bi se preslikala u skup taaka koje lee na sinusoidi. U praksi se razmatraju pravci iz konanog skupa skupa. U tom smislu se ravnina kvantizira i koristi se odgovaraju d j e polje lj A dimenzija di ij N N. Ovo polje naziva se Houghova ravnina.

105/139

Segmentacija slike

Primjer 3. Promatra se pravokutni objekt zakrenut za odreeni ugao u smjeru kretanja kazaljke na satu.
300
50

106/139

200 100

[pikseli]

v [pikseli]

100

0 -100 -200 200 -300

150

200

Houghova ravnina
-1 -0.5 0 0.5 theta [rad] 1 1.5

250 50 100 150 u [pikseli] 200 250

-1.5

100 80 60
50

40 20 0 -20 -40 -0.5

Prikaz oko 100 jedne presjene 150 take

v [pikseli] 200 250

Projekcija detektiranih linija (Houghovi pravci) na originalnu sliku

50 100 150 u [pikseli] 200 250

[pikseli]

-0.4

-0.3 -0.2 theta [rad]

-0.1

Segmentacija slike
Segmentacija zasnovana na raunanju momenta

Momenti su efikasna i raunarski nezahtjevna klasa svojstava slike koji mogu opisati veliinu regije, njenu lokaciju i oblik. Moment slike f je skalar opisan izrazom:

107/139

m pq =

( u , v ) f

u p v q f (u , v)

gdje je (p + q) red momenta.

Za p = q = 0 imamo moment nultog reda reda, odnosno:

m pq =

( u , v ) f

f (u, v)

Segmentacija slike

Za binarnu sliku u kojoj su vrijednosti piksela podloge jednaki nuli, moment predstavlja broj ne-nultih piksela (bijeli), odnosno veliinu regije izraenu brojem piksela. Neka je ukupna masa regije jednaka m00 tada je centar mase ili centroid regije:

108/139

m10 m01 uc = , vc = m00 m00

gdje su m10 i m01 momenti prvog reda.

Centralni momenti pq raunaju se u odnosu na centroid kao: pq = (u u c ) p (v vc ) q f (u , v)

( u , v ) f

Segmentacija slike

Ovi momenti povezani su sa momentima mpq na sljede j i nain:

109/139

10 = 0, 20

01 = 0

2 2 m10 m01 m10 m01 , 02 = m02 , 11 = m11 = m20 m00 m00 m00

Matrica inercije regije:

20 J= 11

11 02

sadri momente oko osi koje su paralelne sa osima u i v i koje prolaze kroz centroid regije. Drugi centralni momenti 20 i 02 su momenti inercije i 11 je produkt inercije.

Segmentacija slike

Produkt inercije poprima ne-nultu vrijednost ako je oblik regije nesimetrian u odnosu na osi regije. Na ovaj nain dobiva se ekvivalentna elipsa koja ima istu matricu inercije kao i regija. Svojstvene vrijednosti i svojstveni vektori matrice J povezani su sa radijusima j elipse i njenom j orijentacijom u odnosu na osi koordinatnog sistema. Radijusi elipse raunaju sa kao:
a=2

110/139

1
m00

, b=2

2
m00

Zadnji stupac matrice svojstvenih vektora (vx i vy) 1 v y = tan v odreuje ugao koji ovaj vektor zatvara sa x osi: x

Segmentacija slike

Primjer 4. Segmentacija zasnovana na raunanju momenta

Ciljna regija oznaena je crnim pravokutnikom na drugoj slici. Za ovu regiju raunaju se: momenti slike, centroid regije, ij matrica ti i inercije ij regije ij ( (centralni t l i momenti), ti) radijusi dij i elipse i ugao koji s horizontalnom osi zatvara zadnji vektor stupac matrice at ce svojstvenih s ojst e vektora. e to a
0
50 100 150

111/139

100 v [pikseli] 200 300 400 100 200 300 400 u [pikseli] 500 600

v [p pikseli]

200 250 300 350 400 450 100 200 300 400 u [pikseli] 500 600

Segmentacija slike

Regije sa prve slike izdvojene su postupkom segmentacije obiljeavanja komponenti.

100 v [pikseli] 200 300 400

112/139

100

200

300 400 u [pikseli]

500

600

Moment nultog reda iznosi m00 = 6004, to predstavlja veliinu regije izraene u pikselima. Koordinate centroida iznose uc=346.7539 piksela i vc=410.4446 piksela.

Segmentacija slike

Ciljna regija je ograniena sa [umin, umax]=[310, 382] piksela i [vmin, vmax] p ]=[361, [ , 460] ]p piksela. Matrica inercije regije J, iji su elementi centralni momenti regija, jednaka je:
20 J= 11

113/139

11 0.2329 6 2.0436 = 10 02 0 . 2329 4 . 4181

Svojstvene vrijednosti matrice J i radijusi elipse:

1 6 2.0210 = = 10 2 4.4408

a=2

1
m00

= 36.6904, b = 2

2
m00

= 54.3880

Omjer a/b iznosi 0.6746 i ugao koji zatvara vektor zadnjeg stupca matrice svojstvenih vektora v=[ [vx vy] T = [-0.0962 0.9954]T sa horizontalnom osi iznosi

95.5498

Segmentacija slike

Omeene kutije, odnosno pravokutnici, sadre granine linije okvira unutar kojih su smjetene etiri regije sa originalne slike (prva slika). Dimenzije j ovih regija g j definirane su intervalima [umin, umax] i [vmin, vmax].
0 100 v [pikseli] 200 300 400 100 200 300 400 u [pikseli] 500 600

114/139

5.8. Registracija slike

Problem registracije dviju slika sastoji se u odreivanju geometrijske transformacije kojom se jedna slika preslikava u drugu. Nakon registracije za svaku taku u prvoj slici poznato je koja joj je taka korespondentna u drugoj slici. Registracija je neophodna da bi se mogli uporeivati ili integrirati podaci dobiveni iz razliitih mjernih sistema. sistema Prema tome, registracija slike je vaan problem analize slike kada imamo vie slika jednog objekta dobivenih razliitim nainima snimanja, kada imamo vie e s slika a jed jednog og obje objekta as snimljenih je u razli a itim vremenskim trenucima, kada elimo uporediti slike vie objekata i kada se eli uporediti slika s modelom.

115/139

Registracija slike

Proces registracije sastoji se od tri potprocesa: transformacija slike, mjere slinosti kojom se odreuje kvaliteta registracije i funkcija optimiranja kojom se maksimizira mjera slinosti. Nakon to su dvije slike registrirane mogue je analizirati, odnosno detektirati razlike izmeu dviju istovrsnih slika, slika naprimjer, naprimjer snimljenih u dva razliita vremenska trenutka i kombinirati informacije sadrane u dvjema raznovrsnim slikama, naprimjer, snimljenim razliitim nainima snimanja. to se tie transformacije slike najee se koriste geometrijske transformacije, kao to su: linearne (ukljuuju translaciju, rotaciju, skaliranje i druge afine operacije), elastine i rigidne (neelastine).

116/139

Registracija slike

Geometrijska transformacija vri se na prostoru u kojem se slika nalazi, a ne na intenzitetima slike, zbog toga se ona moe matematiki predoiti u openitom obliku:

117/139

f T (u , v) = f S ( (u , v))

Na ovaj nain obavlja se registracija ulazne slike fS na referentnu sliku fR tako to se primjenjuje transformacija T na prostor u kojem se slika fS nalazi. Slj d i vaan Sljede segment t u registraciji i t iji slike lik j je korespondencija slika. Korespondencija vie slika je problem pronalaenja koordinata piksela u vie razliitih slika koje odgovaraju istoj j taki u stvarnom svijetu. j Ove take mogu se detektirati razliitim pogledima iste scene bez obzira na taku pogleda ili svjetlosni ambijent.

Registracija slike

Pretpostavimo da imamo dvije slike iste scene dobivene dvjema razliitim kamerama (veliina piksela, arina duljina, broj piksela po slici,...) postavljenim na razliite poloaje. Ukoliko scene nisu usklaene tada odreivanje korespondencije izmeu slika predstavlja znaajan problem. problem U tom sluaju posee se za nekim od detektora znaajki, ajki naprimjer naprimjer, Harrisov detektor uglova koji odabire samo karakteristine, odnosno svojstvene take. Harrisov detektor rauna se prema izrazu: C H (u , v ) = det( A) k tr( A)

118/139

Registracija slike

Elementi matrice A raunaju se na temelju gradijenata g j du x i y osi slike (fx i fy), bilo kvadriranjem ili mnoenjem, i izglaivanja pomou teinske matrice W, na sljedei nain:

119/139

A=

W ( i , j ) fx ( u + i , v + j ) f y ( u + i , v + j )

W (i , j ) fx2 (u + i , v + j )

W (i , j) f (u + i , v + j) f (u + i , v + j) W (i , j ) f (u + i , v + j )
x y 2 y

Matrica A moe se napisati i u obliku:

A=

G( ) f f G( ) f f G( ) f
G( ) fx2
x y 2 y x y

gdje je operacija konvolucije definirana kao:

G( 1 ) G( 2 ) = G +
2 1 2 2

G( ) =

1 2 2

u2 + v2

2 2

Registracija slike

Na ovaj nain reducira se um u slici i poboljava stabilnost i pouzdanost detektora. Prema tome, gradijenti slike fx i fy raunaju se pomou Gaussovog operatora sa mogunou podeavanja koeficijenta i l ivanja izgla i j . U jednadbi najee se uzima da je k = 0.04. Velike vrijednosti Harrisova detektora predstavljaju izotrene i razlikovne uglove. Budui da je det(A) = 12 i tr(A) = 1+2 slijedi da je ovaj detektor efikasan kada se izbjegava raunanje svojstvenih vrijednosti matrice A, to ponekad moe biti raunarski izuzetno zahtjevno.

120/139

Registracija slike

Primjer 5. Korespondencija slika. Promatraju se dvije identine slike slike, dobivene dvjema kamerama razliitog broja piksela (7 i 10 Mega pixela) i stupnja uveanja slike
100 200 300 v [pik kseli] 400 500 600 700 800 900

121/139

100 200 300 v [pik kseli] 400 500 600 700 800 200 400 600 800 u [pikseli] 1000 1200

200

400

600 800 u [p [pikseli] ]

1000

1200

Na slikama je primijenjen Harrisov operator kojim se detektira 100 najizraenijih uglova (kornera).

Registracija slike

Za mjeru slinosti dviju slika koje se registriraju zasnovanu na vrijednostima piksela mogu se koristiti razliiti kriteriji, kao to su: kvadratna razlika intenziteta, korelacijske tehnike, uniformnost k kvocijenta ij t slike, lik k kriteriji it iji zasnovani i na t teoriji iji informacija (naprimjer, zajednika entropija dviju slika),... slika) Ovdje se razmatra kriterij koji koristi korelacijske tehnike, odnosno raunanje korelacijskog koeficijenta s:
s=

122/139

( f (i , j ) f ) ( f (i , j ) f ) ( f (i , j ) f ) ( f (i , j ) f )
M N i =1 j =1 1 1 2 2 M N i =1 j =1 1 1 2 M N i =1 j =1 2 2

Registracija slike

N je dimenzija prostora, f1 i f2 predstavljaju prosjene j od f1 i f2, koje j se raunaju j na sljede j i vrijednosti

nain:
1 fk = NM

123/139

i =1
N i =1 1

N j =1

f k ( i , j ), k = 1 , 2

Za jednodimenzionalni sluaj dobiva se:

(( f (i ) f ) ( f (i ) f )) s= ( f (i ) f ) ( f (i ) f ) ( f (i ) f ) ( f (i ) f ) = ( f (i ) f ) ( f (i ) f ) 1444 2444 3 1444 2444 3
1 2 2 N 2 N i =1 N 1 1 i =1 2 2 2 N i =1 N 1 1 i =1 N 2 2 2 2 i =1 1 1 i =1 2 2 d1 d2

Normirani vektori di mogu se koristiti kao deskriptori znaajki.

Registracija slike

Bolji rezultati u slaganju slika dobivaju se koritenjem SURF (engl. Speeded Up Robust Feature) algoritma koji se zasniva na raunanju maksimuma u aproksimiranoj Hessijan-Gaussovoj sekvenci. On rauna vektorski deskriptor koji sadri 64 elementa i opisuje svojstva piksela na nain da je invarijantan na skaliranje i rotaciju i koristi piksele unutar regije od interesa. Segmentacija slike je jako efikasna za pronalaenje objekta u slici, praenje objekta u nizu slika (film), kao i za odreivanje orijentacije objekta na slici. Osim navedenih deskriptora, odnosno detektora znaajki, veliku primjenu nalazi i SIFT (engl. scale-invariant feature transform).

124/139

5.9. Stereovizija

Jedna kamera ne moe lokalizirati objekat u 3D prostoru prostoru, ona daje informaciju o smjeru, a ne i o udaljenosti do njega. Koritenjem kamere kamere, 3D slika se pretvara u 2D sliku. Postavlja se pitanja: Kako iz kanonikih koordinata slike xl i yl , izvui informaciju o koordinatama objekta x,y i z? Za odreivanje j udaljenosti j do objekta j nuno je koristiti vie slika i identificirati znaajke u njima. j

125/139

Stereovizija

U mobilnoj robotici je vano izbjei objekat, a ne imati informacije j o njegovoj j g j boji. j U vezi s tim je zgodno izdvojiti rubne take (piksele) (p )ip povezati ih i na taj j nain dobiti linijski j segment. Na ao ovaj aj na ain se s smanjuje a juje koli o ina a poda podataka a a sa kojima je prikazana slika. Problem izvlaenje informacija o dubini na temelju dvije slike koje oslikavaju scenu iz razliitih perspektiva se rjeava stereovizijom. Problem se moe poopiti i na vie slika, odnosno vie kamera. Korespondentne p take mogu g e je j matematiki povezati epipolarnom geometrijom.

126/139

Stereovizija
Epipolarna geometrija

Epipolarna geometrija opisuje odnose izmeu slika dobivenih pomou dvije kamere koje snimaju scenu iz dva razliita ugla.
P

127/139

P = (x, y, z) taka u 3D prostoru

scene Take p1 i p2 definiraju optike zrake kamera koje prolaze kroz taku P u 3D prostoru.

ravnina slike 1 l1

epipolarna ravnina l2

p1 z1

p2 z2 e1 bazna linija e2 ravnina slike 2 y2 C2 x2

C1 x1 y1

Ravnina koja prolazi takom P i centrima projekcije obiju kamera naziva se epipolarna ravnina. Sve tri take P, p1 i p2 su koplanarne, odnosno lee u istoj epipolarnoj ravnini. Problem koji j definira epipolarna pp geometrija jest odreivanje odnosa izmeu taaka p1 i p2

Stereovizija

Linija na kojoj se nalaze obje kamere naziva se bazna linija (engl. baseline), a mjesto na kojem se sijeku bazna linija i ravnina slike naziva se epipol ili epipolarna taka (oznaena sa e1 i e2). Ustvari, epipol predstavlja projekciju optikog centra jedne kamere na ravninu slike druge kamere. Linije koje predstavljaju presjeke epipolarne ravnine s ravninama slika nazivaju se epipolarne linije, koje su oznaene sa l1 i l2. Epipolarne linije se takoer mogu definirati kao linije na slici li i k koje j prolaze l epipolom i l i projekcijom j k ij t take k P (to jest takom p1, odnosno p2).

128/139

Stereovizija

Epipolarna linija moe se promatrati kao projekcija optike zrake prve kamere koja prolazi optikim centrom prve kamere i takom P na sliku druge kamere. Budui da se taka P moe nalaziti samo na toj optikoj zraci, to znai da se njezina projekcija na drugu sliku moe nalaziti samo na razmatranoj epipolarnoj liniji. T injenica Ta i j i naziva i se epipolarno i l ograni ienje j . Epipolarno ogranienje (uvjet) govori da se taka moe nalaziti l iti samo na opti tik koj j osi i gdje dj epipolarna i l ravnina sijee ravninu slike dobivene s druge kamere

129/139

Stereovizija

Kada se za neku taku prve slike trai taka na drugoj slici koja odgovara istoj 3D taki scene, tada je pretraivanje druge slike ogranieno samo na epipolarnu liniju koja odgovara taki p1. Uz poznavanje intrinzinih parametara obiju kamera te njihovog meusobnog poloaja, mogue je za svaku k ta t k ku prve slike lik odrediti d diti njoj j j odgovaraju d j u epipolarnu liniju na drugoj slici i obratno.

130/139

Stereovizija
Fundamentalna matrica

Fundamentalna matrica matematiki opisuje epipolarnu geometriju. Taka p2 mora uvijek leati na epipolarnoj liniji l2 ravnine druge slike. Da bi se pronala taka p2 potrebno je samo pronai preslikavanje take p1 na epipolarnu liniju l2. Ovo se obavlja na sljedei nain. in Neka se promatra pomona ravnina koja ne sijee niti jedan od centara kamere kamere. Mjesto gdje optika zraka prve kamere sijee ravninu oznaeno je takom P.

131/139

Stereovizija

Projekcija ove take na ravninu druge slike odgovara taki p2 koja j se nalazi na epipolarnoj pp j liniji j l2. Budui da epipolarna taka e2 i taka p2 lee na pp j liniji, j , tada vrijedi: j epipolarnoj

132/139

l 2 = e2 p2

Ukoliko bi taku p2 prikazali kao umnoak vektora p1 i neke matrice H tada bi se p prethodni izraz mogao g zapisati kao: l2 = e2 p2 = e2 H p1 = Fp p1 gdje je F fundamentalna matrica i H 2D homografska matrica koja j se moe definirati p poto su p preslikavanja j take p1 u taku p2 projekcijski ekvivalentna u odnosu na taku P.

Stereovizija

Vano je naglasiti da u sluaju kada meusobni poloaj kamera nije poznat tada je potrebno estimirati fundamentalnu matricu.
P

133/139

ravnina slike 1 l2 p1 z1 C1 x1 y1 e2 ravnina slike 2 y2 H p2 z2 C2 x2

Stereovizija

Vano je naglasiti da u sluaju kada meusobni poloaj kamera nije poznat tada je potrebno estimirati fundamentalnu matricu. Primjer . Odreivanje korespondentnih taaka i epipolarnih linija pomou sistema stereovizije, odnosno sistema dviju kamera. N sljede Na lj d oj j slici li i prikazane ik su slike lik d dobivene bi lij lijevom i desnom kamerom, koje su poravnate i meusobno razmaknute za 30 cm, cm gdje je f = 5.2 5 2 mm. mm Na temelju procesa slaganja prve i druge slike koritenjem SURF deskriptora pronaene su 132 korespondentne take. Nakon toga je primijenjena metoda konsenzusa sluajnih uzoraka (RANSAC - Random Sampling and Consensus) za estimaciju fundamentalne matrice.

134/139

Stereovizija

Vano je naglasiti da u sluaju kada meusobni poloaj kamera nije poznat tada je potrebno estimirati fundamentalnu matricu.
50 100 150 v [pikseli] 200 250 300 350 400 450
100 200 300 400 u [pikseli] 500 600

135/139

50 100 150 v [pikseli] 200 250 300 350 400 450

100

200

300 400 u [pikseli]

500

600

Slika dobivena lijevom kamerom

Slika dobivena desnom kamerom

Stereovizija

U ovom primjeru dobiveno je 53 podobnih (40.2%) i 79 nepodobnih (59.8%) taaka. Poloaj podobnih taaka na sceni dobivenoj pomou lijeve kamere prikazan je na lijevoj slici, dok su na desnoj slici predoene epipolarne linije.

136/139

50 100 150 v [pikseli] 200 250 300 350 400 450 100 200 300 400 u [pikseli] 500 600

Stereovizija
Odreivanje dubine slike pomou triangulacije
(x, y, z) kontura objekta

137/139

Taka na objektu j j je opisna p koordinatama (x,y,z) s obzirom na centar izmeu osi dviju lea.

lea l f

centar y z (x1, y1) b/2

lea r x (x2, y2)

b/2

arina ravnina

Stereovizija

Iz prethodne slike slijedi:

x1 x + b / 2 = f z x2 x b / 2 = f z
138/139

odnosno, d

y1 y 2 y = = f f z

Iz gornjih izraza dobiva se izraz za disparitet (razlika u koordinatama slike (x1-x2)):

x1 x2 b = f z

Stereovizija

Samo se mjerenjem dispariteta mogu izluiti informacije o dubini. Na temelju gornjih jednadbi dobivaju se izrazi za koordinate objekta:

139/139

( x1 + x2 ) / 2 x=b x1 x2 ( y1 + y 2 ) / 2 y=b x1 x2 f z =b x1 x2

Udaljenost kamere do objekta je inverzno proporcionalna disparitetu. Disparitet Di it t j je proporcionalan i l sa b; za zadanu pogreku dispariteta sa poveanjem b-a poveava se tanost estimacije dubine. Kako b raste, zbog fizike odvojenosti kamera, , neki objekti j se mogu g p pojaviti j na jednoj kameri, a na drugoj ne.

Sva navedena pria vrijedi ako su kamere idealno poravnate, to u praksi nije sluaj tada se koristi kalibracija kamere.