DETEKCIJA MARKERA

MARKER DETECTION

Milorad Paska
1
Inovacioni centar Elekt
Sadraj U radu je predstavljen nain za prepoznavanje
markera u domenu proirene stvarnosti. K
unapred poznati binarni (crno-beli)
postavljeni na zidovima prostorije. Po svojoj strukturi,
markeri se veoma razlikuju od okoline,
svodi na postavljanje praga sivog u slici. Kada su iz slike
izdvojeni kandidati za markere, onda se za ispravljanje
markera koriste pravila projekcionih transformacija, a za
njihovo prepoznavanje korelacija posmat
sa bazom korienih markera. Opisan postupak moe se
koristiti u razliite svrhe, kao to su: navigacija robota,za
naplatu usluga putem mobilnog telefona, u muzejima,
zabavne igre i dr.

Abstract In this paper an algorithm for marker
detection in augmented reality environment is presented
Predetermined binary (black-and-white
on the walls, are used. Their patterns
from the surrounding, leading to the
based on the thresholding. After marker
extracted the projective mapping matrices are used for
restoration of the marker shape and
coefficients are calculated (among the marker database)
for marker recognition. Proposed algorithm ca
in different fields: robot navigation issues, for payments
via mobile phones, in museums, for compu
other purposes.

1. UVOD

Poslednja decenija obeleena je mnogobrojnim
primenama rezultata iz oblasti proirene stvarnosti. Za
razliku od virtuelne stvarnosti, gde je realno okruenje
potpuno odsutno, kod proirene stvarnosti prirodno
okruenje ima dominantnu ulogu [1]. Proirena stvarnost
podrazumeva prirodnu sliku ili video koji j
vetakim objektima, koji se, naj
dodavanje virtuelnih objekata ili dodatnih
postojeu sliku (video).

Dodati objekti su esto realizovani u vidu planarnih,
pravougaonih markera [2]. Primeri ovih markera
prikazani su na Sl.1. Prva vrsta markera se koristi u
kontrolisanim uslovima, odnosno kada je poloaj kamera
marker strogo definisan. U tom sluaju nema potrebe za
ispravljanjem markera. U drugoj vrsti prikazani su
markeri koje koriste tri najpopularnija sistema za
detekciju u oblasti proirene stvarnosti: ARToolKit,
ARTag i ARStudio [2]. U ovom sluaju, poloaj kamera
marker je proizvoljan, pa se pri prora
rauna o projekcionim transformacijama, odnosno o
izoblienjima markera usled perspektive


DETEKCIJA MARKERA U OKRUENJU PROIRENE STVARNOSTI
MARKER DETECTION IN AUGMENTED REALITY ENVIRONMENT
Milorad Paska
1
, Ana Gavrovska
2
, Dragi Dujkovi
2
, Branimir Reljin
Inovacioni centar Elektrotehnikog fakulteta u Beogradu
2
Elektrotehniki fakultet u Beogradu

in za prepoznavanje
markera u domenu proirene stvarnosti. Koriste se
markeri koji su
Po svojoj strukturi,
, ime se detekcija
svodi na postavljanje praga sivog u slici. Kada su iz slike
izdvojeni kandidati za markere, onda se za ispravljanje
markera koriste pravila projekcionih transformacija, a za
njihovo prepoznavanje korelacija posmatranog kandidata
enih markera. Opisan postupak moe se
ite svrhe, kao to su: navigacija robota,za
bilnog telefona, u muzejima, za
an algorithm for marker
environment is presented
white) markers, placed
are quite different
, leading to the simple detection
ker-candidates are
projective mapping matrices are used for
marker shape and the correlation
coefficients are calculated (among the marker database)
for marker recognition. Proposed algorithm can be used
: robot navigation issues, for payments
via mobile phones, in museums, for computer games and
Poslednja decenija obeleena je mnogobrojnim
primenama rezultata iz oblasti proirene stvarnosti. Za
gde je realno okruenje
potpuno odsutno, kod proirene stvarnosti prirodno
okruenje ima dominantnu ulogu [1]. Proirena stvarnost
podrazumeva prirodnu sliku ili video koji je proiren
se, najee, koriste za
dodatnih informacija u
realizovani u vidu planarnih,
pravougaonih markera [2]. Primeri ovih markera
prikazani su na Sl.1. Prva vrsta markera se koristi u
im uslovima, odnosno kada je poloaj kamera
aju nema potrebe za
ispravljanjem markera. U drugoj vrsti prikazani su
koje koriste tri najpopularnija sistema za
detekciju u oblasti proirene stvarnosti: ARToolKit,
aju, poloaj kamera
marker je proizvoljan, pa se pri proraunu mora voditi
una o projekcionim transformacijama, odnosno o
usled perspektive.
Sa Sl.1. vidi se da su svi marker
Razlog za to lei u injenici da su takvi marker
za detekciju kako zbog promene osvetljenja markera tako
i zbog algoritma za izdvajanje markera iz sl
svodi na binarizaciju slike postavljanjem praga sivog.

Slika 1. Primeri veta

Markeri sa Sl.1., dalje, omogu
informacija poto se izvri njihovo prepoznavanje, kao to
su: poloaj markera u prostoriji u kojoj se kre
cena proizvoda na koji je postavljen marker, opis
umetnikog dela u muzeju i sl. Broj razli
odnosno broj razliitih markera, zavisi od izbora kodne
strukture markera.

Na pravilnu detekciju utie nekoliko
osvetljenje, jer svaki algoritam za detekciju mora biti
dovoljno robustan s obzirom na razli
osvetljenja. Najvee rastojanje od markera sa kog se on
jo uvek moe prepoznati, zavisi od vidnog ugla so
koriene kamere. to je manji vidni ugao to je
maksimalno rastojanje kamera
podrazumeva da kamera ima fiksno uve
odnosu na normalu na ravan objekta)
snima marker, takoe, utie na pravilnu detekciju. to je
ovaj ugao manji to je verovatno
vea.

Rad je organizovan na sledei na
je dat opti model primene markera,
opis markera koje smo koristili.
detaljan opis korienog algoritm
poglavlja. U petom poglavlju su pokazani rezultati
primene algoritma za detekciju
njegove faze. Konano, u zaklju
dobijene rezultate i dajemo smernice za poboljanje
algoritma i planove za dalji rad u ovoj oblasti.


U OKRUENJU PROIRENE STVARNOSTI
IN AUGMENTED REALITY ENVIRONMENT
Branimir Reljin
2

markeri binarni (crno-beli).
injenici da su takvi markeri najlaki
za detekciju kako zbog promene osvetljenja markera tako
i zbog algoritma za izdvajanje markera iz slike koji se
svodi na binarizaciju slike postavljanjem praga sivog.

Slika 1. Primeri vetakih markera [2]
Markeri sa Sl.1., dalje, omoguavaju kodovanje razliitih
informacija poto se izvri njihovo prepoznavanje, kao to
storiji u kojoj se kree robot,
je postavljen marker, opis
kog dela u muzeju i sl. Broj razliitih informacija,
itih markera, zavisi od izbora kodne
e nekoliko faktora. Najbitniji je
osvetljenje, jer svaki algoritam za detekciju mora biti
dovoljno robustan s obzirom na razliite uslove
e rastojanje od markera sa kog se on
jo uvek moe prepoznati, zavisi od vidnog ugla soiva
to je manji vidni ugao to je
marker vee, pri emu se
podrazumeva da kamera ima fiksno uveanje. Ugao (u
na ravan objekta) pod kojim kamera
e na pravilnu detekciju. to je
o manji to je verovatnoa greke prepoznavanja
i nain: U drugom poglavlju
primene markera, a u treem poglavlju
opis markera koje smo koristili. etvrto poglavlje daje
enog algoritma i modela iz drugog
poglavlju su pokazani rezultati
za detekciju markera i to kroz sve
no, u zakljuku komentariemo
dobijene rezultate i dajemo smernice za poboljanje
ad u ovoj oblasti.
2. MODEL

Na Sl.2. prikazano je kako se modeluje sistem kamera
marker u kontekstu proirene stvarnosti. Indeksi m, k, i i r
se odnose redom na koordinatne sisteme: markera,
kamere, idealnog displeja (kada ne bi bilo izoblienja
zbog soiva kamere) i dobijene slike na raunaru (dodatno
izoblienje usled soiva).















Slika 2. Koordinatni sistemi: markera, kamere, idealnog
displeja i dobijene slike

Za prepoznavanje markera dovoljno je posmatrati
koordinatni sistem konane slike, (Xr, Yr), i ravan
nedeformisanog markera. Ovo je ilustrovano na Sl.3. U
ovom sluaju, posmatra se 2D projekciono preslikavanje
[3], to predstavlja pojednostavljen sluaj 3D
preslikavanja. Ova aproksimacija se opravdava
injenicom da je potrebno pronai vrstu markera, dok se
za njegovu lokalizaciju mora koristiti 3D transformacija.










Slika 3. 2D preslikavanje korieno za prepoznavanje
markera

Projekciono preslikavanje, uopteno govorei, moe da se
prikae kao linearno preslikavanje [3]:

=

(1)

odnosno, u matrinom obliku:

=



(2)

pri emu je , = ,

za 0 i , =
,

za 0. Ovde su i pomone
promenljive.

Iz (2) se vidi da je potrebno odrediti devet lanova
matrice. Meutim, ovo preslikavanje je homogeno,
odnosno matrica preslikavanja pomnoena skalarom je i
dalje matrica datog projekcionog preslikavanja. Zbog toga
sistem, zapravo, ima osam stepeni slobode i jedan se
parametar moe fiksirati, npr. = 1 (osim za taku (0,0)
koja se preslikava u beskonanost).

Dovoljno je poznavati etiri take u (x,y) koordinatnom
sistemu da bi se odredilo preostalih osam lanova matrice
preslikavanja [3]. Pri tome se pretpostavlja normalizovan
marker u koordinatnom sistemu (u,v), kao to je prikazano
na Sl.3. Na osnovu izraunate matrice preslikavanja,
mogue je ispraviti izoblien marker koristei se
inverznim preslikavanjem u odnosu na relaciju opisanu sa
(2).

3. KORIENI MARKERI

Primer vidljivog markera [4] dat je na Sl.4. Koordinatni
sistem markera ovde je kodovan sa po dve bone linije
(jedna kraa i jedna dua). Na slici su obeleene
koordinatne ose x i y.


Slika 4. Primer markera sa obeleenim osama
koordinatnog sistema markera. z komponenta prodire u
ravan slike

U ovom radu koristili smo modifikovanu verziju ARTag
markera. Markeri su crno-beli sa crnim spoljanjim i
belim unutranjim zaglavljem, pri emu je zadran nain
obeleavanja koordinatnih osa kao sa Sl.4. Pored toga,
unutranje zaglavlje je modifikovano kako bi se, u sluaju
uma (npr. senka, prepreka), mogao rekonstruisati
koordinatni sistem markera. Marker je prikazan na Sl.5.
Crvena i plava polja predstavljaju kodnu strukturu
markera i svako polje moe da bude crno ili belo. Lako se
zakljuuje da je broj razliitih markera 2

.

Markeri su realizovani u JPEG formatu (600x600
piksela). Neki od korienih markera su prikazani na Sl.6.
Veliina odtampanih markera iznosi 15x15cm.

x
1 0
v
u
Distorzija
Xm
Ym
Zm
Yr
Xr
Xk
Yk
Zk
Yi
Xi
1
y
x
y

Slika 5. Ilustracija korienih markera





Slika 6. Primeri realizacije markera sa Sl.5.

4. DETEKCIJA MARKERA

Detekcija markera se odvija u sledeim fazama:
izdvajanje markera iz slike, odreivanje osam parametara
matrice projekcionog preslikavanja, normalizacija
ispravljenog markera i njegovo prepoznavanje. Ovo je
prikazano na Sl. 7. Pored navedenih blokova, mogue je u
svakom trenutku izvriti eliminacije objekata koji su
kandidati za markere, a zbog odreenih karakteristika
(npr. veliina) nadalje se ne uzimaju u obzir.


















Slika 7. Blok-dijagram algoritma za detekciju markera u
slici u skali sivog

Izdvajanje markera iz dobijene slike se moe postii
postavljanjem praga sivog u slici (binarizacija) ili
detekcijom pravih linija [1]. Detekcija linija, iako
precizniji metod, podrazumeva due vreme izvrenja
algoritma. Kako se radi samo o prepoznavanju markera,
mi smo se odluili za binarizaciju korienjem Otsu-ovog
metoda [5]. Prema tom metodu iz slike se izdvaja objekat
od pozadine uz minimizaciju teinske sume varijansi
objekta i pozadine. Korienje fiksnih pragova za
segmentaciju bi, s druge strane, imalo malu otpornost na
promenu osvetljenja to je bio najbitniji razlog to je
izabran dinamiki prag.

Nakon segmentacije, moe se pristupiti eliminaciji
komponenti s obzirom na njihovu veliinu. Veliina
markera (u pikselima) u slici zavisi od udaljenosti kamere
od markera, vidnog ugla soiva kamere i rezolucije
kamere. Na osnovu ovih parametara moe se odrediti prag
za broj piksela ispod koga se komponenta eliminie iz
skupa potencijalnih markera i na njih se ne primenjuje
ostatak algoritma. ak i kada se ovim postupkom
eliminie marker (a ne smetnja), dalje procesiranje ne bi
omoguilo njegovo prepoznavanje.

Kada su povezane komponente u crno-beloj slici
izdvojene, pristupa se njihovom ispravljanju s obzirom na
perspektivna izoblienja. Kao to je u drugom poglavlju
reeno, za to je potrebno odrediti etiri take u
deformisanom markeru (jednaina (2)). Te take se mogu
odrediti na vie naina, a ovde je iskorien metod iz [6]
koji je jednostavan za realizaciju i brzo se izvrava. Ovaj
metod je ilustrovan na Sl.8. Prvo se oko izdvojenih
komponenti, koje su kandidati za markere, opie
pravougaonik. Kada su poznata temena opisanog
pravougaonika i kontura markera, temena markera se
definiu kao take na konturi koje su, redom,
najudaljenije od svakog od temena opisanog
pravougaonika. Na osnovu dobijenih koordinata, marker
se ispravlja reavanjem osam jednaina sa osam
nepoznatih (parametri a-h projekcione matrice) koje su
analogne onima iz (2). Ovde se, dodue, radi o inverznom
problemu, zbog ega se mora pronai matrica inverzna
projekcionoj matrici.









Slika 8. Pronalaenje ivica deformisanog markera.
Objanjenje je dato u tekstu

Za prepoznavanje markera koriena je korelacija.
Rekonstruisani marker se uporeuje, odnosno,
izraunavaju se koeficijenti korelacije rekonstruisanog
markera sa bazom korienih markera. Koeficijent
korelacije iznad postavljenog praga ukazuje da je marker
IZDVAJANJE
POTENCIJALNIH
MARKERA
ISPRAVLJANJE
IZDVOJENIH
KOMPONENTI
NORMALIZACIJA
PREPOZNAVANJE
KODNE
STRUKTURE
ELIMINACIJA
KOMPONENTI
prepoznat. Ovo je, istovremeno, drugi stepen eliminacije
izdvojenih komponenti.

Pre korelacije potrebno je izvriti normalizaciju markera.
Naime, veliina rekonstruisanog markera je promenljiva i
zavisi od parametara koji su gore navedeni. Da bi se
mogli izraunati koeficijenti korelacije ispravljeni marker
se pododabira i time se njegova veliina u pikselima svodi
na veliinu markera iz baze korienih markera.

5. REZULTATI

Gore opisani algoritam za detekciju markera bie
ilustrovan na jednom primeru. Markeri su postavljeni na
zidove na razliite visine i snimljeni iz razliitih uglova.
Na slikama 9-11 ilustrovane su sve faze u detekciji
markera na jednom od dobijenih snimaka.


Slika 9. Izdvajanje markera. Vidi se da su izdvojene dve
komponente

Na Sl.9. je prikazan proces izdvajanja povezanih
komponenti u slici. Vidi se da su izdvojene sve
komponente, od kojih je jedna smetnja (senka u gornjem
desnom uglu). Nakon prvog stepena eliminacije, izdvaja
se jedna od njih. Oko nje se opisuje pravougaonik i nakon
kropovanja ovog pravougaonika iz slike dobijena je
struktura kao na Sl.10.a.


(a) (b)
Slika 10. Marker iseen iz slike po ivicama opisanog
pravougaonika (a) i rezultat nakon ispravljanja i
binarizacije (b)

Izraunavanje ivica deformisanog markera se odvija u
skladu sa pravilom iz etvrtog poglavlja. Na osnovu
dobijenih parametara marker je ispravljen. Za
normalizaciju je korieno pododabiranje rekonstruisane
slike markera. Ujedno, slika se binarizuje uvoenjem
odgovarajueg praga. Rezultat je prikazan na Sl.10. b.
Vidi se da je i nakon rekonstrukcije u slici zaostao um.

Poslednji korak algoritma, prepoznavanje markera putem
korelacije, ilustrovan je na Sl.11. Pored svakog od
markera iz baze stoji vrednost koeficijenta korelacije u
odnosu na detektovan marker. U ovom primeru, kao i u
ostalim dobijenim rezultatima, vrednosti koeficijenata
korelacije su visoke. To je posledica injenice da svi
markeri imaju ista zaglavlja (okvir) koja, sa druge strane,
zauzimaju veliki deo povrine markera. Dodatno se i neka
polja unutar markera podudaraju izmeu dva razliita
markera, to bitno utie na visoke vrednosti ovih
koeficijenata. Ipak, jedna od vrednosti (0.8518) je znatno
vea od ostalih, to ukazuje na podudarnost detektovanog
markera sa markerom iz baze, tj. Omoguava
prepoznavanje markera.

Slika 11. Vrednosti koeficijenata korelacije izdvojenog
markera sa markerima iz baze

6. ZAKLJUAK

Detektovani marker prua informacije korisniku, pri emu
se one mogu revidirati a da se ne menja struktura
markera. Primer za to je naplata usluga mobilnim
telefonima. Zbog toga algoritam za detekciju treba da
bude dovoljno brz i precizan.

Algoritam koji smo primenili u ovom radu koristi metode
ija je kompleksnost minimizovana zarad efikasnosti i
brzine njegovog izvoenja. U daljem radu na detekciji
markera vie panje bie poklonjeno kriterijumima za
eliminaciju komponenti iz skupa izdvojenih komponenti u
razliitim koracima algoritma. Poseban izazov po tom
pitanju bie osetljivost na razliite uslove snimanja: senke
i promena osvetljaja. Dalje, korelacija se moe ubrzati
potpunom restauracijom markera i posmatranjem samo
unutranjeg kodnog polja sa 5x5 kvadrata, to se moe
opisati pomou kodne rei duine 25 bita. Time e
korelacioni koeficijenti imati vei opseg vrednosti, jer
nee biti maskirajueg efekta usled spoljanjeg
zajednikog rama, i verovatnoa greke pri odluivanju
e time biti smanjena.

Opisani algoritam moe da se proiri blokom za
lokalizaciju markera u zadatom prostoru. U tom sluaju
prepoznati marker e posluiti za pruanje informacije o
poloaju markera, dok e blok za lokalizaciju odrediti
rastojanje izmeu kamere i markera. Zarad bolje
preciznosti, blok za lokalizaciju kamere u odnosu na
marker bi tada koristio projekciono preslikavanje (2)
proireno na 3D prostor.





LITERATURA


[1] O. Bimber, R. Raskar, Spatial Augmented
Reality, AK Peters, 2005.

[2] M. Hirzer, Marker Detection for Augmented
Reality Applications, Techical Report, TU-Gratz, 2008.

[3] P. Heckbert, Fundamentals of texture Mapping
and Image Warping, Masters thesis, Department of
Electrical Engineering and Computer Science, University
of California, Berkeley, 1989.

[4] M. Rohs, Real-world interaction with camera-
phones, Proc. of 2nd International Symposium on
Ubiquitous Computing Systems, Tokyo, 2004.

[5] S. Morse, Lecture 4: Thresholding, preuzeto sa
adrese: http://homepages.inf.ed.ac.uk/rbf/CVonline/
LOCAL_COPIES/MORSE/threshold.pdf

[6] D. Diggins, ARLib: A C++ Augmented Reality
Software Development Kit, Masters thesis, Bournemouth
University, 2005.