IDENTIFIKACIJA LICA

Zadatak, čini se, jednostavan

za ljudski mozak... A za
kompjuterski sistem?
IDENTIFIKACIJA LICA
UVOD
Da li Džon Travolta zbunjuje
kompjuterski sistem?
Identifikacija ljudskog lica

Ljudi imaju prirodnu sposobnost da prepoznaju lica

Razvoja tehnologija je omogućio automatsko

prepoznavanje lica

Veliki napredak u oblasti u poslednje dve decenije

Prvo su se razvili sistemi koji koriste geometriju lica kao
karakteristiku za identifikaciju

Sistemi novije generacije koriste složenije matematičke

modele
Cilj identifikacije lica
Zašto je identifikacija lica važna?

Robusni sistemi zasnovani na prepoznavanju lica su od

izuzetne važnosti

Obračunavanje sa kriminalom i terorizmom

Povećavanje sigurnosti

Kontrolu fizičkog pristupa lokacijama

Kontrolu pristupa informacijama

Identifikacija kriminalaca

Nadzor javnih mesta (aerodromi)

Identifikaciona dokumenta
Kako ‘naučiti’ kompjuter da
prepoznaje lica?

Iskustva iz istraživanja
na temu kako ljudi
prepoznaju jedni druge
su korišćena u cilju
razvijanja pouzdanih
automatskih sistema.
 Razvoj sposobnosti identifikacije lica

Sve veštine neophodne za identifikaciju ljudskih lica nisu prisutne kod

beba

Postoje dokazi o urođenoj tendenciji obraćanja pažnje na lica

 Razvoj sposobnosti identifikacije lica

Izloženost ljudskim
licima odmah po
rođenju je krucijalna za
kasniju sposobnost
prepoznavanja likova

Sposobnost
prepoznavanja lica se
razvije do drugog
meseca života
 Holističko i ‘parče po parče’
prepoznavanje

U prvih nekoliko godina

života deca vrše
identifikaciju ljudskih lica
‘parče po parče’

Oči, nos, itd.

Mozak odraslih osoba

holistički procesira slike Prepoznavanje Vudija Alena i Opre
lica Vinfri sa leve i sa desne slike

Konfiguracija očiju, nosa,
itd.
 Kako ljudi identifikuju lica?

Detektovanje lika

Na osnovu rezolucije u prostoru

Mozak koristi osnovne fizičke

atribute lica da zaključi pol,
godine i osnovne izraze lica

Obrađujući karakteristike lica,
inicijalne informacije u mozgu
dovode do stvaranja strukturalnog
modela lica

Generisani model lica se u mozgu
poredi sa licima iz memorije
Donji temporalni režanj
Fuziformni girus

Identifikacija lica se vrši za oko 120 ms

Mozak procesira i slike manje rezolucije
ako se radi o veoma poznatoj osobi
Pogodi ko sam

1. Majkl Džordan 7. Elvis Prisli

2. Vudi Alen 8. Džej Leno
3. Goldi Hon 9. Dastin Hofman
4. Bil Klinton 10. Princ Čarls
5. Tom Henks 11. Šer
6. Sadam Husein 12. Ričard Nikson
Koje karakteristike ljudski
mozak procesira?

Oblik lica

Pigmentacija lica

Boje na slici

Karakteristične tačke (oči, nos, usta)

Istraživanja
Univerzitet u Kaliforniji

(2008) Dve tačke fiksiranja očima dovoljne za

identifikaciju ljudskih lica
Istraživanja
Univerzitet u Barseloni

(2009) Istraživanja sugerišu da je identifikacija putem

prepoznavanja očiju daleko značajnija od identifikacjie
putem nosa i usta
 Istraživanja
Tehnološki Institut države Masačusets

Mozak lakše prepoznaje

slike osoba bez očiju,
nego slike bez obrva

• Obrve
• Prenose emocije i neverbalne
signale
• Velike, veliki kontrast, trpe i veće
distorzije slike
• Pošto su na uzdignutom
konveksnom delu lica, na slici su
manje oštećene usled senke,
problema sa osvetljenjem, itd.
Sposobnost identifikacije je nezavisna
od dimenzija širine i visine
Vertikalna inverzija slike lica drastično
utiče na sposobnost identifikacije
 Zašto je identifikacija lica
težak zadatak?

Uslovi pri slikanju/video zapisu - varijabilnost ljudskog lica u različitim
uslovima

Osvetljenje

Rotaija, poza lica u odnosu na položaj kamere

Izraz lica, ekspresija

Broj piksela u regiji lica

Promene slike usled starenja

• Opstrukcija lica
• Naočare za sunce
• Kape, šeširi
• Brkovi, brada
• Starenje
• Povećanje ili gubitak težine
• Tekstura kože

Cilj procesa prepoznavanja lica je uspešna identifikacija subjekta uprkos svim

pomenutim varijacijama!
Primeri varijacija koji otežavaju
proces prepoznavanja lica

STARENJE

POZA

EKSPRESIJA

OSVETLJENJE I ZAMUĆENOST
Istorijat automatskog
prepoznavanja lica

1960. – prvi poluautomatski sistem

Administrator je morao da obeleži oči, nos, itd. na slici kako
bi kompjuter mogao da izračuna udaljenosti između
karakteristika

1970. – automatizacija procesa

21 referentna tačka na licu (boja kose, debljina usana)

1988. – analiza principalnih komponenti

Metod u kome se puno izmerenih varijabli svede na manji
broj varijabli (principalnih komponenti), koje se potom
analiziraju

Oko 100 vrednosti potrebno za kodiranje slike lica

1991. – identifikacija lica u realnom vremenu
IDENTIFIKACIJA LICA
AUTOMATSKI SISTEM
FIIS
Dobijanje slike lica u svrhu
identifikacije

Tradicionalna fotografija

Registracija pomoću tropozne fotografije (anfas, desni
profil, levi poluprofil)

Digitalna fotografija

Baza podataka u FIIS sistemu

Video zapis

Televizijske kamere i softver

Pronalaženje osumnjičenih u masi (utakmice, aerodromi)
Sistem za identifikaciju lica

Kompjuterska aplikacija za automatsku

identifikaciju ili verifikaciju ljudi na osnovu
digitalne slike lica ili video zapisa iz video
nadzora.

Poređenje izabranih karakteristika lica sa slike

upita sa licima skladištenim u bazi podataka.
Prednost savremenog načina
identifikacije

Neupadljiv

Efikasan

Teže ga je prevariti

Brz

U Velikoj Britaniji policija koristi softver za identifikaciju
žrtava – posle razbijanja lanca dečje pornografije
otkriveno je oko tri miliona slika za koje bi ručno sortiranje
oduzelo previše vremena

Za razliku od ljudskog mozga ne umara se i pravi
daleko manje grešaka
Zahtevi uspešnosti slike lica u cilju
identifikacije

Univerzalnost: VISOKA
Jedinstvenost: NISKA
- blizanci, kombinacija sa drugim metodama
Nepromenljivost: SREDNJA
Pristupačnost: VISOKA
Pouzdanost: NISKA
Prihvatljivost: VISOKA
Prevarljivost: VISOKA
Sistem za identifikaciju slike lica
ima tri osnovna zadatka

Verifikacija
Sistem određuje da li osoba sa slike ima identitet
koji tvrdi da ima.

Identifikacija
Sisem određuje identitet osobe sa slike.

Watch lista (lista posmatranja)

Sistem određuje da li osoba sa slike postoji na
‘watch’ listi i, ukoliko je odgovor potvrdan,
identifikuje osobu.
 VERIFIKACIJA

PRIHVATANJE
ODBIJANJE

LISTA POSMATRANJA

NA LISTI?

IDENTIFIKACIJA

IDENTITET
Svrhe poređenja
Verifikacija

Primer: provera da je data osoba zaista ona čija se slika
nalazi u ličnoj karti

Baza podataka u sistemu se sastoji od fotografija lica osoba koje
imaju autorizaciju za pristup

Tokom upita osoba stane ispred skenera i sistem verifikuje
identitet osobe (poređenje upita i šablona)

Identifikacija

Primer: u bazi podataka se nalaze slike osoba odgovornih za
terorističke napade

Kamere postavljene na strateškim lokacijama, čak i bez znanja
populacije, slikaju svako lice koje se nađe u kardru

Sistem poredi upitnu sliku sa svim slikama iz baze podataka radi
potencijalne identifikacije terorista
 Tipičan sistem za identifikaciju
lica

1. Detekcija lica
1. Spoznaja da se radi o ljudskom licu u vidnom polju

2. Ekstrakcija karakteristika
1. Izdvajanje/Procesiranje specifičnih tačaka lica

3. Prepoznavanje lica

IDENTIFIKACIJA OSOBE
 SLIKA/VIDEO ZAPIS

DETEKCIJA

KARAKTERISTIKE

PREPOZNAVANJE

IDENTIFIKACIJA/VERIFIKACIJA
Detekcija lica i ekstrakcija
karakteristika

Kada sistem detektuje lice, modul za

ekstrakciju karakteristika obezbeđuje
informacije koje se delje koriste u procesu
klasifikacije lica.

U zavisnosti od tipa klasifikacije lica,
karakteristike mogu biti:

Lokalne (tekstrura lica, karakteristične
tačke lica)

Obeležja lica (oči, nos, usta).
Primer detekcije lica i
ekstrakcije karakteristika
IDENTIFIKACIJA LICA
AUTOMATSKI SISTEMI
2D
 Tehnike za identifikaciju lica
(2D)

Dva osnovna tipa:
1. Geometrijski
• Prepoznavanje na osnovu karakterističnih tačaka/detalja lica

• Osobine i geometrijski odnosi (površine, udaljenosti, uglovi)

između određenih tačaka na licu se koriste kao karakteristike
od interesa
1. Fotometrijski
• Prepoznavanje na osnovu celokupnog izgleda lica

• Uočavaju se globalne osobine slike lica

• Najpoznatiji pritup: Principalna analiza komponenti (PCA)

Geometrijski tip identifikacije
lica
 Geometrijski tip identifikacije lica

Koncept se sastoji u
modelovanju ljudskog
lica na osnovu
karakterističnih detalja
lica (oči, usta) i
rasporeda ovih detalja
na licu.
Ključni detalji lica

Karakteristični detalji lica

Oči, usta, jagodice, brada

Površine između karakterističnih detalja lica

Udaljenost između karakterističnih detalja lica

Rastojanje između očiju

Širina nosa

Vilična linija

Dubina očnih udubljenja

Uglovi između karakterističnih detalja lica

SVAKO LICE SADRŽI OKO 80 KLJUČNIH DETALJA

Kompanija ‘Visionics’
Softver ‘FaceIt’
1. Faza detekcije lica
1. Lice se izdvoji od pozadine/ostalih
lica (niska rezolucija)

2. Faza podešavanja (visoka

rezolucija)
1. Određivanje pozicije, veličine,
orijentacije glave
2. Prevođenje 3D oblika u 2D
nefrontalnu sliku, zatim u 2D
frontalnu sliku
3. Faza normalizacije
1. Korekcija razlika u licu iste osobe
na različitim slikama
Kompanija ‘Visionics’
Softver ‘FaceIt’

4. Faza ekstrakcije
karakteristika

Mere se ključni detalji lica
(14-22 ključnih detalja) i
prevode u numeričke
vrednosti (faceprint)

5. Faza komparacije

Dobijeni digitalni kod
(faceprint) se poredi sa
drugim raspoloživim
kodovima iz baze podataka
Šematski prikaz upisivanja u
geometrijski sistem

JEDINSTVENI ŠABLON
U BAZI PODATAKA

PREVOĐENJE
ŠABLON + OSTALI
EKSTRAKCIJA KARAKTERISTIKA U
PODACI = IDENTITET
KARAKTERISTIKA NUMERIČKI OBLIK
Verifikacija identiteta
Upotreba FaceIt softvera u policijskoj
kontrolnoj sobi
Uspeh prepoznavanja

Sistem je u stanju da uporedi između 15 i

60 miliona slika u minutu

Pouzdanost sistema zavisi od:

Kvaliteta ulazne slike

Demografske distribucije korisničke populacije

Fotometrijski tip identifikacije lica
Analiza principalnih komponenti (PCA)

Metoda se bazira na smanjivanju varijacija

ljudskog lica

Kompresija podataka, kako bi se eliminisale
nepotrebne informacije i smanjio broj varijabli

Veliki broj ljudskih lica se može svesti na

određene gradivne jedinice

Bilo koje ljudsko lice se može okarakterisati sa
~128 gradivnih jedinica (256 bajta informacija)
Gradivne jedinice lica
Treniranje sistema

U sistem se prvo učita veliki broj fotografija

lica koje služe za ‘treniranje’ sistema

Sistem ekstrahuje određene gradivne

jedinice

Gradivne jedinice se skladište u sistemu i

služe za kasnija poređenja
Svojstvena lica (eigenfaces)

2D slika svake gradivne jedinice se naziva

svojstveno lice (‘eigenface’)
Svojstvena lica (eigenfaces)

Svojstvena lica podsećaju na utvare i svako
potencira određenu karakteristiku

Simetrija lica

Brada i brkovi

Ivica kose

Veličina nosa

Veličina usta
Svojstvena lica (‘Eigenfaces’)
Sklapanje slagalice

Svako ljudsko lice se može predstaviti

kao kombinacija standardnih gradivnih
jedinica – svojstvenih lica.

Na primer, jedno lice može biti izgrađeno od

55% svojstvenog lica 1, 10% svojstvenog lica
2, itd.
Svojstvena lica (‘Eigenfaces’)
Uslovi za analizu principalnih
komponenti

Slika upita i slika šablona iz baze moraju biti iste
veličine

Potrebno je uraditi normalizaciju, kako bi se

podudarale pozicije očiju i usta na slikama

Na osnovu numeričkih vrednosti koje nosi svako

svojstveno lice, sistem poredi sliku lica upita i sliku
lica šablona iz baze podataka, proizvodeći skor
podudarnosti.
 Prednosti i mane analize
principalnih komponenti

Prednosti

Brzina sistema

Standardni PC, 1/10 sec

Efikasnost sistema

Mane

Identifikacija lica slikanim pod različitim osvetljenjem

Slike anfasa potrebne za preciznu identifikaciju
Linearna diskriminantna
analiza (LDA)

Svaka digitalna slika lica predstavljena je velikim brojem piksela

LDA je tehnika koja smanjuje broj varijabli, kako bi se omogućila

efektna klasifikacija lica

Svaki šablon predstavlja linearnu kombinaciju piksela –

Fišerova lica (‘Fisherfaces’)
Primena
Olimpijske igre u Pekingu

Publika na otvaranju
Olimpijskih igara je
morala unapred da
dostavi fotografije i lične
podatke.

Ljudi su na ulasku u
stadion, pored priložene
ulaznice, morali da prođu
i kroz sistem za
identifikaciju lica
Primeri komercijalne primene
Facebook
 Primer: MyHeritage.com
Softver za identifikaciju lica izraelske kompanije

1. Učitavanje digitalne (ili skenirane) fotografije u

sistem
2. Detekcija lica
3. Identifikacija lica
Primer: MyHeritage.com
Prednosti 2D sistema

Dobijanje slike se može izvršiti ‘na daljinu’

Ne zahteva fizički kontakt sa skenerom

Nije potreban pristanak subjekata koji se

posmatraju/slikaju
Mane 2D sistema

Veliki problem za 2D sisteme predstavljaju varijacije
pri slikanju

Poza, iluminacija, ekspresija (PIE)

Promena ugla gledanja u kameru

Ugao pada svetlosti na korisnika pri slikanju

Izraz lica

Starenje

Frizura, šminka, naočare, brada

Dvodimenzionalni algoritmi se mogu zavarati

podmetanjem slike legitimnog korisnika
IDENTIFIKACIJA LICA
AUTOMATSKI SISTEMI
3D
3D sistemi

U sistem se unose dodatne informacije u poređenju

sa 2D sistemima

Oblik/Struktura lica u prostoru

Sistem proizvodi virtuelnu trodimenzionalnu

strukturu lica

Slika lica ima dubinu

Oblik lobanje

Očni predeo

Vilica
3D sistemi

Jedan od načina dobijanja 3D slike lica je
skeniranje lica IC zracima

Generisanje nekoliko 3D slika

Mreža slike lica u prostoru

Na 3D slici se ubeleže referentne tačke

Nekoliko hiljada u 3D sistemima

Nekoliko desetina u 2D sistemima
3D slika
Prednosti 3D sistema

Ovi sistemi imaju bolju sposobnost da prevaziđu
poteškoće koje nastaju usled varijacija u pozi,
iluminaciji, ekspresiji (PIE)

Fleksibilnost u pogledu osvetljenosti

Sistemi uspešno prevazilaze izazove nastale usled
maktroekspresija (ljutnja, sreća), a lošije izazove nastale usled
mikroekspresija

Bolja identifikacija i kada osoba ima kapu, naočare,

šminku

Visok stepen preciznosti

Hiljade referentnih tačaka

Mogućnost distinkcije identičnih blizanaca
Mane 3D sistema

Najčešće je potrebno da osoba koja se slika

bude blizu kamere

Neki sistemi zahtevaju da se osoba koja se

slika ne pomera nekoliko sekundi, kako bi se
dobila kvalitetna slika

Cena
Poza, iluminacija, ekspresija (PIE)
Primer 3D sistema

Na osnovu dvodimenzionalne slike sistem pravi estimaciju 3D

modela, koji je nezavisan od osvetljenja i poze

Ovakav sistem je generalno sporiji

Nekoliko sekundi da se generiše 3D model
IDENTIFIKACIJA LICA
STARENJE
Starenje
Veliki izazov za oblast identifikacije lica ljudi

Poza, iluminacija, ekspresija (PIE) su različite na

slikama koje su slikane u razmaku od više godina

Razlika u teksturi kože usled šminke, naočara,
promene težine, gubitka kose

Biološki faktori i faktori sredine mogu da ubrzaju ili
uspore vidljive efekte starenja

Faktori spoljašnje sredine

Izloženost sunčevim zracima

Pušenje

Korišćenje droga

Nivo stresa
Starenje
Veliki izazov za oblast identifikacije lica ljudi

Biološki faktori - dolazi do promena i u

mekim i u tvrdim tkivima organizma

Gubitak elastičnosti tkiva

Volumen lica

Promene teksture kože

Iako je način starenja nepredvidiv, postoji

određeni broj standardnih promena koje
ljudi doživljavaju tokom vremena
Promene na licu usled starenja

Pojedine promene na licu do kojih dolazi usled

starenja se mogu relativno uspešno predvideti

Varijacije u obliku lica usled starenja su uglavnom

proizvod ‘pomeranja’ obeležja lica

- 18 godina
2

Varijacije u obliku lica usled starenja su uglavnom

proizvod promene teksture lica

Starije osobe
Predikcija slike lica usled
starenja
IDENTIFIKACIJA LICA
TERMOGRAFIJA
Termografija

Kamere detektuju svetlost infracrvenog spektra i
proizvode slike koje se nazivaju termogrami.

Količina radijacije koju telo emituje se povećava sa

temperaturom, pa termografija omogućava
vizuelizaciju temperaturnih varijacija.

Posmatrani termografskom kamerom, topla tela

(ljudi) se jasno razlikuju od hladnije okoline i
tokom dana i tokom noći.
Termografska kamera i slika
na ekranu
Šta omogućava termografiju
lica?

Splet krvnih sudova na licu pojedinaca

Jedinstvena karakteristika

Blizanci

Nepromenljiva karakteristika tokom života

Ponovljiva karakteristika
Termogram lica
Crno-bela termografija
Belo - toplo
Crno-bela termografija
crno - toplo
Termogram osobe sa
naočarima za sunce
Infracrvena slika lica i podaci o
analizi
Termogram lica
Golf igralište tokom noći
Lice preskače ogradu tokom
noći
Lice pokušava da provali u
automobil tokom noći
Prednosti i mane termografije

Prednosti

Moguće snimanje subjekata u pokretu u
realnom vremenu

Moguće snimanje subjekata u nepristupačnim
sredinama

Moguće snimanje u mraku

Prepoznavanje ne zavisi od godina, izraza
lica i estetskih modifikacija

Mane

Cena termografskih kamera
‘Veliki brat nas posmatra’

Upotreba FaceIt softvera na utakmici u Tampi

2001. godine

Sistem je pogrešno identifikovao više ljudi

kao osobe za kojima se traga

Sloboda i ljudska prava