Dubinski sensor za kamere na telefonu

Dimitrije Pešić
Oktobar 2020.

1. Uvod
Cilj ovog projekta je izrada novog senzora za kamere na telefonu koji će mu omogućiti da
ima veću preciznost pri odvajanju subjekta i pozadine u slici. Gledajući na činjenicu da blenda
kamere na telefonu nema ni približne mogućnosti u poređenju sa DSLR i mirorless
fotoaparatima, velike kompanije poput Samsunga i Applea su godinama proizvodili softver koji
će dopuniti nedostatke. Kamera na telefonu je bitan aspekt svakog telefona jer je veoma
kompaktna i ne zahteva dodatnu opremu. Takav će biti i ovaj senzor: veličine blica na kameri,
skoro neprimetan, a radiće na skoro istom principu poput malog zvučnika. Njegova prednost je i
u tome da ne predstavlja problem za ugrađivanje na telefon.

Ovo je vizuelni prikaz sistema senzora. Između dve kamere nalaziće se dva senzora odmah
pored blica. Ta dva senzora šalju zajednički signal i taj signal izračunava razdaljinu između
telefona i objekta.

2. Metod rada
[1] Ovaj sistem senzora predstavlja predajnik i prijemnik ultrazvučnih talasa. Zraci će
raditi na principu ultrazvučnog laserskog metra. Pre nego što se fotografija napravi, senzori se
uključuju i, poput zvučnika, šalju ultrazvučne talase i kreiraju mapu prostora ispred sebe na
osnovu tih signala.

Nakon što se signali pošalju u prostor ispred sebe, oni se odbijaju o predmet i vraćaju u
senzor. Senzori će raditi kao dve zvučne antene: jedna ima mnogo veći ugao predaje signala, a
kada se spoje onda će imati mnogo veći domet. Jedina mana je mala zahvaćenost okoline, što ne
predstavlja problem, s obzirom da je fokus na objektu koji se nalazi ispred telefona. [2]

[6] [12] Boke se može definisati kao efekat prijatnog zamućenja pozadine van fokusa koji
se dobija kada fotografišete subjekat svetlosno jakim objektivom i koristite najveći otvor blende.
Jednostavno rečeno, boke je estetski kvalitet zamućenja koje nije u fokusu na fotografiji.

[3] Senzor ne primenjuje samo ovu tehniku kada je objekat koji je ispred njega lice. Tada
senzor, uz pomoć Viola – Jones algoritma za prepoznavanje lica, održava u fokusu lice, kao i
objekte koji su na istoj ili sličnoj razdaljini.

[16] Za razliku od LIDAR senzora koji je predstavljen na novom telefonu kompanije

Apple, koji samo pravi mapu uz pomoć laserskih zraka i po jačini osvetljenosti pravi bokeh
efekat i pomaže samo noću, ovom senzoru nisu bitni podaci o osvetljenosti da bi saznali potrebne
informacije. To mu omogućava da radi tokom celog dana.

2.1 Ultrazvučni laserski metar

[4] [7] [8] [11] Ultrazvučni laserski metar je uređaj za merenje razaljine između metra i objekta u
koji je on uperen uz pomoć zvučnih talasa. On razdaljinu meri pomoću sistema nazvanog ToF
(Time-of-Flight).

Time-of-Flight je sistem za određivanje daljine, tako što meri vreme povratnog putovanja između
kamere i predmeta za svaku tačku slike. Kako je poznato vreme proteklo od slanja do primanja
signala (t) kao i brzinu zvuka u vazduhu (c = 340 m/s), može se izračunati rastojanje od objekta
ispred senzora:

c∗t
d = 2
 2.2 Viola-Jones algoritam za prepoznavanje lica

[5] [9] [17] [19]Viola-Jones algoritam za prepoznavanje

lica se zasniva na upotrebi slabih, jakih i kaskadnih
klasifikatora. Slabi klasifikator se definiše kao osnovni deo
kranjeg klasifikatora.

- x predstavlja crno-belu podsliku veličine 24x24

piksela, f testirano obeležje (eng. feature) slike, p
polaritet i θ graničnu vrednost odlučivanja.

Jaki klasifikator nastaje grupisanjem više slabih

klasifikatora.

- αt predstavlja težinski koeficijent, koji je suprotno srazmeran greški koju on ostvaruje

Spajanjem više jakih klasifikatora u kaskadu, nastaje kaskadni klasifikator kojim se i vrši
detekcija lica.
 [18] Ovaj algoritam radi tako što, pre upotrebe, uči klasifikatore šta su lica a šta nisu i to
na primerima. Klasifikatori nakon treniranja čuvaju značajne podatke o licu i koriste ih u daljem
radu za raspoznavanje lica. Ova metoda radi u otprilike 94% slučajeva, te se smatra veoma
pouzdanom.

Klasifikatori gledaju delove slike i upoređuje da li je jedan deo svetliji ili tamniji. Ako
razlika postoji, klasifikator nastavlja dalje sa proverom, dok ne može sa sigurnošću da utvrdi da li
je u pitanju lice. Na licu su, na primer, oči tamnije od jagodica a svetlije od nosa.

Proverava se u delovima od 2, 3 ili 4 grupe piksela, gde se oni međusobno upoređuju.

Odbacivanjem slika koje nisu lice se klasifikatori treniraju za upotrebu.
2.2 Beamforming
[20] Beamforming (“oblikovanje zraka”) je tehnika prenošenja signala tako da se on
usmeri ka jednom prijemniku i da nema proširen domet već izdužen. [21]

Jedna antenna signal šalje u svim pravcima, kao što je to priroda elektromagnetnih zraka.
Kako bismo poslali signal u određenom pravcu, možemo da stavimo više antena jedne do drugih.
Njihovi zraci će se preklapati i od tih zraka nastaju konstruktivni i destruktivni talasi.
Konstruktivni talasi čine signal jačim, dok destruktivni talasi čine signal slabijim. Zbog tih
konstruktivnih talasa mi možemo da uperimo signal u kom pravcu želimo.

Ovom tehnikom, možemo da zvučni talas pošaljemo ka objektu koji želimo fokusirati i da
smanjimo šanse za fokusiranje pogrešnog objekta.

[22] Ako imamo nekoliko prijemnika i izvor zvuka se nalazi pod nekim uglom u odnosu
na njih, moramo gledati faznu razliku između oscilacija svakog od prijemnika: ako je razlika
tačno 180 stepeni, moramo koristiti srednju vrednost oba signala, dok ako je razlika manja od te
vrednosti, ne možemo dobiti tačnu vrednost, jer će signal biti slabiji nego da se izvor nalazi tačno
ispred prijemnika.

Kako bismo izabrali pravac zvuka (za zvučnu sliku), moramo zakasniti signal do onih
prijemnika koji su bliži.
 3. Istraživanje i hipoteza
Istraživanje se zasniva na ispitivanju preciznosti metode sa ultrazvukom, kao i poređenju
ove metode sa već postojećim, poput LIDAR senzora i upotrebe stereovision kamera.
-Preciznost laserskog daljinomera na 30 metara je ±3 milimetara . Greške na slici napravljene
ovom metodom biće male zbog tolike tačnosti, a pošto će svaki piksel biti pokriven, čak i
najsitniji detalji neće biti pogrešno procesuirani. Mana ovog senzora je veliki trošak za kompanije
koje proizvode telefone, te će ti telefoni imati ogromnu cenu na tržištu.

Ova metoda se koristi i kada je objekat koji se slika lice (najviše noću), tako da je to jedna od
dobrih strana ovog senzora.

[10] -Stereovision kamera može biti u više oblika: pasivni i aktivni.

Gledajući na mane ovog sistema, poput loših performansi noću kod pasivnog sistema i velika
cena projektora kod aktivnih, ultrazvučni senzor je bolja alternativa jer su mu odlične
performanse noću, a i dobar je za budžet firmi koje koriste ovaj senzor na svojim telefonima.

3.1 Pasivni sistem

Pasivni sistem se sastoji od dve kamere koje samostalno određuju dubinu tako što se
porede dve slike napravljene svakom od ovih kamera, gledaju se sličnosti i razlike i onda to
pretvara u jednu sliku. Taj sistem koristi kompanija Apple od 2017. godine kada je uvela Smart
HDR na telefonu iPhone XS i iPhone XS Max.
Tehnike koje se koriste u pasivnom stereo sistemu su dubina zasnovana na fokusu,
svetlosno polje i stereo sistem. Dve kamere koje čine ovaj sistem rade samo uz pomoć svetla koje
je dato, to jest ne koriste nikakav eksterni izvor svetlosti.
Prednosti ovog sistema su te da nije velika cena, kao i da je dobar za budžet.
Mane ovog sistema su te da ne radi dobro u situacijama gde nema puno svetla, kao i u situacijama
bez puno teksture.

3.2 Aktivni sistem

Aktivni sistem je sličan pasivnom sistemu, jedina razlika je u tome što aktivni sistem ima
eksterni izvor svetlosti.
Tehnike koje se koriste u ovom sistemu jesu ToF, interferometrija, struktuirano svetlo i, kao u
pasivnom sistemu, klasičan stereo sistem.
[13] Interferometrija je metoda računanja rastojanja koja koristi fenomen mešanja talasa
(svetlosnih, radio ili zvučnih talasa). Ova metoda prikazuje i karakteristike samih talasa , kao i
karakteristike materijala sa kojim interaguje.
[14] Struktuirano svetlo (structured light imaging) je sistem koji hvata trodimenzionalnu
topografiju površine koristeći specifične svetlostih obrazaca i dvodimenzionalne kamere. Jedan
primer ovog sistema je Microsoft Kinect.
Prednosti ovog sistema su to da dobro radi na slabom svetlu, kao i u situacijama sa lošom ili
slabom teksturom objekta. Može se koristiti kao hybrid ToF i truougaone tehnologije za traženje
dubine.
Mane su te da u nekim situacijama (pod jakim suncem i preko velike daljine) radi potpuno isto
kao pasivni sistem, a AR projector za emitovanje svetla može biti vrlo skupo.
LITERATURA

[1] http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.59.8&rep=rep1&type=pdf
[2] https://arxiv.org/pdf/1904.03816.pdf
[3] https://core.ac.uk/download/pdf/197872634.pdf
[4] https://en.wikipedia.org/wiki/Time-of-flight_camera
[5] https://infoteh.etf.ues.rs.ba/zbornik/2012/radovi/STS/STS-26.pdf
[6] https://openaccess.thecvf.com/content_CVPRW_2020/papers/w31/Ignatov_Rendering_Natural_Camera_Bokeh_Effect
_With_Deep_Learning_CVPRW_2020_paper.pdf
[7] https://sr.wikipedia.org/sr-ec/%D0%9B%D0%B0%D1%81%D0%B5%D1%80%D1%81%D0%BA%D0%B8_
%D0%B4%D0%B0%D1%99%D0%B8%D0%BD%D0%BE%D0%BC%D0%B5%D1%80
[8] https://www.baumer.com/dk/en/product-overview/distance-measurement/ultrasonic-distance-sensors/c/290
[9] https://www.cs.cmu.edu/~efros/courses/LBMV07/Papers/viola-cvpr-01.pdf
[10] https://www.e-consystems.com/blog/camera/what-is-a-stereo-vision-camera/
[11] https://www.ijser.org/paper/Design-of-an-Ultrasonic-Distance-Meter.html
[12] https://www.nikon.rs/sr_RS/learn-and-explore/photography-articles.tag/learn_and_explore/photography_articles/bokeh-
for-beginners.dcr
[13] https://www.renishaw.com/en/interferometry-explained--7854
[14] https://www.roboticstomorrow.com/article/2018/04/what-is-structured-light-imaging/11821
[15] https://www.sony.rs/electronics/sta-je-otvor-blende-dubina-polja
[16] https://www.youtube.com/watch?v=FOxxqVzDaaA
[17] https://www.youtube.com/watch?v=p9vq90NYHMs
[18]https://www.youtube.com/watch?v=uEJ71VlUmMQ
[19]https://www.ripublication.com/ijcir17/ijcirv13n5_05.pdf
[20]https://www.networkworld.com/article/3445039/beamforming-explained-how-it-makes-wireless-communication-
faster.html
[21]B.D. Van Veen and K.M. Buckley. Beamforming: A versatile approach to spatial filtering. IEEE ASSP Magazine,
5(2):4–24, April 1988.