AI40 2020 Zlatan Hasanović Teorijski Rad

UNIVERZITET U NOVOM SADU
FAKULTET TEHNIČKIH NAUKA
Zlatan
Hasanović
AI 40/2020
Katedra za animaciju u inženjerstvu
Primena i uticaj
veštačke inteligencije u
industriji vizuelnih
efekata
Novi Sad, 2024.

Zlatan Hasanović Primena i uticaj veštačke inteligencije u industriji vizuelnih efekata
Sadržaj
Abstrakt ............................................................................... 3
Uvod ................................................................................... 3
VFX produkcija .................................................................... 4
Veštačka inteligencija i njena primena u VFX toku............... 9
Automatsko rotoskopiranje ................................................ 14
Automatska manipulacija scenom ..................................... 17
Primena dubokog učenja (Deepfakes)............................... 27
Digitalizacija pokreta (Motion capture) ............................... 31
Podmlađivanje i postarivanje ............................................. 33
Promene u koloru i stilu na osnovu narativa ...................... 39
Ostale tehnike ................................................................... 40
Zaključak ........................................................................... 43
Reference ......................................................................... 46
2
Abstrakt
Digitalni vizuelni efekti su bio deo filmske industrije još od početaka tehnološke
revolucije i prvih digitalnih tehnologija. S napretkom tehnologije, kvalitet vizuelnih efekata u
filmovima raste sve više i više. Danas, kada je veštačka inteligencija jedan od ključnih
elemenata tehnološke stvarnosti, njen uticaj na ovu sferu računarske grafike i filmske
umetnosti je idealan za analizu. Pored višestruke primene u automatizaciji nekih procesa,
generisanju novih kreativnih sadržaja, mogućnosti veštačke inteligencije deluju kao da će
biti sve veće i veće. Iako je malo verovatno da će ona zameniti čoveka, de fakto će uticati
na smanjenje broja ljudi koji rešavaju određene probleme, kao i na ubrzavanje procesa koji
bi običnom radniku oduzimao vreme i snagu. Pitanje je, šta su konkretni alati koji se već
koriste i koji će se koristiti i kako će globalno rasprostranjavanje uticati na razvoj
automatizacije procesa u vizuelnim efektima pomoću veštačke inteligencije.
Uvod
Prvi razvoj digitalnih vizuelnih efekata je počeo još od početka razvoja digitalne
industrije, tj. pojavom prvih digitalnih alata koji su korišćeni za potrebe vizuelnih efekata u
filmovima (što je bilo početkom 80-ih godina prošlog veka) (Ong, V. (2021). Artificial
intelligence in digital visual effects). Iako u početku tehnologija nije bila dovoljno
optimizovana da generiše ili manipuliše visoko kvalitetnim sadržajem, dalji razvoj (tokom
90ih godina prošlog veka), odnosio se na poboljšanje pre svega kvaliteta, ali i uporedno
resursa kako bi se postigao značajan balans a sadržaj bio dovoljno uverliv. Najbolji primer
primene i sinteze tada novih tehnologija sa digitalnim vizuelnim efektima je u filmovima kao
što u Terminator 2: Judgement Day (1991), The Matrix (1999), i dr. [1].
Iako je termin vizuelnih efekata (koji se u praksi označava skraćeno VFX i biće
korišćen i ovde kao takav) vezan i za praktične i za digitalne efekte, razvoj tehnologija je
uticao najviše na taj prelaz za praktičnih na digitalne efekte. To dokazuje da su i praktični i
digitalni efekti bili uvek zavisni od budžeta, tehnologije i logistike koju je moguće upotrebiti
u svrhu kreiranja vizuelnog sadržaja, kako za film, tako i za real-time tehnologije kao što su
igrice [2]. Pod vizuelnim efektom smatra se ,,bilo koji sadržaj koji je kreiran, kojim je
manipulisano ili koji je korigovan za potrebe filma ili nekog drugog medija kako bi se
obezbedilo nešto što nije moguće postići u stvarnosti bez tehnologija ili adekvatnog budžeta
[...]“ ,, [...] Oni, ukoliko su dobro odrađeni nam doprinose da scenu u odnosu na priču i na
to šta predstavlja, doživimo kao integralnu celinu koju mi celokupno prihvatamo bez sumnje
da je veštački kreirana“ (Okun, J. A. et al. 2010).
Ako se uzme u obzir samo tehnološki koliko je VFX industrija napredovala u zadnjih
30 godina, onda su rezultati zapanjujući. Međutim, u najnovijoj, trenutnoj tehnološkoj
revoluciji, koja je zapravo počela davno kada su prve metode mašinskog učenja nastale,
ali tek je sad u svojoj kulminaciji, ne samo industrija vizuelnih efekata, već i veliki broj drugih
sfera pada pod uticaj veštačke inteligencije i njenih metoda (kao što su mašinsko i duboko
učenje, neuralne konvolucione mreže, i sl.). Veštačka inteligencija predstavlja simulaciju
ljudskog načina razmišljanja i automatsko rešavanje određenih problema i zadataka od
strane računara ili drugih mašina. Njen proces uključuje akviziciju podataka, obradu i
3
trening mašine da razmišlja poput čoveka pri rešavanju konkretnog zadatka, kao i
realizacija tog procesa na osnovu nekih od prethodno navedenih metoda [2]. Takođe
veštačka inteligencija ima opštu skraćenicu AI (Artificial intelligence) koja će biti korišćena
kao i VFX da se ne bi svaki put pisala čitava sintagma. Isto tako i CG i CGI skraćenice
označavaju Computer Generated Imagery i Computer Graphics (ili isto Generated),
respektivno.
Da li i kako veštačka inteligencija utiče na tok procesa i podataka u VFX industriji?
Kako utiče na savremeni rad i radna mesta onih koji tu rade? Koje tehnike koriste ili su u
razvoju? Koji konkretni alati postoje za industrijsku ili individualnu upotrebu? Koliko dugo
su već neki od tih metoda zastupljeni? Šta je budućnost ovog spoja? To su neka od ključnih
pitanja na koje se osvrće ovo istraživanje čiji je cilj da se dođe do konkretnih primena, kao
i razumevanja uticaja novih AI tehnologija u ovoj industriji sa svojim prednostima i manama.
Glavna hipoteza ovog rada je: Veštačka inteligencija će promeniti VFX
industriju, ali neće nikada zameniti ni čoveka, kao ni kompletan tok procesa.
Kao dva glavna izvora ovog istraživanja sa najsličnijim problemima i temama
istraživanja, uzeti su master rad Viktora Onga [2] i doktorska disertacija Anastasije
Čabanove [3], kao i mnogi od radova koji su oni koristili u svojim istraživanjima kako bi došli
do odgovora na postavljena pitanja. To uključuje i radove koji se bave konkretnim alatima
i konretnim metodama za razvoj, kao što su AlphaGD alat (Yunpeng, Li. Film and TV
Animation Production Based on Artificial Intelligence AlphaGd, 2021), Flux sistem koji se
pominje u radu Yaxing Li-a (Yaxing, L. Research on the Application of Artificial Intelligence
in the Film Industry, 2022) ili primena dubokog učenja za Deepfake tehnologije (Saiyad, M.
Akram, H. Vivek, D. Deepfakes Technology Using Artificial Intelligence, 2021).
VFX produkcija
Pre pregleda odnosa sa veštačkom inteligencijom, potrebno je definisati i proći kroz
tokove procesa, podataka i resursa u VFX produkciji, kao i videti koliko ljudi tu učestvuje,
koji su njihovi zadaci i gde tu potencionalno može doći do najviše promena (ako već do
nekih nije ni došlo) razvojem novih tehnologija.
Zašto je bitno adresirati sve ove elemente oblasti? Iako ne postoji fiksni sastav i
struktura procesa i raspodele, bitno je znati bar okvirno koji procesi i koja radna mesta
mogu biti ili već jesu na udaru razvoja tehnologija kako bi se i tehnike i procesi ili ubrzali ili
unapredili. Ovo je iz razloga što je industrija vizuelnih efekata trenutno pod okriljem korenitih
i dubokih promena, kako u tehničkim, tako i u organizacionim delovima (Kaufman, 2019.
Kaufman, 2020. Failes, 2020. Visual Effects Society, 2020).
U svojoj doktorskoj disertaciji, VFX – A new Frontier: The Impact of Innovative
Technology on Visual Effects (2022), Anastasija Čabanova je svoje istraživanje bazirala na
pitanjima kako nove tehnologije utiču na promene u industriji vizuelnih efekata, ali isto tako
kako se radnici nose sa ovim promenama i koliko to menja njihov pristup u radu.
Prvenstveno, treba proći kroz procese u toku vizuelnih efekata i radna mesta koja
su uvezana za te iste procese. Naravno, treba napomenuti da procesi nisu identično
raspoređeni u svim kompanijama i strukturama u industriji i da broj radnih mesta tj. ljudi
4
koje obavlja različite procese, kao i sam broj procesa nije uvek isti, ali postoji nekakva
struktura i organizacija koja bi se mogla nazvati tipičnom.
Na slici 1 je prikazan dijagram koji ukazuje na neke od ključnih procesa u ovom toku,
kao i nazive radnih mesta tj. radnika koji se bave određenim procesima u tom toku. Crnom
bojom su naznačeni sami procesi, dok su belom bojom naznačena radna mesta tj. radnici
(u ovom slučaju nije numerički već poziciono definisano) koji obavljaju odgovarajuće
poslove [3].
Slika 1 – Tipična podela uloga i radnih mesta na osnovu istih u VFX industriji (nije fiksno i
zavisi od konkretnih slučajeva ali može se uzeti kao jedan od modela) [3]
Pipeline management – tim koji sprovodi kontrolu nad tokovima procesa i tokovima
podataka kako bi kompletan VFX proces prošao onako kako je planirano. Pod pipeline-om
se smatra bilo koji šablon koji predstavlja ugnježden skup procesa i podataka koji mogu a
ne moraju da se dešavaju paralelno, isto tako redosled kojim se dešavaju nije fiksan
(Chabanova, A. (2022)). Jedan od procesa na koji se možda ne pomisli momentalno kada
se razmišlja o tome kako će AI tehnologije uticati ili zameniti procese u ovoj industriji. Kao
što se može videti na dijagramu, organizaciju i kontrolu rada vrši nekoliko (u ovom slučaju
5) različitih odgovornih lica koji snose odgovornost za funkcionalnost i kvalitet dobijenog
sadržaja.
5
Kao što se može videti na dijagramu, procese koji se odnose na CGI i renderovanje,
radi najveći broj ljudi, dok na procesima kao što su previzuelizacija i sl. rade umetnici ili
individualno ili u manjim grupama.
Ova radna mesta su u nekoj klasičnoj arhitekturi standardna, ali sada ta radna mesta
iza sebe kriju čitav proces VFX produkcije koji je kompleksan i pun procesa i potprocesa
koji su međusobno uvezani tako da formiraju celinu produkcije. Različiti autori, različite
koorporacije, kao i različiti studiji u zavisnosti od broja ljudi i budžeta imaju različiti program
po pitanju VFX produkcije, međutim, može se reći da je standardna podela VFX industrije
na tri ključne faze (Chabanova, A. 2022, Ong, V. 2021):
• Predprodukcija
• Produkcija
• Postprodukcija
Različiti autori, različite procese drugačije raspoređuju, tako na primer Anastasija
Čabanova koristi dijagram toka prikazan na slici 2 (Chabanova A., 2022).
Slika 2 – Klasičan dijagram procesa u VFX produkciji – predprodukcija, produkcija i

postprodukcija, kao i njihovi potprocesi (Chabanova, A. 2022)
6
Sa druge strane, imamo dijagram na slici 3 koji je Viktor Ong prikazao u svom radu.
Ono što se može primetiti je da je suština celog procesa skoro pa ista, ali da je na primer
postoje razlike koje uključuju raspored procesa u ovim tokovima, kao na primer plasiranje
teksturisanja, rigovanja, dizajniranja osvetljenja, animacije, rotoskopije, itd. gde u dijagramu
na slici 2 oni pripadaju fazi produkcije, dok u dijagramu na slici 3 pripadaju fazi
postprodukcije. Ovakvi rasproedi variraju od konkretnih slučajeva i nisu nužno pravila, ali
je poenta da je uvodni deo baziran na istraživanju i testiranju, a krajnja faza bazirana na
compositing-u tj. spajanju svega u celinu.
Slika 3 – Dijagram klasičnog VFX toka procesa – tri ključne faze i procesi unutar njih
(Ong, V. 2021)
Šta najvažniji od ovih procesa predstavljaju, proći ćemo ukratko u nastavku:
Istraživanje i razvoj – prisutno kao početna faza u oba dijagrama, predstavlja

uvodni proces u okviru VFX toka gde se vrši istraživanje u okviru onoga što je neophodno
za konkretan zadatak, razvoj softvera ili tehnoloških rešenja koji bi mogli doprineti, kao i
testiranje opreme radi prevencije grešaka (Chabanova, A. 2022, Ong, V. 2021).
Previzuelizacija (skraćeno Pre-vis) – proces kreiranja pokretnih 3D storyboard-ova
koji za cilj ima da prikaže željeni CG prikaz i predstavi ga na način na koji se on uklapa u
kompletnu scenu, zaključno sa realnim kadrovima (Chabanova, A. 2022).
7
Takođe, razvojem novih tehnologija, pogotovo tehnika renderovanja u realnom vremenu i

proširene ili mešovite realnosti, moguće je omogućiti interakciju 3D scene u toku snimanja
realne scene u realnom vremenu [4].
CGI – deo toka koji uključuje procese u produkciji (po Čabanovoj) ili u postprodukciji
(po Ongu) potprocese:
• Modelovanje
• Teksturisanje
• Rigovanje
• Animacija
• Dizajn osvetljenja
• Renderovanje
Modelovanje, teksturisanje, rigovanje, animacija – procesi kreiranja
geometrijskih modela, dodavanja i projektovanja materijalima istima, mehanizacije 3D
modela tako da je moguće njih animirati i konačno animiranje koje predstavlja kontrolisanje
i promenu geometrije u nekom vremenskom intervalu (Chabanova, A. 2022).
Dizajn osvetljenja i renderovanje – procesi koji uključuju proračun svetla i
njegovog ponašanja na sceni, kao i proces renderovanja koji predstavlja projekciju boje na
svaki piskel slike prikaza proračunom projekcije 3D slike na 2D ravan (Chabanova, A.
2022).
Rotoskopiranje (skraćeno roto) – predstavlja tehniku za identifikovanje elemenata

na frejmovima pokretnog prikaza tj. digitalnog video signala, kako bi se elementima
manipulisalo ali povrh svega, kako bi se izvršila neka segmentacija (Chabanova, A. 2022).
Matchmoving (ili samo match-move) – takođe poznata pod nazivom tracking, je
proces u kome se vrši analiza pokreta kamere u realnom snimku, kako bi se onda
projektovala na 3D prikaz koji se kombinuje sa realnim snimkom, ali takođe kako bi se
geometrijski transformisala scena tako da se realni i sintetički elementi poklapaju. To
podrazumeva korišćenje raznih geometrijskih transformacija kako bi se perspektivne
projekcije na svakom frejmu uklopile [5].
Keying – proces koji uključuje brisanje ili zamenu elemenata sa scene. Najpoznatiji
primeri su zeleni i plavi ekran i elementi koji su te boje kako bi po chroma key funkcijama
mogli da se obrišu ili zamene nečim računarski generisanim (Chabanova, A. 2022).
Kompoziting (eng. compositing) – predstavlja finalnu kompoiziciju svih elemenata
kako bi se oni uklopili adekvatno, da sintetički i realni elementi funkcionišu tako da finalni
prikaz bude dovoljno uverljiv za svakog prosečnog posmatrača (Ong, V. 2021).
Ovime smo pokrili osnovu VFX produkcije i tok procesa i podataka koji ona uključuje
u nekoj opštoj formi na osnovu dijagrama dva različita autora.
8
Veštačka inteligencija i njena primena u VFX toku
Kada smo odgovorili na pitanje šta je industrija vizuelnih efekata, ko sve u njoj radi i
koji sve procesi se tu dešavaju, treba se osvrnuti na pojam veštačke inteligencije i načina
na koji ona utiče ili se primenjuje u ovoj industriji.
Veštačka inteligencija (AI) predstavlja sisteme koji koriste metode mašinskog
učenja, neuralnih mreža i mnoge druge kako bi simulirale ljudski način razmišljanja u okviru
računara (Ong, V. 2021). Međutim, u zavisnosti od kvaliteta veštačke inteligencije, možemo
je podeliti na dve osnovne kategorije [6]:
• Slaba veštačka inteligencija – običan vid inteligencije koji samo simulira
ljudski način razmišljanja, ali zbog nemogućnosti mašine da kompletno koristi
ljudsku logiku i metodologiju, ovakav vid inteligencije može služiti samo za
najprostije zadatke
• Jaka veštačka inteligencija – onaj vid inteligencije koji je utreniran tako da

razume ljudska osećanja, da se ponaša kao čovek, da razmišlja i razume ljudsku
logiku i da koristi spoznaje poput računarskog vida i drugih kompleksnih
mogućnosti
AI i mašinsko učenje utiču na VFX industriju najviše iz perspektive poboljšanja dugih,
napornih ali i ne prekomplikovanih zadataka u toku, čime se postiže efektivnost u radu.
Ukoliko u okviru celog toga može da se posmatra uticaj i primena, to bi šablonski moglo da
se svede na dijagram na slici 4 (Chabanova, A. 2022).
Slika 4 – Šematski prikaz kako inovativne tehnologije utiču na određene delove

VFX toka, gde je fokus na veštačkoj inteligenciji (AI) (Chabanova, A. 2022)
9
Kao što se sa slike može videti, najveći uticaj i/ili zamena i ubrzanje poslova bi
trebalo da bude (ako već nije) u procesima matchmoving-a, rotoskopije i CGI delu toka.
Sa druge strane, drugi autori, kao što je Viktor Ong smatraju da je uticaj AI sistema
spreman da VFX industriju promeni kroz različite faze. Ove faze bi se odnosile na faze
razvoja različitih alata, kako za masovnu kompanijsku, tako i za individualnu ili manju
produkciju. Ceo proces zauzimanja određenih delova produkcije bi se sveo na tri osnovne
faze. Za svaku od faza bi bilo potrebno oko 2-3 godine u razvoju kako bi se omogućio
prelazak na sledeću (Ong, V. 2021).
Slika 5 – Prva faza ulaska AI sistema u tok VFX produkcije (Ong V.,2021)
Prva faza (slika 5) uključuje pojavu deepfake tehnologija koje bi pomogle

ubrzavanjem procesa predprodukcijie. Ovim tehnologijama će biti posvećen poseban
odeljak. One su metode kreiranja ili rekreiranja sadržaja bazirane na dubokom učenju.
Njihovom implementacijom u predprodukciju bi se ubrzali procesi kao što su
previzuelizacija tako što bi se sadržaj ili ispravljao ili generisao tako da umetnici ne moraju
da pri greškama rade dobar deo procesa ispočetka. Takođe bi pomoću ovih tehnika bilo
ubrzano generisanje efekata ili 3D maski nad glumcima bez potrebe za prvo konceptualno
kreiranje a onda finalizaciju u postprodukciji. Druga stvar koja bi bila na udaru je
rotoskopiranje. Kao tehnika koja je poprilično stara i ne prekomplikovana, čak i neki prostiji
AI sistemi postaju sposobni da sami vrše analizu i segmentaciju sadržaja. U ovom slučaju
i dalje bi postojao roto artist, ali bi veštačka inteligencija pomogla pri samoj identifikaciji i
enumeraciji dok bi zaduženi za rotoskopiju obavljali segmentaciju (Ong, V. 2021).
10
Slika 6 – Druga faza implementacije AI sistema u VFX toku (Ong V.,2021)
Druga faza (slika 6) već predstavlja ozbiljnije prisustvo AI sistema, pogotovo u

pedprodukcionom delu. Deepfake tehnologije će preuzeti gotovo ceo proces
predprodukcije gde će biti moguće vizuelizovati već gotov rezultat ugrubo pomoću ovih
tehnologija i to u realnom vremenu. Takođe testiranje će biti znatno brže i mogućnosti za
grešku će biti dosta manje.
Može se videti na dijagramu (slika 6), da je u ovoj fazi već kompletna rotoskopija
pod uticajem AI. Sistemi će biti implementirani tako da rade optimalno gde će radnici samo
prosleđivati ulazne podatke (kao što su broj elemenata, način enumeracije, itd.), a operacije
će biti sprovođene u realnom vremenu. Već danas prisutno na velikom broju mobilnih
telefona u okviru aplikacija za galerije i obrade slike, moguće je prostim dodirom na objekat
na slici izvršiti selekciju i segmentaciju.
Može se reći da smo u trenutnim okolnostima već ušli u ovu drugu fazu i da
tehnologije i sistemi napreduju tako da generisanje i segmentacija sadržaja mogu da se
izvršavaju u realnom vremenu sa fotorealnim per-pixel rezultatima.
U ovoj fazi će i dalje ostati kompletan CGI departman, pogotovo tim za modelovanje
gde će AI uticati samo na ubrzavanje određenih delova ovih procesa kao što su brži
proračuni u renderovanju, proceduralnom teksturisanju, i sl. Napredak će biti primećen i u
softverskom inženjerstvu ove struke gde će alati za retopologiju i druge vidove analize i
manipulacije topologijom biti većinski bazirani na AI sistemima i sličnim mrežama. Ovo se
odnosi i na softvere za automatsku manipulaciju svetlom i sl. (Ong, V. 2021).
11
Slika 7 – Treća (verovatno finalna) faza primene AI sistema u VFX toku (Ong, V. 2021)
Treća faza (slika 7) će biti faza u kojoj će AI sistemi biti implementirani kao većinski
deo produkcijskih procesa. Ovo će se odnositi najviše na CGI deo procesa koji će biti
izložen neuralnim mrežama i sličnim sistemima.
Ovo uključuje razne manipulacije, kao što su menjanje scene iz dana u noć,
menjanje različih struktura objekata na sceni, njihovo izolovanje na brz i efikasan način. U
sistemima za matchmoving tj. tracking praćenje putanje kamere i ispravljanje perspektive
biće gotovo automatsko i uz pomoć raznih alata biće moguće izmene nad realnim i
sintetičkim objektima na sceni u realnom vremenu. Na dijagramu sa slike 7 može se
primetiti da je poprilično mali deo VFX toka ostao bez uticaja veštačke inteligencije. To se
najviše odnosi na procese koji zavise od želje i zadatka korisnika jer na kraju krajeva,
korisnik je taj koji bira zadatak i traži ulazne podatke što je glavni dokaz da AI nisu sistemi
koji rade šta oni žele već asistiraju čoveku u obavljanju nekih procesa koje on želi (Ong, V.
2021).
Pored alata za manipulaciju, u trećoj fazi biće usavršeni alati za generisanje i
kreiranje samog sadržaja tako da funkcionišu uverljivo u realnom vremenu što omogućava
autorima da ubrzano i interaktivno generišu raznolike karaktere i druge 3D sadržaje [7].
Kako će ovo dalje eskalirati, moguće je samo pretpostavljati. Zbog toga treba
razumno koristiti i analizirati AI sisteme kako bi njihova primena bila delotvorna. Zbog
različitih mišljenja, moguće je da čak mnoge kompanije i koorporacije neće ni prihvatiti neke
od sistema u ovoj industriji što je ponovo subjektivno. Vrlo je verovatno da će većina ovih
sistema biti primenjena u navedenim delovima toka ali da neće zameniti radnike kao ni
kompletne procese.
12
Slika 8 – Koji su delovi VFX toka kao dela kompletnog video toka koji su na najvećem
udaru promena trenutno (Chabanova, A. 202,2)
Kako različiti autori gledaju na stvari, iz različitih izvora se može zaključiti da su

trenutne oblasti na udaru nekorespodentne. Tako na primer na slici 8 je prikazan dijagram
koji predstavlja kompletnu video produkciju (koja bi mogla da se okarakteriše kao
televizijska, filmska pa čak i na nivou individualnih korisnika) gde je VFX u suštini samo
jedan deo te kompletne industrije (najrasprostranjenije u filmskoj) i to u postprodukcijskom
delu koji je ujedno i najkompleksniji, najduži i najzahtevniji u formiranju jednog digitalnog
video sadržaja. Dijagram naglašava da i u okviru same video industrije, ali isto tako i u
okviru VFX industrije trenutne primene su u razvoju alata za poboljšanje faza kao što su
13
modelovanje i previzuelizacija gde se radi o generativnom tipu poslova. Pošto se radi o

generisanju sadržaja, trenutno su najveći napori da se AI, ali isto tako i druge inovativne
tehnologije usavrše tako da alati pomognu korisnicima da brže završe posao ali isto tako i
da krajnji rezultati budu dovoljno uverljivi i kvalitetni (Chabanova, A. 2022).
Sada kada smo prošli kroz suštinu VFX produkcije i njenih procesa, kao i veštačke
inteligencije i njene primene u svemu tome u nekom opštem smislu, vreme je da se
osvrnemo na konkretne pristupe. To bi bile konkretne tehnike, kao i konkretni alati koji se
razvijaju za poboljšanje ili automatizaciju procesa u već opisanom VFX toku.
Neki od ključnih procesa koje ćemo preći su:
• Automatsko rotoskopiranje
• Automatska manipulacija scenom
• Deepfake tehnologije i njihova primena
• Primena u digitalizaciji pokreta (motion capture & analysis)
• Primena u podmlađivanju i postarivanju glumaca (Flux i drugi sistemi)
• Primene u kreativnom delu posla (promene u kolor korekciji, efektima
baziranim na narativnom stilu sadržaja i sl.)
Takođe, biće reč o raznim drugim tehnikama i primerima koji se mogu smestiti u
neke od onih procesa navedenih u VFX toku. Pored toga, pomenućemo i još neke
konkretne alate kao što je AI sa UAVs (Unmanned aerial vehicles) koji uz veliki broj drugih
alata mogu da se koriste u okviru CGI i sličnih procesa vezanih za VFX tok.
Automatsko rotoskopiranje
Rotoskopiranje je poprilično stara tehnika. Prvi put razvijena još 1917. godine,
predstavljala je vid segmentacije i projekcije objekata sa snimka tj. filmske trake na staklo,
a potom manuelno docrtavanje elemenata i uklapanje sa drugim snimkom. Za ove potrebe
se koristio uređaj koji se naziva rotoskop po kome je tehnika i dobila ime.
Daljim razvojem tehnike prelaskom na digitalne medije i podatke, omogućeno je da
korisnik manuelno putem računara vrši rotoskopiju. Ovaj napredak tehnike je došao 90ih
godina prošlog veka pojavom softverskog alata Colorbust.
Iako je inovacijama u tehnologiji nazivanje ove tehnike rotoskopijom obesmišljeno
jer je metodologija digitalna putem računara, ovaj naziv se zadržao i sada svi koji vrše
segmentacije i enumeracije objekata na sceni i njihovo uređivanje se u industriji i dalje
nazivaju roto umetnici.
Razvojem mašinskog učenja i numeričke analize, rotoskopija danas može da se
smesti u tehniku u sferi obrade i analize slike koja se naziva segmentacija slike (image
segmentation) gde se uz pomoć algoritama kao što su morfološke operacije bazirane na
Bulovoj algebri, segmentišu objekti na sceni.
14
Pošto je bitno imati uvid u organizaciju podataka, često se koristi neki vid enumeracije kao
što su numerička ili slovna. AI sistemi su u razvoju tako da je moguće u realnom vremenu
koristiti ove sisteme tako da se objekti na sceni izoluju i enumerišu automatski na osnovu
ulaza korisnika. Za ovu svrhu manipuliše se ulaznim podacima kao što su itnenzitet
osvetljaja piksela, pojava korera kao preseka ivica gde postoji jasna razlika između
osvetljaja u pikselima i sl. (Ong, V. 2021). Primer automatske selekcije i numeričke
enumeracije je na slici 9.
Slika 9 – automatska selekcija i numerička enumeracija elemenata na jednom frejmu

videa korišćenjem AI sistema [8]
Pošto je rotoskopija jedna od tehnika koja je već odavno na udaru napredaka zbog
tehnoloških inovacija, alati koji se razvijaju su ne samo danas, već duže vreme dostupni i
za individualnu upotrebu korisnika. Tako na primer OpenCV (Open Source Computer
Vision) je programska biblioteka razvijena za potrebe korišćenja metoda obrade i analize
slike, kompjuterske vizije i drugih kognitivnih alata kojima se može vršiti segmentacija
odnosno rotoskopija elemenata sa slike i njihovo dalje uklapanje sa drugim elementima
slika i snimaka. Za ove potrebe, primer na slici 10 prikazuje individualnu upotrebu
kompjuterske vizije (AI metodologije u računarskoj grafici za kognitivne postupke
prepoznavanja elemenata slike) gde su pomoću kompjuterske vizije segmentisani
prefinjeni delovi dlaka kose tako da kompozitna slika bude uverljiva (Ong, V. 2021).
Slika 10 – Primer korišćenja OpenCV biblioteke za individualnu upotrebu korisnika za

potrebe segmentacije osobe sa slike i uklapanje u drugu sliku (Ong, V. 2021)
15
Još jedna metoda digitalne rotoskopije tj. segmentacije se naziva stereo konverzija.
Ta metoda predstavlja detekciju baziranu na korišćenju tracker-a i depth mapa gde se
kasnije dva susedna frejma upoređuju i ispravljaju se loše selekcije na svakoj njihovom
uporedbom (zbog čega naziv i nosi ime stereo u sebi) [8].
Slika 11 – upotreba metode stereo konverzije za detekciju i segmentaciju na primeru u

filmu Conan the Barbarian (2011) gde se vidi upoređivanje detekcije na dva susedna
frejma (Seymour, M. 2011)
Još jedna metoda za automatsko rotoskopiranje odnosno segmentaciju koja je

dostupna za masovnu produkcijsku, kao i za idnividualnu, predstavlja Rotobot, dodatak za
različite softverseke alate. Koristi automatizaciju u realnom vremenu kako bi u video signalu
iz svakog frejma identifikovao i segmentisao različite objekte. Pošto je trenutno u razvoju,
tek je pitanje mogućnosti koje će ovaj alat imati kada se nadogradi. Alat može da se
implementira u razne softvere za obradu i analizu video signala kao što su Flame, Nuke,
After Effects, Premiere, Fusion Studio, Natron, Da Vinci Resolve i mnogi drugi.
Neke od najbitnijih prednosti ovog sistema u odnosu na neke druge su činjenica da
je jedan od najbržih alata koji može čitave video segmente od desetine sati da obradi u
roku od nekoliko minuta, kao i činjenica da postoje indeksiranja pomoću kojih je
jednostavno moguće koristiti segmentaciju. Ovo se ogleda u upotrebi kompjuterske vizije u
zadacima kao što su identifikacija i upotreba relacionih baza podataka kako bi se
identifikovani objekti isprojektovali u sistem iz kojeg je pomoću indeksiranja ključnim rečima
moguće birati željene objekte za segmentaciju [9]. Mogućnosti korišćenja ove metode za
automatsku rotoskopiju su takođe neprevaziđene u smislu simultanosti procesa za svaki
frejm bez skoro bilo kakve pauze za šta NVIDIA CUDA 12 sistemi pomažu u računanju i
akceleraciji procesa (Ong, V. 2021).
16
Slika 12 – Primer segmentacije (rotoskopije) korišćenjem Rotobot sistema gde se

pomoću relacione baze podataka indeksira ključna reč (u ovom slučaju ,,people”) i na
osnovu nje algoritam pronalaizi i obeležava ljude na sceni kako bi ih nakon toga
segmentisao (Kognat, 2020)
Automatska manipulacija scenom
Pod automatskom manipulacijom scenom se podrazumeva potreba za korišćenje

kombinacije realnih i računarski generisanih elemenata video scene. Ove tehnike se
najviše odnose na procese kao što su Keying i neke CGI opcije vezane za generisanje
scene i pozadina. Takođe se odnose i na kompoziting deo procesa jer je bitno da budu
dovoljno uverljive za finalno spajanje u video signal. Nekada se ovo radilo tehnikama kao
što su Matte painting gde se ručno slikalo po staklu i kasnije snimak projektovao kako bi se
implementirale scene ili lokacije koje realno nisu u pozadini filma tj. scene.
Najvažnija stvar kada se radi o ovom domenu je pitanje da li se radi o generativnom
ili obradnom zadatku tj. da li nam je cilj da ulaznu scenu, tačnije podatke promenimo i
napravimo varijaciju ili da generišemo nešto novo u okviru nje. Onde gde uverljivost igra
ulogu, najteže, a i najbitnije je uskladiti osvetljenje i senke. To je ključ za postizanje
uverljivosti kada se vrši bilo kakva promena. U ovoj sferi se danas najviše radi kako bi AI
mogao efektivnije da generiše i menja osvetljenje i senke na medijima. Postići uverljivost i
fotorealnost za svaki detalj i svaku senku objekta je izazov koji je trenutno prisutan u
industriji razvoja AI industrije jer zahteva izuzetno kompleksne matematičke kalkulacije u
realnom vremenu (Ong, V. 2021).
17
Neke konretne tehnike koje su u razvoju su mašinsko učenje za razumevanje slika

u razlčitom domenu. To uključuje poređenje slike koja sa jedne strane ima na primer kučiće,
dok sa druge strane imamo sliku sa mačićima. Ono što bi alat mogao da doda jeste da se
nekim interaktivnim alatom kreira prelazak sa jedne slike na drugu radi automatizaije. Ovo
je moguće algoritamskim pretpostavljanjem piksela – tehnikom kojom se upoređuju pikseli
ili grupa piksela i na osnovu njih generiše pretpostavka intenziteta osvetljaja piksela, koja
semantički odgovara onome što bi stajalo na slici (Ong, V. 2021). Primera radi, već danas
modeli koji se mogu naći i u novijim beta verzijama Adobe Photoshop-a sa ugrađenim AI
sistemima, uključuju alate za semantičku manipulaciju scenom gde je s nekoliko prelazaka
četkice moguće izvršiti promenu sadržaja scene. Ovo je zasnovano na dva principa, jedan
je to da se piskeli semantički analiziraju, a drugo je da se izvrši generisanje pretpostavljenih
vrendosti intenziteta osvetljaja piksela tako da odabrani reon bude promenjen i novi
generisani sadržaj uverljivo pripada sceni. Naravno, što je veći region od interesa, to je
kalkulacija kompleksnija i to je teže uspostaviti apsolutnu tačnost generisanja sadržaja [10].
Primer ovakvog alata prikazan je na slici 13 gde možemo videti upotrebu četkice s kojom
su obeleženi određeni delovi slika na osnovu kojih je ovom tehnikom generisana zamena
piksela.
Slika 13 – Alat za semantičku manipulaciju slikom baziran na mašinskom učenju

semantičke pretpostavke piksela (Bau, D. et al.)
Neki od glavnih nedostaka ove tehnike bi bili sporo učenje algoritama, otežana
tačnost pri slikama sa velikim dinamičkim opsegom i velikom prostornom rezolucijom, lošiji
rezultati pri većoj raznovrsnosti u bojama i intenzitetima piksela, pojava artefakta na
pikselima (stepeničaste strukture i sl.), i dr. Iako ima još mnogo prostora za napredak,
tehnika je inovativna i njen razvoj je budućnost semantičke analize i obrade slika koje će u
procesima generisanja i izmene pozadina pri kompoziting fazama vizuelnih efekata biti jako
važne (Bau, D. et al.).
18
Još jedna od tehnika za automatsku manipulaciju bi bila generativna tehnika za

promenu stanja vremena i svetla na sceni (nešto slično time-lapse video snimcima) gde je
ulaz sekvenca slika koja se bez domenskih oznaka (ulaznih podataka za redosled i tačno
vreme) translira tako da promena vremena bude prirodna. Za sada se tehnika odnosi samo
na ograničenu sekvencu slika koja nažalost još uvek nema mogućnost kreiranja
kompletnog video izlaza ali itekako ima mogućnost za usavršavanje.
Slika 14 – Visoko kvalitetna vremenska translacija slike bez ulaznih parametara

(domenskih oznaka) (Ong, V. 2021)
Još jedna, možda i najveća mana ovog sistema je to što je interakcija sa korisnikom
maltene nemoguća. Sistem automatski generiše scenu u različitim vremenskim intervalima
i uslovima ali bez ulaznih parametara što ga čini ne baš toliko prikladnim za namenu VFX-
a jer ne možemo generisati tačno ono što želimo. Jesu rezultati kvalitetni, ali ograničenja
su velika (Ong, V. 2021).
Zbog toga, u radu Manipulating Attributes of Natural Scenes via Hallucination
(Karacan, L. et al. 2019) je prezentovan sistem mašinskog učenja sa dva stadiuma (stadium
za učenje i stadium za testiranje) gde je moguće direktno manipulisati obeležjama prirodne
(realne) scene visokog kvaliteta (slika 15). Ovo nadoknađuje ograničenja prethodno
predstavljenog sistema gde je interakcija sa korisnikom pojačana do nivoa da je moguće
da korisnik direktno manipuliše scenom po svojoj želji.
Kao što je već rečeno, sistem se sastoji iz dva stadiuma, stadium učenja i stadium
testiranja. Najveći izazov koji je pred sebe stavila grupa koja je kreirala ovaj sistem i
analizirala njegove mogućnosti je bio uspeh u uverljivoj promeni i rezultatu semantički tačne
i visokokvalitetne slike. Tri ključne ideje sistema i ljudi koji su ga izložili u radu su sistem
od dva stadijuma sa visokokvalitetnim rezulatom na osnovu obeležja slike, GAN
(Generative Adversarial Network) mreža za povezivanje i geneirasnje uverljivih scena i
skup podataka eksterijerne scene sa prolaznim obeležjima [11].
19
Slika 15 – Sistem za direktnu manipulaciju realnih slika prirode (Karacan, L. et al. 2019)
Faza treniranja uključuje prikupljanje i formiranje skupa podataka. To uključuje više

desetina hiljada slika različitih enterijera i eksterijera koji su delimično obeležena
instancama iz 150 različitih klasa. Međutim to ne uključuje informacije o prolaznim
obeležjima (one informacije koje se prosleđuju i čuvaju direktno u bazi podataka). Ta
prolazna obeležja su pribeležena zasebno u oko 8.5 hiljada fotografija uhvaćena na istim
scenama u različitim vremenskim uslovima, dobima dana i godišnjim dobima. Ovaj zasebni
skup podataka se odnosi uglavnom na karakteristične scene (izlazak/zalazak sunca,
oblačnost, magla, jesen, zima sa snegom i bez snega, itd.). Neophodno je da se ti podaci
obeleže kako bi se označila njihova semantika.
Kako bi se projektovali i ustanovili veliki skupovi podataka koji uključuju ove fiksne i
prolazne podatke, manuelno se uzima oko 9 hiljada korespodentnih slika koje sadrže
prirodnu i urbanu sredinu. Potom se pronalaze lokalna obeležja ovih slika tj. karakteristična
obeležja za pojedinačne slike koje se predstavljaju u ovim privremenim skupovima
podataka. Za ovu potrebu se koriste neki već gotovi AI sistemi kao što su model za
predviđanje rezultata, nakon čega se manuelno ocenjuju i analiziraju predviđanja. Za
dobijanje same projekcije se koriste semantički AI modeli koji ponovo predviđaju konačni
izgled, ovoga puta na osnovu semantičke analize. Kada se dobiju rezultati predviđanja,
ponovo se manuelno ocenjuju i analiziraju i traže se oni najbolji.
Kada smo kreirali predviđanja sa modelima, odabrali adekvatna i projektovali baze
podataka, red je za drugi korak a to je generisanje scene tj. faza testiranja. To
podrazumeva kreiranje sistema za manipulaciju obeležjima (Attribute Manipulation
Framework) (šema prikazana na slici 16). Ovaj sistem služi najpre za povezivanje podataka
u mrežu a i za semantičko generisanje scene. Glavni deo sistema je mreža za generisanje
scene koja zavisi od semantičkog obeležja slike i kontinualnoj vrednosti vektora prolaznih
obeležja. Ovde nastupa i mogućnost interakcije sa korisnikom gde je korisnik u položaju da
može da bira 40ak različitih prolaznih obeležja povećavanjem ili smanjenjem vrednosti
različitih dimenzija. Sama mreža može da se pohrani i semantičkim obeležjima ulazne slike
i moguće je automatizovati je određenim modelom (Karacan, L. et al. 2019).
20
Slika 16 – sistem za manipulaciju obeležjima u fazi testiranja (generisanja scene)

(Karacan, L., et al. 2019)
U sam proces generisanja scene se uključuje i pomenuti GAN (Generative

Adversarial Network) mrežni sistem. Arhitektura SGN sistema (slika 17) se sastoji iz dva
ključna dela tj. dve ključne mreže generator network i discriminator network. Tako da
SGN sistem u sebi sadrži GAN mrežu. U ovom sistemu, ova dva ključna dela tj.
generatorska mreža i diskriminatorska mreža pokušavaju da ustanove što uverljviiju
semantičku promenu scene. Neka je generatorska mreža G, a diskriminatorska mreža D.
Njihov zadatak je da se utreniraju min-max igrom gde D ima zadatak da utvrdi da li je slika
prava ili lažna, a G pokušava da generiše što fotorealnije i uveljivije slike kako bi pokušao
da prođe kroz D. Ove dve mreže se treniraju zajedno alternativnim ažuriranjem formulom:
gde je x slika prirode koja je kreirana na osnovu realne raspodele podataka ,

a z je nasumični vektor šuma dobijen viševarijantnom Gausovom raspodelom.
Postavlja se pitanje kako ovaj vektor šuma može da utiče na izlazni rezultat.
Manipulacijom njegove vrednosti, moguće je koristiti standardnu devijaciju za proizvođenje
stohastičkih varijacija u neregularnim ili stohastičkim regionima teksture slike (slika 17).
Pored i standardne, postoji i uslovna GAN mreža (CGAN – Conditional Generation
Network). Ona uključuje dodatna ograničenja zarad poboljšanja kvaliteta izlazne slike. Za
ulazni kontekstni vektor kao sporednu informaciju c, generator G (z,c), uzima i informacije
o nasumičnom vektoru šuma i sporedne informacije. Sa oba ova podatka pokušava da
sintetiše realističnu sliku koja odgovara svim uslovima. Ovoga puta i u diskriminator se
ubacuje uslov koji zahteva da pored poređenja i odabira prave i lažne slike, proveri i da li
slike ispunjavaju uslovni vektor c. Ovime se vrši automatizacija i moguće je da korisnik
manipulacijom ovog uslovnog vektora kontroliše kvalitet izlaznih podataka (Karacan, L. et
al. 2019).
21
Slika 17 – Uticaj nasumičnog vektora šuma na stohastičku varijaciju u sintetičkoj slici

(Karacan, L. et al. 2019)
Slika 18 – Arhitektura SGN sistema sa dva mrežna podsistema (Karacan, L. et al. 2019)
Sada ćemo proći kroz neke primere i poređenje i kombinacije ove tehnike sa nekim
starijim tehnikama, kao i sa nekim drugim tehnikama respektivno. Neki od rezultata ovog
sistema su prikazani na slici 19.
Slika 19 – Primer generisanih rezultata uz pomoć ovog sistema (SGN mreža) (Karacan,
L. et al. 2019)
22
Takođe, parametrizacijom je omogućeno da korisnik utiče na detalje direktnom

promenom obeležja slike (prolaznih). Takav primer mogućnosti za manipulaciju je prikazan
na slici 20.
Slika 20 – Mogućnost manipulacije podacima povećavanjem vrednosti parametara za

promenu prolaznih obeležja slike u okviru SGN mreže (Karacan, L. et al. 2019)
Još jedan vid manipulacije elementima je korišćenje alata za dodavanje i oduzimanje

elemenata sa generisane scene. Za ove potrebe se koristi prostorna mapa raspodele (slika
21 gore-levo), gde se bojama označava raspored elemenata u prostoru. Takođe je moguće
modifikovati sam izgled slike uslovljavanjem različitih prolaznih obeležja (CGAN).
Slika 21 – Mogućnost za promenu sadržaja scene brisanjem, dodavanjem ili menjanjem

semantike scene zasnovana na grubim prostornim mapama za raspodelu, gore-levo su
priakzane mape, dole-levo rezultat primene ove mape, gore-desno je rezultat u različitim
godišnjim dobima, dole-desno rezultat u različitim vremenskim uslovima (Karacan, L. et
al. 2019)
23
Ovo naravno nije ni prva, a ni poslednja tehnika koja obavlja ove funkcije i ima
ovakav sistem. Tako na primer dve starije tehnike Pix2pix i Pix2pixHD su upotrebljene sa
istim ulazima kao i za SGN sistem, pa su rezultati sva tri sistema upoređeni (slika 22). Ono
što čini SGN sistem boljim je činjenica da koristi i prolazna obeležja kao podatke što
omogućava veće varijacije i uverljivije prikaze.
Slika 22 – Poređenje promene scene ulaznim podacima koje zadaje korisnik crtanjem
raspodele, gde su svi rasporedi i ulazne slike identični, a tehnike su različite (SGN,
Pix2pix, Pix2pixHD) gde SGN daje očevidno najbolje i najuverljivije rezultate (Karacan, L.
et al. 2019)
Model daje dobre rezultate ako su i ulazni podaci o raspodeli komplikovani. Tako je
na slici 23 prikazano ,,igranje” sa prolaznim obeležjima i rezultati generisanja.
Slika 23 – Manipulacija različitih prelaznih obeležja i rezultati generisanja (Karacan, L. et

al. 2019)
24
Na slici 24 je prikazan rezultat eksperimenta menjanjem jačine intenziteta prolaznih

obeležja kako bi se videlo koliko fotorealni rezultati mogu da se dobiju sa većom ulaznom
vrednošću ovih obeležja.
Slika 24 – Povećavanje vrednosti prolaznih obeležja i sagledavanje rezultata koji se

dobija za različite veličine ove vrednosti (Karacan, L. et al. 2019)
Ovaj sistem je čak primenjen i na pejzažima poznatih slikara (Van Goga, Miljea,
Žižua) i pokazano je da je moguća manipulacija čak i sa ovakvom vrstom medija (slika 25).
Slika 25 – Slike pejzaža Van Goga, Mijea i Žižua u kolonama respektivno, manipulisane
sa SGN sistemom i rezultati manipulacije (Karacan, L. et al. 2019)
25
Naravno, ne postoji savršena metoda, pa su i sami autori izložili neke od grešaka pri
generisanju ovog sistema. Razlozi za greške su različiti. Tako na primer na slici 26 su
prikazane tri greške pri generisanju ovog sistema. U prvom redu na slici, prikazana je
greška čiji je uzrok loša tj. neadekvatna akvizicija vizuelnog sadržaja zbog čega je sama
slika nekvalitetna što za posledicu ima loše razumevanje modela. U druga dva reda su
prikazane greške nastale zbog neuspeha u transferu stila u okviru mreže za transfer stila u
samom sistemu.
Slika 26 – Tri primera grešaka nastalih zbog različitih razloga (loše akvizicije, greške u
sistemu) (Karacan, L. et al. 2019)
Za kraj, primena različitih alata u automatskoj manipulaciji scena može biti i u

kombinaciji sa drugim VFX tehnikama. Na primer, rotoskopiuranje kao tehnika, pogotovo
sa nekim automatskim sistemima o kojima smo ranije pričali, može da se primeni i u
manipulaciji scenom. Ovo nas dovodi do problema obstrukcija (smetnji). Ukoliko imamo
scenu u kojoj nam neki objekti smetaju da sagledamo scenu u celosti ili su jednostavno
višak, rotoskopiranje dolazi kao idealna tehnika sa identifikaciju i segmentaciju ovih
elemenata. Što omogućava da ih i obrišemo. Tako, sistem Learning to See through
Obstructions koristi rotoskopiju za analizu i segmentaciju elemenata koji su nepoželjni na
sceni. Sistem razdvaja pozadinu i neželjeni element u različite slojeve (layers) pomoću
duboke neuralne mreže i optical flow algoritma iz kompjuterske vizije. Konačno, nepotrebni
26
elementi se brišu sa scene i ostaje samo neoštećena pozadina. Primer scena sa

obstrukcijom i njenim uklanjanjem je prikazan na slici 27 (obstrukcija može biti zid, ograda,
staklo, itd.) (Ong, V. 2021).
Slika 27 – Duboki model koji ulanja obstrukcije kao što su stakla, zidovi, ograde i sl.
(Ong, V. 2021)
Primena dubokog učenja (Deepfakes)
Deepfakes su generativne tehnologije zasnovane na dubokom učenju i dubokim

neuralnim mrežama. Ove metode imaju dve glavne namene, generativna, gde se generiše
sadržaj koji u realnosti ne postoji na osnovu velikih skupova podataka i kombinatorna (gde
se postojeći i/ili nepostojeći sadržaj(i) kombiniju u celinu koja deluje uverljivo u ovkiru
signala slike/videa). Sistemi su zasnovani na velikom skupu podataka kojim se hrani
duboka neuralna mreža tako da bi pomoću metoda dubokog učenja proizvela ili
manipulisala sadržajem. Na primer, na slici 28 je prikazan postupak korišćenja deepfake
tehnologija gde je ulazna slika realna slika (fotografija), a potom je pomoću ovih tehnologija
urađeno i generisanje nepostojećeg ljudskog lica (slika 28, gore-desno), a isto tako i
kombinacija dveju likova u celinu (realnog i generisanog dubokim učenjem), gde je od
realnog dela zadržano sve osim lica, dok je lice sa veštačkog dela implementirano tako da
bude uverljivo uklopljeno [12].
Slika 28 – Kombinacija slike realne i slike nepostojeće osobe generisane dubokim

učenjem (Saiyad, M. et al. 2022)
27
Kao i kod drugih AI sistema, proces se sastoji iz neka dva osnovna koraka, a to je u
ovom slučaju uzorkovanje i treniranje, kao uvdona faza, a potom obrada skupa
podataka i generisanje/manipulacija sadržajem kao završna faza sistema).
.Faza uzorkovanja podataka i treniranje se svodi na ulazne podatke koji se
prosleđuju enkoderu koji zapisuje informacije o njima a potom dekoderu koji dešifruje
informacije. Za mašinsko učenje se najčešće korsiti duboka metoda kao što je DNN
(Dynamic Neural Networ). Ove dinamičke neuralne mreže su jako moćne i mogu se
pohraniti izuzetno velikom količinom podataka, kao i utrenirati se da razumeju veliku
količinu istih tih podataka. Još jedan proces koji je moguć u okviru ovih mreža je automatski
enkoder koji ubrzava proces uzorkovanja tako da praktično svodi ovaj ceo prvi korak na
uvezane procedure uzorkovanja podataka i treniranja algoritma. Slika 29 ilustruje šemu
automatskog uzorkovanja (autoenkodera) koji se koristi za smanjenje greške prilikom
generisanja ili rekonstrukcije sadržaja (Saiyad, M. et al. 2022).
Slika 29 – Šema kodiranja podataka – enkoder, dekoder, prostor latentnosti (obrade) koje
zamenjuje autoenkoder u okviru dinamičkih neuralnih mreža
Druga faza je formiranje skupa podataka od ovih generisanih slika i njihova

obrada/manipulacija zarad dobijanja što kvalitetnijeg sadržaja. U ovu svrhu se koristi GAN
sistem o kome smo i ranije pričali. Princip je ponovo isti, generator kome se prosleđuje izlaz
iz prve faze kreira bazu podataka i koristi pored osnovne baze i prolazna obeležja. U
kombinaciji sa nasumičnim vektorom šuma za semantičko poboljšanje, generiše sadržaj
određenog kvaliteta. Sadržaj se poredi sa realnim sadržajem iz baze koji je iskorišćen za
učenje. Što je veći broj elemenata baze i što je veći diverzitet u tim elementima, to će učenje
i kvalitet biti bolji. Koristi se ponovo i diskriminatorski sistem za poređenje kvaliteta realne i
generisane slike dubokim učenjem. Izlazni rezultat je logička klasifikacija binarim putem (0
ili 1 tj. fake ili real). Ovaj model GAN-a takođe koristi module fazi matematike za
algoritamsku klasifikaciju podataka dubokom metodom u okviru diskriminatora u mreži
(Saiyad, M. et al. 2022).
Slika 30 ilustruje GAN mrežu koja se koristi u ovom slučaju za metodu dubokog
učenja i generisanja što kvalitetnijeg sadržaja.
28
Slika 30 – GAN mreža, slična kao ona kod sistema za manipulaciju scenom ovog puta
ukombinovana sa automatskim enkoderom iz prvog koraka duboke metode (Saiyad M., et
al., 2022)
Kao što se može pretpostaviti, primena ovakvih sistema je više nego pogodna za
VFX industriju. Zbog računarske i matematičke kompleksnosti ovakvih sistema, pomisli
bismo da je ovo metoda koja se primenjuje tek od skoro. Međutim stvar nije takva. Već
prototipove ovakvih sistema, visokobudžetne holivudske produkcije su koristile još 90ih za
vreme velike revolucije u VFX industriji. Na primer, u Oskarom nagrađenom filmu Forrest
Gump (1994), glavni lik koga tumači Tom Henks upoznaje Džona F. Kenedija (koji je ubijen
oko 30 godina pre produkcije tog filma). U tu svrhu, prototipi ovih metoda su korišćeni za
generisanje Džona F. Kenedija na osnovu snimaka glumca koji ga je tumačio. Metode su
bile skromne zbog račuanrske zahtevnosti i trenutnog stanja u tehnologiji, ali su uspele da
prikažu relativno kvalitetan prikaz Džona F. Kenedija koji je razgovarao sa glavnim likom
filma (Saiyad M., et al., 2022).
Ove tehnologije u toku njihovog razvoja, a i danas mogu da se primene najviše na
dva tipa problema u VFX industriji a to su – generisanje velike grupe ljudi velikog diverziteta
u fizičkom izgledu i generisanje ili manipulisanje (uglavnom licima) glumaca koji su
preminuli ili ih je potrebno podmladiti (čemu će biti posvećeno posebno poglavlje) a
neophodni su po scenariju. Najbolji primer ovoga je u tehnologijama vrednim miliona dolara
koje su korišćene u okviru Disney produkcije filma Rogue One: A Star Wars Story (2016),
a potom i Star Wars Episode VIII: The Last Jedi (2017) i Star Wars Episode IX: The Rise
of Skywalker (2019). Najpre u Rogue One filmu, kada su prvi put korišćene ovako moćne
tehnologije, generisani su 3D modeli koji funkcionišu u realnom vremenu pomoću deepfake
tehnologija. Ovo je bilo potrebno da se rekreiraju pre svega lica likova Grand Moff Tarkin-
a i Princeze Leje. u slučaju princeze Leje, bilo je neophodno podmladiti je do uzrasta u
kome je snimala prvi film iz Star Wars franšize, a kod Grand Moff Tarkin-a, bilo je
neophodno generisati ga jer je glumac koji ga je tumačio u originalnom filmu preminuo
29
(primeri generisanja i obrade pomoću deepfake tehnologija su prikazani na slici 31).

Glumica princeze Leje je kasnije takođe preminula, pa su isti postupak primenili i na njoj za
poslednja dva filma u Star Wars franšizi. Ove tehnike su bile revolucionarne, ali evo posle
nešto više od pola decenije nakon prikazivanja ovih filmova, očevidno je da nisu sto
procentno uverljive. To je dokaz, da napretkom tehnologije, ovakvi sistemi će biti
zastupljeniji u budućnosti i biće uverljviji i vreme trajanja ovakvih prikaza biće primenjeno
na gotovo čitave filmove. Takođe će jednostavno moći da se barata sa likovima čiji su
glumci preminuli. Za sad to nije na zavidnom nivou, ali pretpostavlja se da će vremenom
kvalitet imati eksponencijalni rast (Ong, V. 2021).
Slika 31 – Korišćenje deepfake tehnologija za kreiranje i manipulisanje lica likova u filmu

Rogue One: A Star Wars Story (2016), gde su lica glumaca zamenjena licima originalnih
glumaca koji su tumačili uloge, u slučaju princeze Leje, da se pomladi, a u slučaju Grand
Moff Tarkin-a, glumac je preminuo [13]
Primenom već pomenutih autoenkodera u uzorkovanju podataka, moguće je da

kvalitet generativnog dela ove metode napreduje tako da bude mogućnost generisanja
animiranih 3D modela ličnosti koje ne postoje (na slici 32 je prikazan primer generisanih
portreta nepostojećih ličnosti) kako bi se implementirale nove mogućnosti kod likova u
filmovima ukoliko nema glumaca koji zadovoljavaju uslove (Ong, V. 2021).
30
Slika 32 – Generisani portreti ličnosti koje ne postoje primenom deepfake tehnologija sa

autoenkoderom (Ong, V. 2021)
Digitalizacija pokreta (Motion capture)
Thnika za digitalizaciju pokreta se u industriji naziva Motion Capture ili skraćeno

mocap. Ona se svodi na prikupljanju podataka o tačkama objekta koji je u pokretu u
prostoru u nekom vremenskom intervalu, kako bi se od toga kasnije obradom generisao
skup podataka o pokretu koji je moguće uklopiti u neki CGI sadržaj (napraviti animaciju ili
model koji se kreće tim principom) [14]. Postoje dva osnovna tipa akvizicije podataka
pomoću mocap-a. U pitanju su marker-based i markerless motion capture. Kod
digitalizacije zasnovane na markerima, radi se sa obeleživačima na objektu od interesa koji
se potom pri digitalizaciji registruju u prostoru i njihova promena u vremenskom intervalu.
U ovom slučaju je reč o uređenom skupu podataka. Ukoliko se koristi druga metoda, ona
bez obeleživača, dobija se neuređeni skup podataka. Ova druga tehnika je definitvno
kompleksnija i u trenutnom razvoju [15].
Kako se u ovoj sferi može primeniti veštačka inteligencija? Možemo podeliti primenu
na dve osnve kategorije, AI generisanje mocap-a i mocap potpomognut pomoću AI
(Frouzaanfar, A. 2023). Prvi pristup se tiče rada sa organizovanim i neorganizovanim
skupovima podataka. Raditi sa neorganizovanim skupovima je svakako teži postupak, jer
veštačka inteligencija mora sama da generiše pokret bez ulaznih informacija osim samog
snimka objekta koji se kreće. Danas se razvijaju ne samo metode koje digitališu neuređen
skup podataka, već i metode koje su sposobne da dubokim učenjem predvide i simuliraju
sledeći pokret na osnovu scene u kojoj se nalazi objekat (slika 33), kao i da samostalno
generiše ono što korisnik želi (Ong, V. 2021).
31
Slika 33 – Generisanje i predviđanje pokreta na osnovu neorganizovanog skupa

podataka (Ong, V. 2021)
Greške koje mogu da se dese kod akvizicije podataka i generisanja digitalizovanog

pokreta na osnovu realnog u slučaju nekorišćenja obeleživača i rada sa neorganizovanih
skupa podataka su česte. Pojava tzv. Glitch-a u akviziciji predstavlja da se pri akviziciji ne
stopira prikupljanje podataka, ali se prikupi i šum jer se radi sa neuređenim i neobeleženim
podacima u prostoru (slika 33) [16].
Slika 34 – Glitch – sakupljanje i šuma prilikom akvizicije podataka, ne stopira ali narušava
kvalitet akvizicije (Knight, J. et al. 2022)
Još neke tehnike koje su u razvoju su na primer, generisanje digitalizovanog pokreta

na osnovu simulacije fizike nad 3D modelom. Ova pojava je ispitana u radu Physics-based
motion capture imitation with deep reinforcement learning. Metode koje se korsite su
duboko pojačano učenje i projektovana baza digitalizovanih podataka. Duboko pojačano
učenje se odnosi na metodu učenja kontrolisanja artikulisanih humanoidnih 3D tela kako bi
generisali odgovarajući pokret koji je simuliran fizikom. Napretkom kvaliteta grafičkih
procesora, moguće je izvršiti paralelizaciju oba procesa – i simulaciju i digitalizaciju. Neke
od pokretnih šema koje su za sad optimizovane ovom tehnikom su trčanje, hodanje,
plesanje, skakanje, šutiranje, udaranje i sl. na nekom najosnovnijem nivou [17].
32
Slika 35 – Primer simulacije fizike na osnovu koje je generisana digitalizacija pokreta

korišćenjem dubokog pojačanog učenja (Chentanez, N. et al. 2018)
Podmlađivanje i postarivanje
Razvojem novih tehnologija, u holivudskim filmovima sve češće viđamo glumce koji
su podmlađeni i postareni tako da im uzrast odgovara priči filma u kome glume. To se
najčešće može primetiti u franšizama masovnih produkcija gde se glumci koji su nekada
tumačili nekog lika u mlađem uzrastu pojavljuju ponovo da tumače tog lika u istom uzrastu
primenom tehnologija za podmlađivanje. Ovaj vid tehnologija je najčešće baziran na FAP
(Facial Age Progression) sistemima. Ovi sistemi su sistemi dubokog učenja koji predviđaju
ili pretpostavljaju izgled lica osobe u starijem ili mlađem uzrastu od onog uzorkovanog. Kao
i kod drugih sistema dubokog učenja koje smo prošli, ovaj takođe koristi GAN mrežu za
generisanje modela na osnovu uzoraka [18].
Slika 36 – Primer GAN mreže koja generiše promenjeno lice u uzrastu drugačijem od
uzorkovanog ulaza (Grimmer, M. et al. 2021)
33
Ovi sistemi imaju nekoliko kategorija i tehnika kojima je moguće njima upravljati. Tri
osnovne tehnike su Promena lica kroz starosne grupe, Promena lica na specifičan
uzrast i Kontinualna promena lica kroz uzraste (što se koristi uglavnom za time-lapse
tipove videa). Ovakvi alati se mogu korsititi i za individualnu upotrebu i već su uključeni u
mnoge mobilne i web aplikacije gde je od ulazne slike moguće izmeniti automatski izgled
lica tako da ono bude prikazano u drugom uzrastu (na slici 37 su prikazani neki od primera
manipulacije licima kroz ovakav sistem) (Grimmer, M. et al. 2021).
Slika 37 – Četiri primera uzorkovanih ulaznih fotografija manipulisanih kroz FAP sistem
različitim metodama tako da se dobije isto lice u drugom uzrastu (Grimmer, M. et al.
2021)
Ovakvi sistemi su unapređeni sa visokim budžetima ugradnjom u opreme za

snimanje, računarske softvere za postprodukciju i sl. kako bi se podmlađivanje i
postarivanje moglo obavljati u realnom vremenu na licu glumaca. Prve upotrebe tehnologija
kao što su veštačka inteligencija i kompjuterska vizija u svrhu podmlađivanja i postarivanja
34
su korišćene još početkom prve decenije 21. veka, ali je možda najupečatljiviji primer bio u
okviru filma The Curious Case of Benjamin Button (2008) [19].
Primer dijagrama koji obuhvata procese i tehnologije koje su korišćene za VFX u
okviru ovog filma je prikazan na slici 38.
Slika 38 – Dijagram inovativnih tehnologija korišćenih za VFX u okviru filma The Curious
Case of Benjamin Button (2008) [20]
Za potrebe snimanja su koristili Mova Contour Filming sisteme za snimanje kojima

su u kabinama sa preko 60 kamera fotogrametrijski skenirali lice Breda Pita i digitalizovali
ga. Pomoću veštačke inteligencije je kreirana baza podataka lica koja je pomoću sistema
sličnim FAP-u modifikovana tako da odgovara različitim uzrastima (Yaxing, L. 2022).
Kako bi se očuvala uverljivost i proverile greške ukoliko ih je veštačka inteligencija
napravila, Digital Domain koji se bavio VFX-om na ovom filmu na čelu sa Polom
Debevekom, je koristio Light stage 5 kako bi testirao ponašanje generisanih modela iz baze
podataka u različitim svetlosnim uslovima (slika 39) [21].
Debevek je pokazao da IBL (Image Based Lighting) u ovom slučaju može da se
primeni kao tester za greške pri genersianju pomoću AI tehnologija. Tako je moguće rešiti
probleme neuverljivosti i druge probleme vezane za samo generisanje ili poliranje 3D
modela koje je generisao ili obrađivao AI. U slučaju pomenutog filma, rezultati su bili
neprikosnoveni (Failes, I. 2020).
35
Slika 39 – Light stage 5 – Testiranje modela lica Breda Pita koji je generisala veštačka
inteligencija iz baze podataka u različitim svetlosnim uslovima
Kao što je pomenuto kod digitalizacije pokreta, duboko učenje u realnom vremenu
kroz različite sisteme može da da različite rezultate. Kada su u pitanju marker-less pristup
tj. pristup bez obeleživača, najrevolucionarniji i najskuplji pristup je imao VFX tim filma The
Irishman (2019) Martina Skorsezea. Tim je doveo tehniku podmlađivanja i postarivanja na
sasvim nov nivo. Umesto korišćenja fluoroscentnih markera kao što je to bio slučaj kod
Breda Pita, tim Industrial Light Magic je razvio sistem koji bazira pomeraje u realnom
vremenu na osnovu svetlosti. Ovaj sistem se zove Flux. Sistem se sastoji od kamere Three
Headed Monster i sistema dubokog učenja koji obrađuje podatke. ,,Troglavo čudovište” je
sistem od tri kamere gde je jedna glavna kamera a druge dve su infracrvene i snimaju
glumca pod dva različita ugla. Infracrvene kamere su dobre jer vrše akviziciju podataka o
sceni bez senki i standardnog osvetljenja i drže konturu svakog predmeta koji snimaju u
uniformnoj boji. Idealna je za visokokvalitetne stereoskopske akvizicije informacija. Kasnije
se podaci iz glavne i infracrvene kamere šalju u Flux sistem (slika 40). Pored ovog sistema,
koristi se Medusa sistem. To je sistem u vidu biblioteke modela lica glumca prethodno
uslikanim u određenim svetlosnim uslovima i digitalizovanim. Iz biblioteke se odgovarajući
podaci uvezuju sa podacima iz kamere i šalju u sistem. Face finder prestavlja sistem koji
je treniran dve godine da prepoznaje hiljade i hiljade različitih lica koje dobije.
36
Flux sistem šalje dobijene informacije o modelu na kalibraciju gde uz pomoću face finder-
a (vrste diskriminatora) proverava da li je model u redu. Kao i kod drugih dubokih sistema,
ukoliko diskriminator kaže da model nije odgovarajuć, šalje se negativan rezultat i sistem
ponovo mora da generiše (ili obradi) podatke i pošalje bolji model. Konačno, kada je model
odgovarajuć, on se prosleđuje u izlaz. Najveća prednost ovog sistema je što je glumcima
lakše da budu koncentrisaniji i opušteniji bez ikakvih dodataka, premaza i opreme na licu
ili telu kako bi lakše odglumili scenu a da sistem proprati promene u realnom vremenu i da
kvalitetan rezultat. Naravno, uz veliku prednost, dolaze i velike mane, a to su astronomska
cena i hardverska zahtevnost, kao i rekordno dugo vreme za treniranje algoritma od skoro
2 godine (Yaxing, L. 2022).
Slika 40 – Flux sistem za podmlađivanje i postarivanje glumaca
Najbolji primer u filmu su Robert Deniro i Džo Peši (na slici 41) kod kojih je sistem
imao najveću i najkvalitetniju primenu.
Slika 41 – Džo Peši pre (levo) i posle (desno) obrade u Flux sistemu [22]
37
Podmlađivanje i postarivanje je moguće ukombinovati sa fizičkim promenama

karaktera u realnom vremenu primenom dubokog učenja. Tako na primer u filmu Central
Intelligence (2016), glumac Dwayne The Rock Johnson, poznat po svojoj maskularnoj građi
je propušten kroz sistem dubokog učenja kako bi podmladio njegov karakter ali ujedno i
obradio tako da bude gojazan (slika 42). Ova vrsta transformacije je potpomognuta čak i
sa praktičnim efektima, kao što su kostim i šminka kako bi potpomogla uverljivosti i ispravila
moguće greške sistema dubokog učenja [23].
Slika 42 – Dvejn Džonson u kostimu i šminci dodatno podmlađen i potgojen sa sistemom

dubokog učenja (Holliday, C. 2021-2022)
Najnoviji primer korišćenja AI u svrhu podmlađivanja i postarivanja glumca je u filmu

Indiana Jones and the Dial of Destiny (2023) gde je glumac Harison Ford potmlađen za
scene iz Drugog svetskog rata. Iako je u nekim slučajevima rezultat koriščenja AI za
potmlađivanje kada su scene kratke bio loš (Star Wars), u ovom slučaju, za poprilično dugu
i dinamičnu scenu kojom se otvara film, sistemi su uradili fenomenalni rezultat. Tim ILM
(Industrial Light Magic) koji je kreirao i Flux sistem je prevazišao svoje tehnike kod The
Irishman-a i doveo mašinsko učenje za ove potrebe na još veći nivo. Dve ključne stvari su
učinile rezultat ove obrade odličnim. Prva – učenje optimizovano tako da ne bude
besomučno dugačko i konačni rezultat nije kompletno koristio AI već je i delom koristio
ručno generisan CGI materijal. Ovime je data sloboda umetnicima da sami manipulišu
onime što smatraju da AI nije dobro uradio. Pokazalo se odlično jer su mnogi delovi uvodne
scene izuzetno akcioni i dinamični i bilo je potrebno uskladiti pokrete glave Harisona Forda
tako da mu lice ,,ne iskoči” sa glave dok su u trenutku brzi pokreti tela [24]. Na slici 43 je
prikazan rezultat izgleda Harisona Forda nakon obrade i podmlađivanja.
Slika 43 – Harison Ford podmlađen kombinacijom mašinskog učenja i ručnog CGI-a

(Desowitz, B. 2023)
38
Promene u koloru i stilu na osnovu narativa
U novijem razvoju AI tehnologija, dolazi do potrebe za primenom u stilizovanju i

prolepšavanju vizuelnog identiteta filmova. To se takođe odnosi na deo VFX toka koji
predstavlja stilizaciju, kolor korekciju i ostale elemente postprodukcije. Veštačka
inteligencija se sada usavršava da razume želje publike u novijim animacijama i filmskim
ostvarenjima. Alati se razvijaju do nivoa da je moguće koristiti vizuelne promene na osnovu
treniranja algoritma da semantički i psihološki razume narativ priče dela koji obrađuje. Ovo
može da doprinese boljoj kolor korekciji, boljoj vizuelnoj stilizaciji sadržaja. Ovo može
pomoći i u marketinškom smislu. Treniranjem AI-a da razume emocije publike (što na prvi
pogled jeste veoma komplikovano), moguće je da se poboljša originalnost sadržaja, ne
samo promenom scenarija, već i obradom vizuelnog identiteta ovakvog sadržaja. Stilizacija
može da se odnosi i na CGI deo VFX toka, gde na osnovu analize scenarija i estetičke želje
publike, sadržaj može da se obradi tako da se narativno uklapa sa scenarijem po svim
vizuelnim parametrima, kao i da se napravi adekvatnim u odnosu na to šta publika estetski
išti [25].
Jedna od tehnika koje su se razvile za potrebe kolor korekcije i stilizacije primenom
veštačke inteligencije je npr. Neural Style Transfer. Ova tehnika je zasnovana na
konvolucionim neuralnim mrežama gde se na osnovu ulazne teksture (slike) vrši transfer
podataka kroz mrežu i stilizacija sadržaja u stilu ulazne slike. Ovaj algoritam je predstavljen
2015. godine i primer njegovog funkcionisanja je prikazan na slici 44. Tu se može videti
kako je na ulaznoj slici primenom ulazne teksture (slike Zvezdana noć Van Goga) dobijena
stilizovana slika (slično automatskoj manipulaciji scenom i nekih od tehnika ranije
prikazanih) [26].
Slika 44 – Primer neuralnog transfera stila sa ulazne teksture (slike) na ulaznu sliku kako
bi se dobila stilizovana slika: slika bašte stilizovana kao Zvezdana noć Van Goga (Antelo,
A. et al. 2019)
39
Dobar primer korišćena ove tehnike u filmskoj industriji, kada je 2017. rediteljka filma
Come Swim, Kristen Stuart učestvovala u pisanju naučnog rada koji se bavio alatom za
baš ovaj neuralni transfer stila. Alat je razvijen za potrebe stilizacije istog filma i Kristen je
sa timom inženjera uspela da razvije alat koji ima prost način upotrebe (Antelo, A. et al.
2019). Naime, koristi se samo jedan parametar (u), koji predstavlja koeficijent
transferovanog stila. Njegovim povećanjem, povećava se i stilizacija prilikom transfera [27].
Primer frejma iz pomenutog filma u kome je prikazan transfer neuralnog stila sa različitim
vrednostima parametra u je prikazan na slici 45.
Slika 45 – Frejm iz filma Come Swim (2017), rediteljke Kristen Stuart koja je učestvovala
u pisanju naučnog rada i razvoja alata za neuralni transfer stila gde se može videti
menjanje parametra koeficijenta transferovanog stila (u) i vizuelni rezultati (Norén, A.
2017)
Ostale tehnike
Pošto smo prošli većinu tehnika koje se mogu smestiti u određene grupacije i
tematike koje se protežu kroz VFX tok. Ostalo je da pređemo još par tehnika koje se ne
mogu konkretno sortirati u neki od prethodno navedenih tematika, ali su svakako deo CGI-
a ili kombinacija sa hardverom (UAV tehnika), a tiču se vizuelnih efekata i veštačke
inteligencije.
Super-rezolucija (VSR – Vide Super-Resoultion) je tehnologija koja je trenutno u
razvoju. Tiče se korišćenja prethodno već pomenutih GAN mreža koje u realnom vremenu
predviđaju i renderuju koherentne detalje na slikama niske rezolucije u okviru video signala.
Primena ove tehnike u VFX tehnologijama može da rekonstruiše bilo koji deo snimka koji
se oštetio u toku snimanju filma ili prolaska live action dela kroz VFX deo (Ong, V. 2021).
40
Nažalost ova tehnika i dalje nije u potpunosti razvijena i njeni prototipovi za sad
koriste sisteme kompjuterske supervizije da rekonstruišu koherentne detalje na samo
jednoj statičnoj slici u jednom trenutku (Ong, V. 2021). Primer testa ovakvog sistema na
statičnim slikama je prikazan na slici 46.
Slika 46 – Principi GAN mreža i kompjuterske supervizije za koherentnu rekonstrukciju

piksela niskorezolucionih slika (Ong, V. 2021)
Još jedan vid manipulacije slikom koji se kombinuje sa CGI-jem je Portrait Shadow
Manipulation sistem (slika . Ovaj sistem omogućava primenu dubokog učenja u otklanjanju
senki na slici. Ovo se odnosi na senke napravljene različitim objektima, kao i na sopstvene
senke objekata. Ovo je pogodno, jer nekad zbog lošeg osvetljenja prilikom akvizicije snimka
dolazi do kreiranja CGI zamene različitih objekata ili ljudi. Ovom metodom, moguće je
odstraniti taj nepotrebni deo posla i prosto srediti senke u postprodukciji. Nažalost, i ovaj
kao i prethodno navedeni sistem može u trenutnom stanju razvoja da radi samo sa
statičnim slikama (Ong, V. 2021).
Slika 47- Portrait Shadow Manipulations sistem za uklanjanje senki na slici i obradu svetla
(Ong, V. 2021)
41
Razvoj alata je počeo dosta da se primenjuje i na predprodukcionu fazu. Ovo se

pogotovo odnosi na hardverske napretke koje u kombinaciji sa AI-em mogu da daju odlične
obrade u realnom vremenu čak i tokom snimanja. Tako na primer, razvojem AI tehnologija
u okviru LED (Light Emitting Diode) prikaza, omogućeno je pretproračunavanje svetla i 3D
okruženja u toku snimanja filma gde režiser može da vidi predviđanje kako će sinteza 3D i
realnog sadržaja biti uklopljenja sa kompletnim osvetljenjem u realnom vremenu (Ong, V.
2021).
Još jedan primer primene AI sistema na hardverske tehnologije je UAVs (Unmanned
Aerial Vehicle). Ovo predstavlja tehniku u kojoj automatski dronovi sa kompletnim kamera
sistemima (slika 48) budu pušteni da snimaju nekada kratke sekvence, a nekada i
kompletne kratkometražne filmove. Po čemu su još specifični, je činjenica da noviji razvoji
pokazuju da postoje ugrađeni AI sistemi koji rade estetske i stilske obrade sadržaja. U
okviru njih postoje i sistemi koji u realnom vremenu korisniku koji ima ekran sa prikazom
pogleda kamere generišu odnos 3D sadržaja koji će kasnije biti kreiran i realnog sadržaja
koji se trenutno snima [28].
Slika 48 – Primer UAV drona sa ugrađenom kamerom koji koristi AI sisteme u realnom
vremenu [29]
Još neki od sistema koji su poboljšani su tracking sistemi, gde je na primer

revolucionarni sistem za real-time face tracking (slika 49) razvijen za potrebe filma
Avengers: Infinity War (2018). Ovaj sistem koristi mašinsko učenje u serijama u okviru
kamere koja prati lice glumca Džoša Brolina i radi mapiranje 3D i realnog lica, treking
pokreta kako bi se 3D glava realnije kretala i uklapa sa njegovim ekspresijama. Za ove
potrebe je razvijen alat Masquerade koji je dodao desetine hiljada dodatnih podataka
vezanih za oblak tačaka dobijen registrovanjem Brolinovog lica u realnom vremenu. Za
referetnu biblioteku lica korišćena je Medusa sistem (kao i kod filma The Irishman (2019)
kasnije) (Frohlick, A. 2020).
42
Slika 49 – Real-time face tracking uz pomoć mašinskog učenja nad likom Thanos-a iz
filma Avengers: Infinity War (2018) [30]
Zaključak
Na kraju, posle velikog broja primena i konkretnih tehnika, vidi se da nisu sve tehnike
istog nivoa kompleksnosti, iste mogućnosti za primenu i iste dostupnosti. Neke čak nisu ni
u potpunosti razvijene. Mnoge tehnike variraju od individualne upotrebe pa sve do
masovnih produkcija. Za sada, kako stoje stvari, nije na isti način svaka tehnika zastupljena,
prihvaćena ali i korektna u industriji. I dalje skoro u svakom slučaju postoji prostor za
optimizaciju, olakšavanje kontrole, tačnosti i poboljšanje pristupačnosti (Ong, V. 2021).
Takođe, iako se cilja na visok kvalitet, većina rezultujućih kvaliteta ovih tehnika je upitna.
Naravno u zavisnosti od toga da li je namena za individualnu upotrebu, zabavu ili za
masovnu produkciju i proizvodnju. Pošto govorimo o industriji vizuelnih efekata, koja se
odnosi uglavnom na masovne produkcije, činjenica je da tačnost i kvalitet većine ovih
algoritama nije najsjajnija i ne daje najbolje rezultate. Naravno, manji deo njih se pokazao
izuzetnim, ali to su uglavnom za potrebe holivudskih produkcija koje su za to uložile milione
dolara i od toga razvile gotove proizvode ili bar odlične prototipove.
Vratimo se na hipotezu na početku. Da li će zapravo veštačka inteligencija da
zameni čoveka i koliki je njen uticaj na ovu industriju? Kroz temeljna istraživanja i desetine
algoritama, pa čak i još njih za koje nije bilo mesta u ovom radu, dolazim do zaključka da
je uticaj ovih tehnologija na ovu industriju izuzetno obiman. Kako napreduje razvoj i
hardvera i softvera, tehnologije se sve lakše čine pristupačnijim individualnim korisnicima,
a njihov kvalitet će tek rasti s vremenom, pogotovo za masovne produkcije. Već sada je u
filmskoj industriji toliko primera korišćenja mašinskog i dubokog učenja, ali ključna stvar
ovih primena je u olakšavanju i ubrzavanju postupaka određenih delova VFX toka. Kako
stvari stoje, ove tehnologije verovatno neće moći da zamene čoveka jer su zasnovane na
43
ulaznim podacima, odnosno uvek će biti neophodno da čovek iz struke zna šta želi kao
ulazne i izlazne podatke. Uvek će postojati prostor za napredak, tako da će uvek biti
moguće i dodatne ručne dorade. Setimo se primer podmlađivanja Harisona Forda gde je
korišćena polu-ručna CGI, a polovinom obrada lica uz pomoć dubokog učenja. AI će biti
odličan alat za ubrzavanje procesa koji su ili višak, ili oduzimaju veliki broj vremena za
obradu. Velika raznovrsnost sistema će takođe u daljem razvoju doprineti različitim
mogućnostima i velikoj autentičnosti (obradili smo tehnike koje variraju od segmentacije u
realnom vremenu, rekonstrukcije piksela, pa sve do generisanja lica glumaca koji su
preminuli).
Pored velikih prednosti, ove tehnike uz sebe nose dosta mana. Kao što smo primetili
kod dosta opisanih tehnika, cena je definitivno jedan od ključnih faktora koji utiču na dalji
razvoj. Razvoj alata, ali i njihovo korišćenje je izuzetno skupo i ukoliko se radi o nekom
kompleksnijem alatu, pogotovo za sisteme kao što je duboko učenje, onda je primena i
dalje samo na nivou višemilionskih produkcija koje mogu da obezbede sredstva za razvoj
i treniranje algoritama. Što nas dovodi do još jednog faktora, a to je treniranje. Videli smo
da je kod Flux sistema na primer, snimanje lica diskretno, što znači da se za svako lice
mora trenirati algoritam i kreirati biblioteka 3D podataka. Samo treniranje je trajalo oko dve
godine što pokazuje da mnoge od ovih tehnika zahtevaju izuzetno dug vremenski period
za treniranje algoritama. Konačno, bar u početnim fazama primene ovih alogritama u
poslednje dve decenije, postoji dosta primera gde čak i na nivou masovnih produkcija može
doći do lošijeg rezultata i očevidno lošeg kvaliteta primene AI tehnologija (najbolji primer:
princeza Leja u filmu Star Wars Episode IX: The Rise of Skywalker (2019).
Koliko su promene primetne i koliko će dalje uticati u ovoj industriji, važno je i to kako
će gledaoci i javnost to da prihvati. Istraživanje (Singh, H. et al.) javnog mnjenja sprovedeno
od strane Čandigar i Pundžab univerziteta u Indiji je pokazalo kako javnost u tom trenutku
vidi stanje AI u VFX industriji [31].
Postavljeno je 6 pitanja:
A. Da li se slažete da je korišćenje AI-a u VFX i filskoj industriji rezultovalo u porastu

kvaliteta filmova?
B. Da li se slažete da je korišćenje AI-a poboljšalo kvalitet samih vizuelnih efekata

u filmovima?
C. Da li se slažete da je AI budućnost VFX industrije?
D. Koje od sledećih tehnika biste voleli da vidite u filmovima: Tehnike sa kamerama,

upotreba minijatura, VFX, VFX+AI?
E. Da li se slažete da AI i VFX imaju mogućnost da promene osećanje posmatrača

prema filmu?
F. Da li se slažete da su AI i VFX bitniji od priče u filmu?
44
Rezultati ankete u okviru istraživanja koje su sproveli (Singh, H. et al.) su prikazani

na grafikonima na slici 50. Može se videti da se većina ljudi slaže da AI de fakto ima veliki
uticaj na VFX industriju i da je budučnost iste. Takođe je publika pokazala da je trenutno
stanje industrije žela za vizuelnim spektaklom koje omogućavaju inovativne tehnologije.
Raspored odgovora na poslednje pitanje takođe dokazuje da je filmska industrija u tom
stanju da želi više vizuelnog nego naratvnog. Može se diskutovati o tome koliko je to dobro,
ali svakako šalje optimistične poruke za budućnost razvoja AI alata.
Slika 50 – Statistički rezultati ankete javnog mnjenja
Konačno, AI kao alat ima različita prihvatanja kod javnosti. Mnogi misle da je dobra
inovacija, mnogi da nije. Iako je sigurno da neće moći da zameni kompletan VFX tok, de
fakto će ubrzati mnoge procese i zameniti neke manje, a vremenski zahtevne poslove. Ono
što je takođe sigurno, je da ćemo videti još mnoge nove alate koje će imati široku primenu
u ovoj industriji, kao i optimizaciju već postojećih i završetak nedovršenih alata koje smo
takođe pominjali.
AI je prošlost, sadašnjost i sigurno budućnost filmske industrije. Iako je njegova
primena velika i u drugim delovima filmske produkcije, sigurno je da je njegova primena
najraznovrsnija u VFX industriji, ali takođe tu ima najveći prostor za napredak i najveći uticaj
i podsticanje promena.
45
Reference
[1] Das, S. (2023). THE EVOLUTION OF VISUAL EFFECTS IN CINEMA: A JOURNEY

FROM PRACTICAL EFFECTS TO CGI.
[2] Ong, V. (2021). Artificial intelligence in digital visual effects
[3] Chabanova, A. (2022) VFX – A new frontier: The impact of innovative technologies on
visual effects, WestminsterResearch, University of Westminster
[4] Dinur, E. (2017). The Filmmaker's Guide to Visual Effects: The Art and Technique of
VFX for Directors, Producers, Editors and Cinematographers. London: Routledge
[5] Okun, J. Rafferty, K. Squires, S. and Zwerman, S. (2015). The VES handbook of
visual effects: industry standard VFX practices and procedures. Second edition
[6] Yunpeng, L. (2021). Film and TV Animation Production Based on Artificial Intelligence
AlphaGd, School of Theater Film and Television, Communication University of China,
Beijing
[7] Failes, I. (2019). The New Artificial Intelligence Frontier of VFX, dostupno na:
https://www.vfxvoice.com/the-new-artificial-intelligence-frontier-of-vfx/,
pristuplejno 16.12.2023.
[8] The Art of Roto: 2011. Mike Seymour. Dostupno na:

https://www.fxguide.com/fxfeatured/the-art-of-roto-2011/ , pristupljeno 16.12.2023.
[9] KOGNAT: Deep Learning Tools for Visual Effects. 2020. Rotobot.
Dostupno na: https://kognat.com/higher-resolution-masks-demo/ , pristupljeno 17.12.2023.
[10] Bau, D. Strobelt, H. Peebles, W. Zhou, B. Zhu, J. Y., & Torralba, A. (2020). Semantic
photo manipulation with a generative image prior. arXiv preprint
[11] Karacan, L. Akata, Z. Erdem, A. Erdem, E. (2019). Manipulating Attributes of Natural

Scenes via Hallucination, Hacettepe University and Iskenderun Technical University,
Turkey
46
[12] Saiyad, M. Akram, H. Vivek, D. (2022), Deepfakes Technology Using Artificial

Intelligence, International Journal of Innovative Research in Computer Science &
Technology ,(IJIRCST) ISSN: 2347-5552, Volume-10, Issue-2
[13] Burwick, K. (2020), Rogue One Deepfake Improves Princess Leia & Grand Moff Tarkin
Scenes
Dostupno na: https://movieweb.com/rogue-one-deepfake-princess-leia-grand-moff-tarkin/,
pristupljeno 24.12.2023.
[14] Frouzaanfar A., (2023), Is Mocap Next? The Rise of AI Motion Capture
Dostupno na: https://picotion.com/blog/ai-motion-capture-intro/ , pristupljeno 24.12.2023.
[15] Isek,i C. Hayasaka, T. Yanagawa, H. Komoriya, Y. Kondo, T. Hoshi, M. Fukami, T.

Kobayashi, Y. Ueda, S. Kawamae, K. Ishikawa, M. Yamada, S. Aoyagi, Y. Ohta, Y. (2023),
Artificial Intelligence Distinguishes Pathological Gait: The Analysis of Markerless Motion
Capture Gait Data Acquired by an iOS Application, (TDPT-GT). Sensors 2023, 23, 6217.
[16] Knight, J. Johnston, A. Berry, A. (2022), Artistic control over the glitch in AI-generated
motion capture, The 1st International Workshop on Explainable AI for the Arts
[17] Chentanez, N, Müller, M. Macklin, M. Makoviychuk, V. Jeschke, S. (2018), Physics-

based motion capture imitation with deep reinforcement learning, MIG '18: Proceedings of
the 11th ACM SIGGRAPH Conference on Motion, Interaction and Games, Pages 1–10
[18] Grimmer, M. Ramachandra, R. Busch, C. (2021), Deep Face Age Progression: A

Survey, DOI 10.1109/ACCESS.2021.3085835, IEEE Access
[19] Yaxing, L. (2022), Research on the Application of Artificial Intelligence in the Film
Industry, SHS Web of Conferences 144, 03002
[20] Enstice, T. (2009), The Curious Case of Benjamin Button, SIGGRAPH '09: ACM
SIGGRAPH 2009 Computer Animation Festival, Pages 36-37
[21] Failes, I. (2016), Paul Debevec: A Name You Absolutely Need to Know in CG, VFX,
Animation, and VR, Dostupno na: https://www.cartoonbrew.com/interviews/paul-debevec-
name-absolutely-need-know-cg-vfx-animation-vr-145389.html , pristupljeno 4.1.2024.
47
[22] Lee, C. (2020), ‘We Were All Very Nervous’: How The Irishman’s Special Effects Team
Got the Job Done, The Gold Rush, Vulture, Dostupno na:
https://www.vulture.com/2020/01/how-the-irishman-used-cgi-and-special-effects-on-
actors.html , pristupljeno 4.1.2024.
[23] Holliday, C. (2021-2022), “Retroframing the Future: Digital De-aging Technologies in

Contemporary Hollywood Cinema,” JCMS 61, no. 5: 210-237
[24] Desowitz, B. (2023), No, De-Aged Harrison Ford Wasn’t All A.I. in ‘Indiana Jones and
the Dial of Destiny’, Dostupno na: https://www.indiewire.com/features/craft/indiana-jones-
dial-of-destiny-de-aged-harrison-ford-ai-1234880349/ , pristupljeno 4.1.2024.
[25] Jingyu, L. (2022). Research on the Application of Computer Artificial Intelligence

Technology in the Production of Film Digital Media Animation, Highlights in Science,
Engineering and Technology ICCIA 2022, Volume 1
[26] Antelo, A. Hoyle, E. (2019). How Artificial Intelligence impactT the programs
broadcast by Globo TV: Case studies, SET INTERNATIONAL JOURNAL OF BROADCAST
ENGINEERING. ISSN Print: 2446-9246 ISSN Online: 2446-9432.
[27] Norén, A. (2017) Come Swim: The Project, article,

Dostupno na: https://bhautik.org/come-swim/, pristupljeno 13.1.2024.
[28] Frohlick, A. (2020). Artificial Intelligence and Contemporary Film Production: A

Preliminary Survey, Goldsmiths, University of London
[29] Gallagher, K. (2016). Drones for Best Supporting Role in Film & TV Production,
Dostupno na: https://www.simulyze.com/blog/drones-for-best-supporting-role-in-film-tv-
production, pristupljeno 13.1.2024.
[30] Idelson, K. (2019). Machine Learning Saves ‘Avengers’ VFX Artists Time, Dostupno
na: https://variety.com/2019/film/awards/machine-learning-saves-avengers-vfx-artists-
time-1203140163/, pristupljeno 13.1.2024.
[31] Singh, H. Rastogi, A. Kaur, K. (2022). Artificial intelligence as a tool in the visual effects
and film industry, Recent Advances in Computing Sciences: Proceedings of RACS 2022,
page 15
48

AI40 2020 Zlatan Hasanović Teorijski Rad

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

AI40 2020 Zlatan Hasanović Teorijski Rad

Uploaded by

Copyright:

Available Formats

UNIVERZITET U NOVOM SADU

FAKULTET TEHNIČKIH NAUKA

Katedra za animaciju u inženjerstvu

Novi Sad, 2024.

Slika 2 – Klasičan dijagram procesa u VFX produkciji – predprodukcija, produkcija i

Šta najvažniji od ovih procesa predstavljaju, proći ćemo ukratko u nastavku:

Istraživanje i razvoj – prisutno kao početna faza u oba dijagrama, predstavlja

Takođe, razvojem novih tehnologija, pogotovo tehnika renderovanja u realnom vremenu i

Rotoskopiranje (skraćeno roto) – predstavlja tehniku za identifikovanje elemenata

Veštačka inteligencija i njena primena u VFX toku

• Jaka veštačka inteligencija – onaj vid inteligencije koji je utreniran tako da

Slika 4 – Šematski prikaz kako inovativne tehnologije utiču na određene delove

Prva faza (slika 5) uključuje pojavu deepfake tehnologija koje bi pomogle

Slika 6 – Druga faza implementacije AI sistema u VFX toku (Ong V.,2021)

Druga faza (slika 6) već predstavlja ozbiljnije prisustvo AI sistema, pogotovo u

Kako različiti autori gledaju na stvari, iz različitih izvora se može zaključiti da su

modelovanje i previzuelizacija gde se radi o generativnom tipu poslova. Pošto se radi o

Slika 9 – automatska selekcija i numerička enumeracija elemenata na jednom frejmu

Slika 10 – Primer korišćenja OpenCV biblioteke za individualnu upotrebu korisnika za

Slika 11 – upotreba metode stereo konverzije za detekciju i segmentaciju na primeru u

Još jedna metoda za automatsko rotoskopiranje odnosno segmentaciju koja je

Slika 12 – Primer segmentacije (rotoskopije) korišćenjem Rotobot sistema gde se

Automatska manipulacija scenom

Pod automatskom manipulacijom scenom se podrazumeva potreba za korišćenje

Neke konretne tehnike koje su u razvoju su mašinsko učenje za razumevanje slika

Slika 13 – Alat za semantičku manipulaciju slikom baziran na mašinskom učenju

Još jedna od tehnika za automatsku manipulaciju bi bila generativna tehnika za

Slika 14 – Visoko kvalitetna vremenska translacija slike bez ulaznih parametara

Faza treniranja uključuje prikupljanje i formiranje skupa podataka. To uključuje više

Slika 16 – sistem za manipulaciju obeležjima u fazi testiranja (generisanja scene)

U sam proces generisanja scene se uključuje i pomenuti GAN (Generative

gde je x slika prirode koja je kreirana na osnovu realne raspodele podataka ,

Slika 17 – Uticaj nasumičnog vektora šuma na stohastičku varijaciju u sintetičkoj slici

Takođe, parametrizacijom je omogućeno da korisnik utiče na detalje direktnom

Slika 20 – Mogućnost manipulacije podacima povećavanjem vrednosti parametara za

Još jedan vid manipulacije elementima je korišćenje alata za dodavanje i oduzimanje

Slika 21 – Mogućnost za promenu sadržaja scene brisanjem, dodavanjem ili menjanjem

Slika 23 – Manipulacija različitih prelaznih obeležja i rezultati generisanja (Karacan, L. et

Na slici 24 je prikazan rezultat eksperimenta menjanjem jačine intenziteta prolaznih

Slika 24 – Povećavanje vrednosti prolaznih obeležja i sagledavanje rezultata koji se

Za kraj, primena različitih alata u automatskoj manipulaciji scena može biti i u

elementi se brišu sa scene i ostaje samo neoštećena pozadina. Primer scena sa

Primena dubokog učenja (Deepfakes)

Deepfakes su generativne tehnologije zasnovane na dubokom učenju i dubokim

Slika 28 – Kombinacija slike realne i slike nepostojeće osobe generisane dubokim

Druga faza je formiranje skupa podataka od ovih generisanih slika i njihova

(primeri generisanja i obrade pomoću deepfake tehnologija su prikazani na slici 31).

Slika 31 – Korišćenje deepfake tehnologija za kreiranje i manipulisanje lica likova u filmu

Primenom već pomenutih autoenkodera u uzorkovanju podataka, moguće je da

Slika 32 – Generisani portreti ličnosti koje ne postoje primenom deepfake tehnologija sa

Digitalizacija pokreta (Motion capture)

Thnika za digitalizaciju pokreta se u industriji naziva Motion Capture ili skraćeno

Slika 33 – Generisanje i predviđanje pokreta na osnovu neorganizovanog skupa

Greške koje mogu da se dese kod akvizicije podataka i generisanja digitalizovanog

Još neke tehnike koje su u razvoju su na primer, generisanje digitalizovanog pokreta

Slika 35 – Primer simulacije fizike na osnovu koje je generisana digitalizacija pokreta

Ovakvi sistemi su unapređeni sa visokim budžetima ugradnjom u opreme za

Za potrebe snimanja su koristili Mova Contour Filming sisteme za snimanje kojima

Slika 40 – Flux sistem za podmlađivanje i postarivanje glumaca

Podmlađivanje i postarivanje je moguće ukombinovati sa fizičkim promenama

Slika 42 – Dvejn Džonson u kostimu i šminci dodatno podmlađen i potgojen sa sistemom

Najnoviji primer korišćenja AI u svrhu podmlađivanja i postarivanja glumca je u filmu

Slika 43 – Harison Ford podmlađen kombinacijom mašinskog učenja i ručnog CGI-a

Promene u koloru i stilu na osnovu narativa