SVEUČILIŠTE JOSIPA JURJA STROSSMAYERA U OSIJEKU

FAKULTET ELEKTROTEHNIKE, RAČUNARSTVA I

INFORMACIJSKIH TEHNOLOGIJA OSIJEK

Sveučilišni studij

OBJEKTIVNA MJERA KVALITETE VIDEA

ZASNOVANA NA DETEKTIRANIM ARTEFAKTIMA U
VIDEU

Diplomski rad

Viliams Bajčinovci

Osijek, 2017.
Obrazac D1: Obrazac za imenovanje Povjerenstva za obranu diplomskog rada
Osijek, 22.09.2017.
Imenovanje Povjerenstva za obranu diplomskog rada
Ime i prezime studenta:
Studij, smjer:
Mat. br. studenta, godina upisa:
OIB studenta:
Mentor:
Sumentor:
Sumentor iz tvrtke:
Predsjednik Povjerenstva:
Član Povjerenstva:
Naslov diplomskog rada:
Znanstvena grana rada:
Zadatak diplomskog rada:
Prijedlog ocjene pismenog dijela
ispita (diplomskog rada):
Kratko obrazloženje ocjene prema
Kriterijima za ocjenjivanje završnih i
diplomskih radova:
Datum prijedloga ocjene mentora:
Potpis mentora za predaju konačne verzije rada
u Studentsku službu pri završetku studija:
Odboru za završne i diplomske ispite
Viliams Bajčinovci
Diplomski sveučilišni studij Elektrotehnika, smjer Komunikacije i
informatika'
D 990, 12.10.2015.
66620907238
Doc.dr.sc. Mario Vranješ
Danijel Babić
Prof.dr.sc. Snježana Rimac-Drlje
Dr.sc. Denis Vranješ
Objektivna mjera kvalitete videa zasnovana na detektiranim artefaktima
u videu
Telekomunikacije i informatika (zn. polje
elektrotehnika)
Ocjenu kvalitete videa moguće je dobiti subjektivnim metodama
(koristeći ljudske promatrače) i objektivnim metodama (koristeći
računalne algoritme). U radu je potrebno kombiniranjem rezultata više
različitih algoritama za detekciju artefakata u video sadržaju predložiti
objektivnu mjeru za ocjenu kvalitete video sadržaja. Kod projektiranja
mjere treba uzeti u obzir što širi opseg parametara videa, kao što su
dinamika sadržaja, rezolucija videa, norma kompresije, položaj
područja u kojima se artefakti pojavljuju i slično. Potrebno je ispitati
korelaciju rezultata koje projektirana mjera daje s rezultatima
subjektivnih testova procjene kvalitete videa na odgovarajućem uzorku
ocjenjivača. (sumentor Danijel Babić, Institut RT-RK Osijek, Cara
Hadrijana 10b)
Izvrstan (5)
Primjena znanja stečenih na fakultetu: 3 bod/boda
Postignuti rezultati u odnosu na složenost zadatka: 3 bod/boda
Jasnoća pismenog izražavanja: 3 bod/boda
Razina samostalnosti: 3 razina
22.09.2017.
Potpis:
Datum:
IZJAVA O ORIGINALNOSTI RADA
Osijek, 26.09.2017.

Ime i prezime studenta: Viliams Bajčinovci

Diplomski sveučilišni studij Elektrotehnika, smjer Komunikacije i

Studij:
informatika'
Mat. br. studenta, godina upisa: D 990, 12.10.2015.

Ephorus podudaranje [%]: 1

Ovom izjavom izjavljujem da je rad pod nazivom: Objektivna mjera kvalitete videa zasnovana na detektiranim
artefaktima u videu

izrađen pod vodstvom mentora Doc.dr.sc. Mario Vranješ

i sumentora

moj vlastiti rad i prema mom najboljem znanju ne sadrži prethodno objavljene ili neobjavljene pisane materijale
drugih osoba, osim onih koji su izričito priznati navođenjem literature i drugih izvora informacija.
Izjavljujem da je intelektualni sadržaj navedenog rada proizvod mog vlastitog rada, osim u onom dijelu za koji mi
je bila potrebna pomoć mentora, sumentora i drugih osoba, a što je izričito navedeno u radu.

Potpis studenta:
SADRŽAJ
1. UVOD ..................................................................................................................................... 1

2. BAZE VIDEO SEKVENCI S OCJENAMA KVALITETE VIDEA...................................... 2

2.1. Postojeće baze video sekvenci s ocjenama video kvalitete .................................................. 2

2.1.1. Video Quality Experts Group video baze korištene za FRTV Phase I i FRTV Phase II
................................................................................................................................................. 2

2.1.2. Laboratory for Image and Video Engineering video baza ........................................... 2

2.1.3. Laboratory for Image and Video Engineering Mobile video baza ................................ 3

2.1.4. ETFOS CIF Video Quality database i ETFOS VGA Video Quality database ............ 3

2.1.5. Computational and Subjective Image Quality video baza ............................................ 3

2.1.6. Ecole Polytechnique Fédérale de Lausanne - Politecnico di Milano video baza .......... 4

2.2. Novo-stvorene FERIT-RTRK i FERIT-RTRK-2 video baze............................................... 4

2.2.1. FERIT-RTRK video baza.............................................................................................. 6

2.2.2. FERIT-RTRK-2 video baza ........................................................................................ 11

3. POSTOJEĆE METRIKE ZA OCJENU KVALITETE VIDEA BEZ MOGUĆNOSTI

PRISTUPA INFORMACIJAMA O REFERENTNOJ SEKVENCI ............................................ 15

3.1. Video BLIINDS .................................................................................................................. 15

3.2. Metrika za procjenu kvalitete videa zasnovana na mjerenju artefakata u videu i statističkoj
analizi bez pristupa informacijama o referentnoj video sekvenci ............................................. 15

3.3. Metrika za procjenu kvalitete videa bez pristupa informacijama o referentnoj video
sekvenci pomoću 3D shearlet transformacije i konvolucijskih neuronskih mreža ................... 16

3.4. Modeli uočljive nelagode pri gledanju video sekvenci s kombinacijama prostornih i
vremenskih video artefakata ...................................................................................................... 17

3.5. Prostorno-vremenska statistika za procjenu kvalitete video sekvenci................................ 17

4. RAZVIJENA OBJEKTIVNA METRIKA ZA OCJENU KVALITETE VIDEA BEZ

MOGUĆNOSTI PRITUPA REFERENTNOJ SEKVENCI ......................................................... 19

4.1. Algoritmi za detekciju video artefakata korišteni u novo-stvorenoj metrici ...................... 19

4.1.1. Analiza algoritama za detekciju artefakata stvaranja blokova i gubitaka paketa ........ 20

4.2. Nova NR objektivna metrika za ocjenu kvalitete videa ..................................................... 23

5. TRENIRANJE I TESTIRANJE RAZVIJENE METRIKE ZA OCJENU KVALITETE
VIDEA BEZ MOGUĆNOSTI PRITUPA REFERENTNOJ SEKVENCI ................................... 27

6. KLASIFIKACIJA ALGORITAMA KOMPRESIJE I SMANJENJE RAČUNALNIH

ZAHTJEVA METRIKE ................................................................................................................ 32

6.1. Klasifikacija algoritama kompresije na temelju detektiranih video artefakata .................. 32

6.2. Smanjenje računalnih zahtjeva metrike .............................................................................. 34

7. ZAKLJUČAK ....................................................................................................................... 36

SAŽETAK ..................................................................................................................................... 40

ABSTRACT .................................................................................................................................. 41

ŽIVOTOPIS .................................................................................................................................. 42
1. UVOD

Područje primjene videa se svakodnevno širi i zahtjevi za visokom kvalitetom videa rastu.
Smanjenje kvalitete videa manifestira se video artefaktima koji su rezultat video kompresije s
gubitcima ili prijenosa videa mrežama s gubicima. Primjeri video artefakata su artefakti stvaranja
blokova, artefakti gubitaka paketa, artefakti smrzavanja, itd. Artefakti stvaranja blokova rezultat
su algoritama za kompresiju s gubicima čiji se rad temelji na podjeli okvira na blokove te
njihovom daljnjom obradom. Artefakti gubitaka paketa rezultat su prijenosa videa realnim
mrežama, a u slučaju prevelikog gubitka video informacija dolazi do prisutnosti artefakta
smrzavanja slike.

Kvalitetu videa moguće je odrediti subjektivnim i objektivnim metodama. U subjektivnim

metodama gledatelji pridružuju ocjene reproduciranim video sekvencama. Objektivne metode
obuhvaćaju računalne metrike koje na temelju proračuna određuju kvalitetu video sekvenci bez
potrebe za ljudima kao izvora ocjena. Subjektivne metode daju najtočnije rezultate, ali su skupe i
vremenski neučinkovite. Ovo je razlog povećanja potražnje za objektivnim metrikama kvalitete
videa zasnovanim na rezultatima subjektivnih metoda. U svrhu razvoja objektivnih metrika za
mjerenje kvalitete videa, kreiraju se baze videa koje sadrže originalne i degradirane video
sekvence te rezultate subjektivnih testova provedenih nad video sekvencama kreirane baze.
Ovakve baze, koriste se za razvoj i testiranje objektivnih metrika za ocjenjivanje kvalitete videa.

U okviru ovog rada kreirana je nova video baza te su nad generiranim sekvencama
provedeni subjektivni testovi. Na temelju subjektivnih rezultata i triju algoritama za detekciju
video artefakata (stvaranja blokova, gubitaka paketa i smrzavanja) razvijena je objektivna
metrika za ocjenu kvalitete videa koja za davanje ocjene ne traži prisustvo referentnog signala.

U drugom poglavlju dane su informacije o nekim od postojećih javno dostupnih baza video
sekvenci s pripadnim ocjenama kvalitete te su opisane dvije novo-kreirane baze. U trećem
poglavlju su opisane postojeće metrike za ocjenu kvalitete videa bez mogućnosti pristupa
informacijama o referentnoj sekvenci. Razvoj nove objektivne metrike za ocjenu kvalitete videa
bez mogućnosti pristupa referentnoj sekvenci dan je u četvrtom poglavlju, dok su informacije o
treniranju i testiranju ove metrike dane u petom poglavlju. U šestom je poglavlju opisana metoda
klasifikacije algoritma kompresije te su dane informacije o smanjenju računalnih zahtjeva
razvijene metrike. Zaključak rada dan je u sedmom poglavlju.

1
2. BAZE VIDEO SEKVENCI S OCJENAMA KVALITETE VIDEA

U ovom poglavlju predstavljene su neke od postojećih baza video sekvenci s ocjenama

kvalitete videa te su opisani postupci kreiranja dviju novih baza napravljenih u sklopu ovog rada,
nad kojima su provedeni subjektivni testovi ispitivanja kvalitete i analiza rezultata.

2.1. Postojeće baze video sekvenci s ocjenama video kvalitete

2.1.1. Video Quality Experts Group video baze korištene za FRTV Phase I i FRTV Phase
II

VQEG (engl. Video Quality Experts Group) je provela testiranja objektivnih metrika za
ocjenu kvalitete video sekvenci kroz dvije faze – FRTV Phase I i FRTV Phase II. Na televiziji
standardne definicije, testirani su odnosi subjektivnih ocjena i ocjena objektivnih metrika koje
imaju pristup referentnoj video sekvenci (engl. full-reference – FR) kao i objektivnih metrika
koje nemaju pristup referentnoj video sekvenci (engl. no-reference – NR) [1], [2]. Za potrebe
navedenih testiranja kreirane su dvije baze. Baza korištena u FRTV Phase I sadrži 24 izvorne
sekvence i njima pripadne 384 testne sekvence dobivene kompresijom algoritmom zasnovanim
na MPEG-2 standardu. Baza korištena za FRTV Phase II sadrži 32 izvorne sekvence i njima
pripadnih 128 testnih sekvenci dobivenih kompresijom algoritmom zasnovanim na H.263
standardu.

2.1.2. Laboratory for Image and Video Engineering video baza

LIVE (engl. Laboratory for Image and Video Engineering) baza sadrži 10 izvornih sekvenci
YUV 4:2:0 video formata s rezolucijom od 768x432 elemenata slike. Jedna izvorna sekvenca
ima trajanje od 8.68 sekundi, a preostalih 9 imaju trajanje od 10 sekundi. Brzina izmjene okvira
je 25 okvira u sekundi za 7 izvornih sekvenci, a preostale 3 sekvence imaju brzinu izmjene
okvira od 50 okvira u sekundi. Za svaku od izvornih sekvenci, generirano je 15 degradiranih
testnih sekvenci. Obuhvaćene su 4 vrste degradacije sekvenci – degradacija kompresije
algoritmom zasnovanim na MPEG-2 standardu, degradacija kompresije algoritmom zasnovanim
na H.264 standardu, degradacija prijenosom videa simuliranom IP mrežom s gubitcima i
degradacija prijenosom videa bežičnom mrežom s gubitcima. Nad generiranim testnim
sekvencama, provedeni su subjektivni testovi u kojima je svaki od 38 gledatelja, kroz dvije
sesije, svakoj sekvenci pridružio jednu od 5 ponuđenih ocjena. Nakon obrade rezultata
subjektivnih testova, subjektivne ocjene uspoređene su s rezultatima javno dostupnih objektivnih

2
metrika za ocjenu kvalitete videa. Rezultati provedene analize kao i dodatne informacije o LIVE
Video Quality Database dostupni su u [3].

2.1.3. Laboratory for Image and Video Engineering Mobile video baza

LIVE Mobile baza sadrži 10 izvornih sekvenci YUV 4:2:0 video formata s rezolucijom od
1280x720 elemenata slike. Sve izvorne sekvence imaju trajanje od 15 sekundi i brzinu izmjene
okvira od 30 okvira u sekundi. Za svaku od izvornih sekvenci generirano je 20 degradiranih
testnih sekvenci. Obuhvaćeno je 5 vrsta degradacije sekvenci – degradacije kompresije
algoritmom zasnovanim na H.264 standardu, degradacija prijenosom videa bežičnom mrežom s
gubitcima paketa, degradacija smrzavanjem okvira, degradacija prilagodbom prijenosne brzine i
degradacija dinamičnom promjenom prijenosne brzine. Nad generiranim testnim sekvencama,
provedeni su subjektivni testovi u kojima su gledatelji ocjenjivali testne sekvence ocjenama od 0
do 5. Subjektivni testovi provedeni su na pametnim telefonima i tabletima. Informacije dobivene
analizom rezultata subjektivnih testova kao i dodatne informacije o LIVE Mobile bazi dostupne
su u [4].

2.1.4. ETFOS CIF Video Quality database i ETFOS VGA Video Quality database

Izvorne sekvence obiju baza iz naslova odjeljka su formata YUV 4:2:0. Trajanje izvornih
sekvenci je 12 sekundi s brzinom izmjene okvira od 25 okvira u sekundi. ETFOS CIF Video
Quality (ECVQ) baza sadrži 8 izvornih sekvenci rezolucije 352x288 elemenata slike, dok
ETFOS VGA Video Quality (EVVQ) baza sadrži 8 izvornih sekvenci rezolucije 640x480
elemenata slike. Obje baze sadrže po 90 degradiranih testnih sekvenci. Obuhvaćene su dvije
vrste degradacija video sekvenci – degradacija kompresije videa algoritmom za kompresiju
zasnovanim na MPEG-4 standardu i degradacije kompresije videa algoritmom za kompresiju
zasnovanim na H.264 standardu. Nad generiranim testnim video sekvencama provedeni su
subjektivni testovi u kojima su gledatelji sekvencama dodjeljivali ocjene od 0 do 100. U analizi
rezultata subjektivnih testova, uspoređene su različite metode za izdvajanje subjektivnih ocjena
pojedinog gledatelja koje odstupaju od prosječnih ocjena preostalih gledatelja. Rezultati analize i
dodatne informacije o ECVQ i EVVQ bazama dostupne su u [5].

2.1.5. Computational and Subjective Image Quality video baza

CSIQ (engl. Computational and Subjective Image Quality) Video Database sadrži 12
izvornih sekvenci YUV 4:2:0 video formata s rezolucijom od 832x480 elemenata slike. Sve

3
izvorne sekvence imaju trajanje od 10 sekundi s brzinom izmjene okvira od 24, 25, 30, 50 ili 60
okvira u sekundi ovisno o izvornoj sekvenci. Za svaku izvornu sekvencu generirano je po 18
izobličenih sekvenci. Obuhvaćeno je 6 vrsta degradacije video sekvenci – degradacija Motion
JPEG (MJPEG), H.264, H.265 i wavelet kompresijom, kao i degradacija prijenosom videa
simuliranom bežičnom mrežom s gubitcima te degradacija Gaussovim bijelim šumom. Nad
generiranim testnim video sekvencama provedeni su subjektivni testovi s 35 gledatelja [6].

2.1.6. Ecole Polytechnique Fédérale de Lausanne - Politecnico di Milano video baza

EPFL-PoliMI (Ecole Polytechnique Fédérale de Lausanne - Politecnico di Milano) baza

sadrži 6 izvornih video sekvenci YUV 4:2:0 video formata s rezolucijom od 352x288 elemenata
slike. Sve izvorne sekvence imaju trajanje od 10 sekundi s brzinom izmjene okvira od 30 okvira
u sekundi. Baza ukupno sadrži 78 testnih video sekvenci. Testne sekvence generirane
simuliranjem gubitaka paketa tokom prijenosa video sekvenci komprimiranih algoritmom
zasnovanim na H.264 standardu. Nad generiranim testnim sekvencama provedeni su subjektivni
testovi u kojima su gledatelji sekvencama pridruživali ocjene između 0 i 5. Informacije dobivene
analizom rezultata subjektivnih testova kao i dodatne informacije o EPFL-PoliMI bazi dostupne
su u [7].

2.2. Novo-stvorene FERIT-RTRK i FERIT-RTRK-2 video baze

Za potrebe razvoja objektivne metrike generirane su dvije baza video sekvenci nad
kojima su provedeni subjektivni testovi. Izvorne sekvenca za obje generirane baze dobavljene su
od strane Ultra Video Group (UVG) [8]. Za obje baze korišteno je istih 6 izvornih sekvenci s
rezolucijom od 1920x1080 elemenata slike i YUV 4:2:0 video formatom. Izvorne sekvence su
poduzorkovane ispuštanjem svakog drugog okvira, čime je brzina izmjene okvira smanjena sa
120 okvira u sekundi na 60 okvira u sekundi. Trajanje svake izvorne sekvence je 5 sekundi, a po
jedan okvir iz svake od izvornih sekvenci prikazan je na slici 2.1. Ideja je bila stvoriti nove baze
video signala, u kojima će parametri videa poput rezolucije, formata, brzine izmjene okvira,
tipova izobličenja, itd. biti onakvi kakvi se danas u realnom svijetu najčešće pojavljuju.

Kako bi se numerički odredile karakteristike scene izračunate su dvije mjere – prostorne

uočljive informacije (engl. spatial perceptual information) (SI) i vremenske uočljive informacije
(engl. spatial perceptual information) (TI). Način izračuna SI i TI definiran je u [9]. SI se računa
prema formuli (2-1):

𝑆𝐼 = 𝑚𝑎𝑥𝑡𝑖𝑚𝑒 {𝑠𝑡𝑑𝑠𝑝𝑎𝑐𝑒 [𝑆𝑜𝑏𝑒𝑙(𝐹𝑛 )]}, (2-1)

4
gdje je:

Fn – matrica luminantne komponente n-tog okvira,

Sobel – funkcija za filtriranje Sobelovim filtrom,

stdspace – funkcija za izračun prostorne standardne devijacije,

maxtime – funkcija za određivanje maksimalne vrijednosti u vremenu.

(a) (b)

(c) (d)

(e) (f)

Sl. 2.1. Primjeri okvira referentnih video sekvenci za generiranje novih baza videa (a)
Beauty (b) Bosphorus (c) HoneyBee (d) Jockey (e) ReadySetGo (f) YachtRide [8]

TI se računa prema formuli (2-2):

𝑇𝐼 = 𝑚𝑎𝑥𝑡𝑖𝑚𝑒 {𝑠𝑡𝑑𝑠𝑝𝑎𝑐𝑒 [𝐹𝑛 (𝑖, 𝑗)−𝐹𝑛−1 (𝑖, 𝑗)]}, (2-2)

gdje je:

5
Fn(i,j) - matrica luminantne komponente n-tog okvira,

i, j – indeksi retka i stupca u matrici Fn

Fn-1(i,j) - matrica luminantne komponente okvira koji prethodi n-tom okviru,

stdspace – funkcija za izračun prostorne standardne devijacije,

maxtime – funkcija za određivanje maksimalne vrijednosti u vremenu.

SI i TI vrijednosti izvornih video sekvenci prikazane su na slici 2.2.

Sl. 2.2. Prikaz SI i TI vrijednosti izvornih video sekvenci

2.2.1. FERIT-RTRK video baza

Prva od dviju generiranih baza – FERIT-RTRK baza, sadrži testne sekvence koje su
generirane kompresijom referentnih sekvenci algoritmima za kompresiju zasnovanim na H.264,
H.265 i MPEG-2 standardima. Korišteni algoritmi za kompresiju dostupni su unutar FFmpeg
programskog alata [10]. Za svaki od primijenjenih algoritama za kompresiju, korišteno je 5
različitih fiksnih razina kvalitete – 30, 35, 40, 45, i 50 za algoritme zasnovane na H.264 i H.265
standardima; 11, 16, 21, 22 i 31 za algoritam zasnovan na MPEG-2 standardu. Za algoritam za

6
kompresiju videa zasnovan na MPEG-2 standardu, osim fiksne razine kvalitete korištene su i
različite vrijednosti fiksne razine kvantizacije – 19, 24, 29, 39 i 59. Vrijednosti korištenih
parametara odabrani su tako da za svaku referentnu video sekvencu pripadni skup degradiranih
video sekvenci različitim algoritmima za kompresiju rezultira sličnim intervalom vršnih
vrijednosti odnosa signala i šuma (engl. Peak signal to noise ratio) (PSNR). Ovom metodom, 15
različitih degradiranih video sekvenci je generirano za svaku referentnu video sekvencu, što je
ukupno 90 testnih sekvenci. Na slici 2.3. prikazan je po jedan okvir sekvence Beauty za svaki od
korištenih algoritama kompresije i najveću od korištenih pripadnih razina kompresije.

Za potrebe provedbe subjektivnih testova nad kreiranom bazom, u sklopu ovog rada
kreiran je alat s korisničkim sučeljem koji korisniku omogućava odabir datoteke s popisom videa
za ocjenjivanje, nakon čega započinje proces ocjenjivanja kvalitete videa. Svaka video sekvenca
se može prikazati samo jednom prije nego što ju korisnik ocjeni, a korisnik nema mogućnost
gledanja sljedeće video sekvence dok nije ocijenio prethodnu. Vrijeme koje korisnik ima na
raspolaganju za odabir ocjene nije ograničeno. Za provedbu subjektivnih testova korištena je
metoda s apsolutnim kategorijskim ocjenama i skrivenom referentnom sekvencom (engl.
Absolute Category Rating with Hidden Reference) (ACR-HR) [9]. Ponuđene ocjene su u
intervalu od 0 do 10 gdje 0 predstavlja najlošiju, a 10 najbolju kvalitetu videa (identičnu
originalnom videu). Kako bi se omogućila stvarno-vremenska reprodukcija referentnih video
sekvenci na računalima korištenim za provedbu subjektivnih testova, obavljena je kompresija s
neznatnim gubicima neprimjetnim čak i stručnjacima iz područja ocjene kvalitete videa, što je
dozvoljeno i opisano u [11].

Skupina od 30 gledatelja podijeljena je u dvije grupe s kojima su u različita vremena

obavljena subjektivna testiranja. Prije ocjenjivanja video sekvenci testirana je sposobnost
raspoznaje boja (Ishihara test) i oštrina vida gledatelja. Ovim testiranjima potvrđene su dovoljne
razine oštrine vida i sposobnosti raspoznavanja boja kod svih gledatelja pa nije bilo potrebe
zanemariti ocjene dane od strane ijednog gledatelja. Dio testiranja u kojem su gledatelji
ocjenjivali video sekvence organiziran je kroz tri cjeline od kojih je svaka imala zaseban popis
pripadnih sekvenci. U prvoj cjelini gledateljima je prezentirano 5 testnih sekvenci čija je svrha
upoznati korisnika s očekivanim razinama degradacije te sučeljem alata za subjektivne testove.
Druga cjelina sadrži 6 izvornih video sekvenci bez degradacije, a cilj je bio da se gledatelji
upoznaju sa „savršenom“ tj. referentnom kvalitetom originalnih video sekvenci. Treća cjelina
sadrži ukupno 96 video sekvenci – 6 izvornih video sekvenci i ukupno 90 degradiranih video
sekvenci (po 15 degradiranih sekvenci za svaku pojedinu izvornu sekvencu). Video sekvence

7
koje su dio treće cjeline za svakog su gledatelja reproducirane posebnim, pseudo-slučajno
generiranim redoslijedom, dok su popisi video sekvenci prve i druge cjeline jednaki za sve
gledatelje. U procesu obrade rezultata korišteni su samo ocjene iz treće cjeline.

(a)

(b)

(c)

Sl. 2.3. Primjeri okvira sekvence Beauty komprimirane najvećim korištenim razinama
kompresije za algoritme: (a) H.264 (b) H.265 (c) MPEG-2

8
 U slučaju velikog odstupanja ocjena pojedinog gledatelja u odnosu na srednju ocjenu svih
gledatelja, potrebno je zanemariti ocjene promatranog gledatelja. Za određivanje skupa
gledatelja čije će ocjene biti zanemarene, promatran je Pearsonov linearni korelacijski
koeficijent (engl. Pearson Linear Correlation Coefficient) (PLCC) na način opisan u [11]. Za
svaku testnu video sekvencu, izračunata je srednja vrijednost ocjena (engl. Mean opinion score -
MOS) koju su joj pridružili svi gledatelji. Izračunat je PLCC između ocjena svakog pojedinog
gledatelja i srednjih ocjena. Kako su u prvoj iteraciji svi PLCC bili iznad 0.75 nije bilo potrebno
zanemariti ocjene ijednog od gledatelja.

Kako je za provedbu subjektivnih testova korištena ACR-HR metoda, za svaku testnu

sekvencu je izračunata diferencijalna srednja ocjena (engl. differential mean opinion score .
DMOS). Kako bi se uklonio utjecaj sadržaja video sekvenci na ocjene gledatelja, jer je cilj dobiti
ocjene koje ovise samo o kvaliteti video sekvence, prije računanja DMOS vrijednosti, za svaku
kombinaciju pojedinog gledatelja i pojedine testne video sekvence diferencijalna ocjena je
izračunata prema formuli (2-3):

𝐷𝑉(𝑃𝑉𝑆) = 𝑉(𝑃𝑉𝑆) − 𝑉(𝑅𝐸𝐹) + 10, (2-3)

gdje je:

PVS – testna degradirana sekvenca,

REF – pripadna referentna sekvenca,

V – gledateljeva ocjena,

DV – diferencijalna ocjena.

Za pojedinu degradiranu testnu sekvencu DMOS je izračunat kao srednja vrijednost svih
pripadnih DV vrijednosti. Histogram svih izračunatih DMOS vrijednosti prikazan je na slici 2.4.
Iz histograma je vidljivo da su izobličenja ubačena u video signale generirala sekvence širokog
raspona kvalitete, što je vrlo bitno kad se kreiraju baze za testiranje objektivnih metrika.

Veličine komprimiranih testnih video datoteka ovise o složenosti sadržaja video

sekvence, korištenom algoritmu za kompresiju te njemu postavljenim parametrima. Veličina
komprimiranih datoteka ovisi i o rezoluciji, formatu poduzorkovanja boja te ukupnom broju
okvira (ove vrijednosti su jednake za sve video sekvence kreirane baze). Odnosi DMOS
vrijednosti i veličina komprimiranih video datoteka prikazani su na slici 2.5. Datoteke dobivene
MPEG-2 kompresiju zauzimaju znatno veću količinu memorije u odnosu na datoteke dobivene

9
H.264 ili H.265 kompresijama kada se promatraju video sekvence jednakog izvornog sadržaja i
približno jednakih DMOS vrijednosti. Ekstremni primjer ovakvog odnosa kompresije primijećen
je kod sekvenci s DMOS vrijednosti 8 i izvornim sadržajem Jockey. U promatranom slučaju,
MPEG-2 kompresijom generirana je datoteka koja je približno 7 puta veća od datoteka
generiranih algoritmima za kompresiju zasnovanim na H.264 ili H.265 standardima. Razina
kompresije koja je ostvarena korištenjem algoritma za kompresiju zasnovanim na H.265
standardu je veća u odnosu na razinu kompresije koja je ostvarena algoritmom za kompresiju
zasnovanim na H.264 standardu, kada se promatraju testne video sekvence s približno jednakim
DMOS vrijednostima. Odnosi razina kompresija koji su ostvareni korištenjem prethodnih dvaju
navedenih algoritama su manji, nego odnosi razina kompresija između pojedinog od ovih
algoritama i algoritma za kompresiju zasnovanog na MPEG-2 standardu. Odnosi ostvarenih
razina kompresija između korištenih algoritama za kompresiju su manji za testne video sekvence
kojima su pridružene manje DMOS vrijednosti, neovisno o promatranim algoritmima
kompresije. S obzirom na razinu kompleksnosti video sadržaja, razine kompresije ostvarene za
sekvence manjih SI i TI vrijednosti (sekvence jednostavnijeg sadržajem) – Beauty, Bsophorus,
HoneyBee - su veće u odnosu na razine kompresije ostvarene za sekvence s većim SI i TI
vrijednostima (sekvence složenijeg sadržaja) – Jockey, ReadySetGo, YachtRide.

Sl. 2.4. Histogram DMOS vrijednosti za testne signale FERIT-RTRK baze

10
 (a) (b)

(c) (d)

(e) (f)

Sl. 2.5. Odnosi DMOS vrijednosti i veličina komprimiranih video datoteka za sekvence: (a)
Beauty (b) Bosphorus (c) HoneyBee (d) Jockey (e) ReadySetGo (f) YachtRide

2.2.2. FERIT-RTRK-2 video baza

Kako bi testne sekvence, osim artefakata uzrokovanih kompresijom (najčešće artefakt

stvaranja blokova), obuhvatile i artefakte gubitaka paketa te artefakte smrzavanja okvira, iz
skupova parametara korištenih za kreiranje prethodno navedene baze (FERIT-RTRK) odabrana

11
su po 3 skupa parametara za pojedini algoritam za kompresiju. Odabrani su skupovi parametara
koji su ostvarili minimalnu, srednju i maksimalnu razinu kompresije. Za svaki od primijenjenih
algoritama za kompresiju, korištene su 3 različite fiksne razine kvalitete – 30, 40 i 50 za
algoritme zasnovane na H.264 i H.265 standardima; 11, 21 i 31 za algoritam zasnovan na
MPEG-2 standardu. Za algoritam za kompresiju videa zasnovan na MPEG-2 standardu, osim
fiksne razine kvalitete korištene su i različite vrijednosti fiksne razine kvantizacije – 19, 29 i 59.
Za svaku od 54 testne sekvence dobivene korištenjem odabranih skupova parametara, kreirane su
po dodatne dvije testne sekvence s artefaktima gubitaka paketa, čime je broj testnih sekvenci
povećan na 162. Za svaku od ovih testnih video sekvenci kreirane su po još dvije testne video
sekvence s artefaktima smrzavanja slike, tako da kreirana FERIT-RTRK-2 baza sadrži ukupno
486 testnih video sekvenci.

Kako bi se generirale sekvence sa simuliranim gubitkom IP paketa, testne video sekvence

konvertirane su u Transport Stream (TS) format čime su podaci video sekvence podijeljeni u
pakete veličine 188 bajta. Za prijenos videa IP mrežom, TS paketi se pakiraju u User datagram
protocol (UDP) pakete ili Real-time transport protocol (RTP) pakete (upakirane u UDP pakete),
koji se nadalje pakiraju u IP pakete. Na ovakav način, jedan IP paket može sadržavati najviše 7
TS paketa. Također, uobičajeno je jednim IP paketom prenositi upravo 7 TS paketa [12]. Kada
tokom ovakvog prijenosa videa IP mrežom dođe do gubitka jednog IP paketa, gube se podaci
video sekvence pohranjeni u njemu pripadnih 7 TS paketa.

U procesu degradacije testnih sekvenci artefaktima gubitaka IP paketa, nasumično su

odabrani IP paketi koji će biti izgubljeni, a udjeli izgubljenih IP paketa u ukupnim IP paketima
fiksno su određeni. Odabrani su udjeli od 0.75% i 1.5%. Na slici 2.6., za svaki od korištenih
algoritama kompresije prikazan je po jedan okvir degradiran artefaktima gubitaka paketa. Ovi
okviri izdvojeni su iz sekvenci s najmanjom korištenom razinom kompresije kako bi na slici bili
dominantno uočljivi artefakti gubitaka paketa bez (ili s vrlo malo) prisutnih artefakata
kompresije.

Za kreiranje testnih video sekvenci s artefaktima smrzavanja slike nasumično je odabran

po jedan okvir unutar druge i četvrte sekunde pojedine testne video sekvence. Za manju razinu
artefakata smrzavanja slike odabrani okviri preslikani su preko sljedećih 10 okvira, dok su za
veću razinu artefakata smrzavanja slike odabrani okviri preslikani preko sljedećih 30 okvira.

Subjektivni testovi nad ovim skupom generiranih testnih video sekvenci provedeni su s
15 gledatelja, a postupak je bio jednak onome korištenom za subjektivne testove FERIT-RTRK

12
baze. U provjeri prevelikog odstupanja ocjena pojedinog gledatelja od prosječnih ocjena
preostalih na temelju Pearsonovog linearnog koeficijenta korelacija, ocjene četiriju gledatelja su
zanemarene. Detaljnije informacije o korištenoj metodi za detekciju gledatelja čije će ocjene biti
zanemarene dostupne su u [11].

(a)

(b)

(c)

Sl. 2.6. Primjeri okvira degradiranih artefaktima gubitaka paketa za sekvencu Jockey
komprimiranu algoritmom: (a) H.264 (b) H.265 (c) MPEG-2
13
 Kako testne sekvence FERIT-RTRK-2 baze sadrže kombinacije različitih artefakata
degradacije video sekvence, distribucija DMOS vrijednosti razlikuje se od one kod FERIT-
RTRK baze. Udio manjih DMOS vrijednosti je veći nego kod FERIT-RTRK baze, a histogram
DMOS vrijednosti prikazan je na slici 2.7.

Sl. 2.7. Histogram DMOS vrijednosti za testne signale FERIT_RTRK-2 baze

14
3. POSTOJEĆE METRIKE ZA OCJENU KVALITETE VIDEA BEZ
MOGUĆNOSTI PRISTUPA INFORMACIJAMA O REFERENTNOJ
SEKVENCI

U ovom su poglavlju navedene te ukratko opisane neke od postojećih objektivnih metrika za

ocjenu kvalitete videa. Svaka od ovih metrika radi bez mogućnosti pristupa informacijama o
referentnoj video sekvenci.

3.1. Video BLIINDS

Video BLIINDS (engl. Blind Image Integrity Notator using Discrete Cosine Transform
Statistics) je objektivna metrika za ocjenu kvalitete videa bez pristupa informacijama izvorne
video sekvence. Metrika se temelji na izdvajanju određenih svojstava video sekvenci koja se
predaju Support Vector Regression (SVR) modelu za strojno učenje. Svojstva video sekvenci
koja su korištena su: koherentnost pokreta, mjera globalnih pokreta, spektralni odnosi statistike
prirodnih videa (engl. Natural Video Statistics - NVS), apsolutni vremenski derivat srednjih
diskretnih kosinusnih koeficijenata i prostorna prirodnost okvira [13]. Osim posljednjeg
navedenog svojstva, sva ostala svojstva određuju se na temelju razlike susjednih okvira video
sekvence. Svako pojedino navedeno svojstvo podvrgnuto je nelinearnoj logaritamskoj funkcije
prije nego što je predano SVR modelu. Autori navode kako objektivne metrike za ocjenu
kvalitete videa koje nemaju pristup informacija izvorne video sekvence općenito zahtijevaju da
se proces treniranja metrike provodi na dijelu video baze kojom se metrike testiraju. Video
BLIINDS metrika trenirana je i testirana na sekvencama LIVE i EPFL-PoliMI video baza.
Usporedba rezultata s drugim objektivnim metrikama, detaljnija objašnjena korištenih svojstava
testnih video sekvenci i dodatne informacije o metrici i provedenoj analizi dostupne su u [14] .

3.2. Metrika za procjenu kvalitete videa zasnovana na mjerenju artefakata u

videu i statističkoj analizi bez pristupa informacijama o referentnoj video
sekvenci

U [15] autori su razvili objektivnu metriku za ocjenu kvalitete videa bez pristupa
informacijama izvorne video sekvence koja se temelji na svojstvima video sekvence izdvojenim
iz koeficijenata dobivenih diskretnom kosinusnom transformacijom (engl. Discrete cosine
transform - DCT). Cilj razvijene metrike je ocjenjivanje komprimiranih prirodnih video
sekvenci. Metrika je organizirana u dvije cjeline – određivanje vrijednosti različitih svojstava

15
distorzije i nelinearna transformacija vrijednosti tih svojstava. Prvi korak metrike je DCT
transformacija koja se vrši za svaki okvir ulazne video sekvence. Dobiveni DCT koeficijenti
podijeljeni su u 6 skupova koeficijenata ovisno o orijentaciji i frekvencijskom području
komponenti signala koje pojedini DCT koeficijenti predstavljaju. Na temelju određenih
kombinacija skupova DCT koeficijenata računaju se sljedeća svojstva testne video sekvence:
Peakiness, Smoothness, Shaprness, Histo-noise, srednja Jensen-Shannonova divergencija (engl.
mean Jensen-Shannon divergence - MJSD) i Blockiness. Ovako je za svaki okvir testne video
sekvence dobivena po jedna vrijednost za svako od navedenih svojstava. Kako bi se za cijelu
video sekvencu izdvojila jedna vrijednost po svakom navedenom svojstvu, nad vektorom svih
vrijednosti pojedinog svojstva primijenjena je Minkowski metoda sažimanja (engl. Minkowski
pooling). Dobivene vrijednosti predaju se višeslojnoj neuronskoj mreži koja na izlazu daje
ocjenu kvalitete testne video sekvence. Treniranje i testiranje metrike rađeno je na
podskupovima video baza. Osim višeslojne neuronske mreže analiziran je i rad metrike kada bi
se ona zamijenila SVR modelom ili linearnom regresijom. Rezultati metrike također su
uspoređeni s rezultatima odabranih objektivnih metrika.

3.3. Metrika za procjenu kvalitete videa bez pristupa informacijama o

referentnoj video sekvenci pomoću 3D shearlet transformacije i
konvolucijskih neuronskih mreža

U [16] autori su razvili objektivnu metriku koja bez dostupnih informacija o izvornoj video
sekvenci, na temelju značajki izvedenih iz testnih video sekvenci, određuje ocjenu kvalitete
videa. Način rada metrike zasnovan je na prostornoj korelaciji elemenata slike pojedinog okvira
te vremenskoj korelaciji susjednih okvira video sekvence. Početni korak razvijene metrike je 3D
shearlet transformacija. Iz informacija dobivenih prethodnom transformacijom izdvajaju se
značajke koje se predaju na ulaz troslojne konvolucijske neuronske mreže (engl. convolutional
neural network - CNN). Izlazne vrijednosti neurona trećeg sloja mreže iskorištene su za
klasifikaciju vrste distorzije te za logističku regresiju koja daje ocjenu kvalitete testne video
sekvence. Razvijena metrika trenirana je i testirana na testnim video sekvencama LIVE, IVP
(engl. Image and Video Processing) [17] i CSIQ video baza. Metrika je, za svaku od pojedinih
baza, trenirana na testnim sekvencama dobivenim iz 80% izvornih sekvenci, a testirana na
testnim sekvencama dobivenim iz preostalih 20% izvornih sekvenci baze. Po 100 iteracija, s
različitim skupovima izvornih sekvenci korištenih za treniranje, odnosno testiranje, odrađeno je

16
za svaku od korištenih baza. Rezultati razvijene metrike uspoređeni su s rezultatima odabranih
objektivnih metrika.

3.4. Modeli uočljive nelagode pri gledanju video sekvenci s kombinacijama

prostornih i vremenskih video artefakata

U [18] autori su generirali testne video sekvence koje sadrže artefakte stvaranje blokova,
artefakte zamućenja (engl. blurring) te artefakte gubitaka paketa. Provedeni su subjektivni
testovi nad generiranim testnim sekvencama koje sadrže artefakte pojedinih navedenih tipove te
njihovih kombinacija. Na temelju rezultata provedenih subjektivnih testova, razvijeno je
nekoliko različitih modela za objektivnu ocjenu kvalitete videa. Kao nezavisni parametri svih
izvedenih modela korištene su tri mjere, po jedna za svaki od navedenih tipova video artefakata.
Uz 4 linearna modela, razvijena su 2 modela temeljena na Minkowski metrici te SVR model.
Treniranje i testiranje modela provedeno je kroz 10 iteracija tako što je skup testnih sekvenci
podijeljen u 10 podskupova, a pojedini podskup korišten kao testni u pojedinoj iteraciji, dok su
ostali korišteni za treniranje modela. Najbolju korelaciju pokazala je linearna metrika koja osim
linearne kombinacije triju mjera koristi i linearnu kombinaciju umnožaka pojedinih mjera.

3.5. Prostorno-vremenska statistika za procjenu kvalitete video sekvenci

U [19] autori su razvili objektivnu metriku koja na temelju video značajki izvedenih iz
trodimenzionalne DCT daje ocjenu kvalitete testnih video sekvenci. Razvijena metrika temelji se
na NVS modelu te iskorištava prostorne i vremenske distorzije video sekvenci koje se često
manifestiraju simultano, odnosno obuhvaćaju iste prostorne i vremenske dijelove video
sekvence. Prvi korak razvijene metrike je prostorno i vremenski lokalna 3D DCT. Na temelju
informacija dobivenih ovom transformacijom izdvajaju se prostorne značajke videa na razini
okvira koje se nakon toga u vremenskoj dimenziji sažimaju kako bi se odredile značajke na
razini cijele video sekvence. Korištenjem principle component analysis (PCA) iz skupa
dobivenih značajki izdvojen je podskup ključnih značajki te su dimenzije pojedinih značajki
smanjene. Odabrane značajke iskorištene su kao ulazni parametri SVR modela s linearnom
jezgrom. Za treniranje i testiranje modela korištene su LIVE, CSIQ, VQEGHD5 (engl. Video
Quality Experts Group High Definition Television 5) [20] i EPFL-PoliMI video baze. Skup
testnih sekvenci pojedine baze je podijeljen u podskupove tako da pojedini podskup sadrži sve
testne sekvence istog izvornog sadržaja. Treniranje i testiranje modela izvršeno je kroz sve
moguće kombinacije podskupova za treniranje, odnosno testiranje, tako što su za testiranje

17
izdvojena 2 ili 1 podskup (ovisno o bazi) dok su ostali podskupovi korišteni za treniranje.
Rezultati razvijene metrike uspoređeni su za rezultatima drugih odabranih metrika.

18
4. RAZVIJENA OBJEKTIVNA METRIKA ZA OCJENU KVALITETE
VIDEA BEZ MOGUĆNOSTI PRITUPA REFERENTNOJ SEKVENCI

U ovom poglavlju je opisan razvoj nove objektivne metrike za ocjenu kvalitete videa. Rad
metrike temelji se na postojećim algoritmima za detekciju video artefakata, Minkowski
vremenskom sažimanju, prostornom i vremenskom maskiranju te nelinearnoj transformaciji.

4.1. Algoritmi za detekciju video artefakata korišteni u novo-stvorenoj metrici

Razvijena metrika temelji se ne rezultatima algoritama za detekciju artefakata stvaranja

blokova, gubitaka paketa i smrzavanja slike koji na temelju testnih sekvenci bez informacija o
referentnim sekvencama vraćaju vrijednosti proporcionalne s razinama prisutnih artefakata.

Algoritam za detekciju artefakata stvaranja blokova računa horizontalne i vertikalne

gradijente za sve elemente slike unutar svakog video okvira testne sekvence. Ako se u jednom
redu ili u jednom stupcu elemenata slike, nalaze gradijenti koji su iznad određene granice te ako
se nalaze međusobno blisko unutar definiranih granica, grupa tih elemenata slike označava se
kao grupa koja predstavlja horizontalni odnosno vertikalni oštri rub unutar promatranog video
okvira. Vrijednost koju algoritam vraća odgovara odnosu sume duljina detektiranih oštrih rubova
i ukupnog broja elemenata slike promatranog video okvira za koje je moguća detekcija oštrih
rubova. Također je omogućen i pristup informacijama o lokaciji detektiranih artefakata.

Algoritam za detekciju artefakata gubitaka paketa također računa horizontalne i vertikalne

gradijente, ali samo na elementima slika koji se nalaze na koordinatama koje su višekratnik broja
16. Za svaki blok veličine 16x16 elemenata slike koji je omeđen elementima slike koji se nalaze
na prethodno definiranim koordinatama, određuje se pripada li on skupu blokova koji su
degradirani artefaktima gubitaka paketa. Identifikacija degradiranih blokova izvršava se
provjerom vrijednosti gradijenata rubnih elemenata slike pojedinih blokova te njihove
međusobne udaljenosti. Ako je dovoljan broj vrijednosti ovih gradijenata iznad definirane
granice, te ako su lokacije tih gradijenata međusobno bliske unutar definiranih granica, blok se
dodaje skupu blokova koji su degradirani artefaktima gubitaka paketa. Algoritam vraća
vrijednost koja odgovara odnosu broja blokova degradiranih artefaktima gubitaka paketa te
ukupnog broja blokova unutar promatranog video okvira.

Rad algoritma za detekciju artefakata smrzavanja slike temelji se na usporedbi susjednih

video okvira testne video sekvence. Za svaki video okvir određuje se korelacija s prethodnim

19
okvirom. Ako je duljina niza susjednih video okvira, za koje je određena međusobna korelacija
iznad definiranih granica, veća od minimalno definirane duljine, svi sljedeći okviri koji
zadovolje ovaj kriterij biti će označeni kao okviri s prisutnim artefaktom smrzavanja slike. Za
svaki okvir, algoritam vraća vrijednost 1 ako okvir pripada nizu okvira degradiranih artefaktima
smrzavanja slike, a u suprotnom algoritam vraća vrijednost 0.

4.1.1. Analiza algoritama za detekciju artefakata stvaranja blokova i gubitaka paketa

Kako oba, algoritam za detekciju artefakata stvaranja blokova i algoritam za detekciju

artefakata gubitaka paketa svoj rad temelje ne horizontalnim i vertikalnim gradijentima
elemenata slike pojedinog okvira, provjereno je detektiraju li odgovarajuće artefakte te koliko
povratna vrijednost jednog algoritma ovisi u artefaktima za koje je dizajniran drugi od ovih
algoritama. Za ovu potrebu korištena je baza FERIT-RTRK-2 zato što sadrži testne sekvence s
kombinacijama artefakata stvaranja blokova koji su rezultat video kompresije te artefakte
gubitaka paketa, i upravo te sekvence korištene su za sljedeća testiranja.

Prethodno definirani skup sekvenci podijeljen je u 3 podskupa ovisno o algoritmu kompresije

kojim su generirane pripadne testne sekvence (H.264, H.265, MPEG-2), a svaki od ovih
podskupova nadalje je podijeljen u 3 podskupa ovisno o postotku izgubljenih paketa korištenom
za generiranje pripadnih testnih sekvenci (0%, 0.75% i 1.5%).

Za svaki od ovih podskupova, srednje vrijednosti, za sve video okvire pojedine testne video
sekvence, koje vraća algoritam za detekciju artefakata stvaranja blokova prikazane su na slici
4.1. Grafovi pokazuju kako se vrijednost koju vraća algoritam za detekciju artefakata stvaranja
blokova razlikuje za promatrane sekvence, ali se povratna vrijednost ne mijenja znatno između
testnih video sekvenci istog sadržaja komprimiranih istim algoritmom za kompresiju uz iste
pripadne parametre te različite razine gubitaka paketa. Ovime je pokazano kako povratna
vrijednost algoritama za detekciju artefakata stvaranja blokova znatno ovisi o kompresiji, a
neznatno o gubitku paketa.

Za svaki od prethodno navedenih podskupova FERIT-RTRK-2 baze određene su i srednje

vrijednosti, za sve video okvire pojedine testne video sekvence, koje vraća algoritam za detekciju
artefakata gubitaka paketa, a pripadni grafovi prikazani su na slici 4.2. Pregledom ovih grafova
za sekvence bez prisutnih artefakata gubitaka paketa može se utvrditi kako je algoritam za
detekciju artefakata gubitaka paketa gotovo neovisan o kompresiji kada se promatraju testne
sekvence generirane algoritama za kompresiju zasnovanim na H.264 i H.265 standardima. Može
se primijetiti i da za sekvence komprimirane prethodno navedenim algoritmima koje su

20
 (a)

(b)

(c)

Sl. 4.1 Vrijednosti algoritma za detekciju artefakata stvaranja blokova za sekvence

generirane algoritmom za kompresiju: (a) H.264 (b) H.265 (c) MPEG-2 uz različite razine
artefakta gubitka paketa

21
 (a)

(b)

(c)

Sl. 4.2. Vrijednosti algoritma za detekciju artefakata gubitaka paketa za sekvence generirane
algoritmom za kompresiju: (a) H.264 (b) H.265 (c) MPEG-2 uz različite razine artefakta gubitka
paketa

22
degradirane artefaktima gubitaka paketa povratna vrijednost ne ovisi o razini gubitaka paketa te
je prikazana vrijednost za većinu ovih sekvenci jednaka 0. Razlog tome je to što degradacija
gubitkom paketa sekvenci komprimiranih algoritmima za kompresiju zasnovanim na H.264 i
H.265 standardima ne rezultira pravilnim blokovima veličine 16x16 s oštrim rubovima. Primjeri
realnih artefakata gubitaka paketa prethodno su prikazani na slici 2.6.

Za testne video sekvence FERIT-RTRK-2 baze komprimirane algoritmom za kompresiju

zasnovanim na MPEG-2 standardu, na slici 4.2. vidljivo je kako povratna vrijednost algoritma
ovisi o razini kompresije (kada se promatraju sekvence s 0% gubitaka paketa). Također se na
temelju grafova može utvrditi kako se promatrana vrijednost ne mijenja znatno s promjenom
razine gubitaka paketa. Razlog tome je to što se kod sekvenci komprimiranih MPEG-2
standardom i artefakti stvaranja blokova i artefakti gubitaka paketa manifestiraju kao oštri rubovi
koji se nalaze na koordinatama koje su višekratnik broja 16. Primjer artefakata stvaranja blokova
prethodno je prikazana na slici 2.3., a primjer artefakata gubitaka paketa prethodno je prikazan
na slici 2.6.

Na temelju prethodne analize može se utvrditi kako algoritam za detekciju artefakata

gubitaka paketa za sekvence komprimirane algoritmom za kompresiju zasnovanim na MPEG-2
standardu ne razlikuje artefakte gubitaka paketa od artefakata kompresije, a za sekvence
komprimirane algoritmima za kompresiju zasnovanim na H.264 i H.265 standardima ne može
dovoljno precizno detektirati artefakte gubitaka paketa te zbog ovoga algoritam nadalje nije
korišten za ocjenu kvalitete videa degradirane artefaktima gubitaka paketa. Algoritam se
pokazao dobrim za određivanje ocjena kvalitete testnih video sekvenci komprimiranih
algoritmom za kompresiju zasnovanim na MPEG-2 standardu.

4.2. Nova NR objektivna metrika za ocjenu kvalitete videa

Razvijena je nova objektivna NR metrika koja bez mogućnosti pristupa informacijama o

referentnoj video sekvenci određuje ocjenu kvalitete testne video sekvence. Svrha razvijene
metrike je što bolje predvidjeti ocjenu kvalitete koju daje prosječni gledatelj tj. odrediti ocjene
kvalitete čije su vrijednosti bliske onima prosječnog gledatelja. U idealnom slučaju, metrika
treba odrediti ocjene jednake onima koje su dobivene subjektivnim testiranjima.

Kako je u prethodnom potpoglavlju objašnjeno zašto algoritam za detekciju artefakata

gubitaka paketa nije iskorišten za pripadne artefakte, metrika je usmjerena na određivanje ocjena
testnih video sekvenci na temelju mjera artefakta stvaranja blokova te artefakata smrzavanja

23
slike. Za određivanje ocjene na temelju artefakata stvaranja blokova koji su rezultat načina
kompresije video sekvenci, korišteni su i algoritam za detekciju artefakata stvaranja blokova i
algoritam za detekciju artefakata gubitaka paketa jer se ovakav pristup pokazao korisnim za
klasifikaciju tipa kompresije, a više o ovome objašnjeno je u potpoglavlju 6.1. Grafički prikaz
načina rada razvijene metrike prikazan je na slici 4.3.

Sl. 4.3. Grafički prikaz načina rada razvijene objektivne metrike

Vjerojatnost detekcije video artefakata kod subjektivnih testova, osim o razini prisutnih
artefakata ovisi i o sadržaju video sekvence. Kod video sekvenci s manjom prostornom
korelacijom elemenata slike, odnosno većom SI vrijednosti, gledatelji teže uočavaju prostorne
video artefakte. Isto tako, kod video sekvenci s manjom vremenskom korelacijom elemenata
slike između susjednih video okvira testne sekvence, odnosno većom TI vrijednosti, gledatelji
teže uočavaju prostorne video artefakte, ali vremenski video artefakti, kao što je smrzavanje
slike, u ovom će slučaju biti lakše uočeni te se očekuje da će imati veći utjecaj na ocjenu
kvalitete video sekvence. Kako bi se ova svojstva uzela u obzir pri određivanju ocjene kvalitete
razvijenom metrikom, SI i TI vrijednosti se za ulaznu testnu video sekvence računaju prema
formulama (4-1), odnosno (4-2):

𝑆𝐼 = 𝑎𝑣𝑔𝑡𝑖𝑚𝑒 {𝑠𝑡𝑑𝑠𝑝𝑎𝑐𝑒 [𝑆𝑜𝑏𝑒𝑙(𝐹𝑛 )]} , (4-1)

gdje je:

Fn – matrica luminantne komponente n-tog okvira,

Sobel – funkcija za filtriranje Sobelovim filtrom,

24
stdspace – funkcija za izračun prostorne standardne devijacije,

avgtime – funkcija za određivanje srednje vrijednosti u vremenu;

𝑇𝐼 = 𝑎𝑣𝑔𝑡𝑖𝑚𝑒 {𝑠𝑡𝑑𝑠𝑝𝑎𝑐𝑒 [𝐹𝑛 (𝑖, 𝑗)−𝐹𝑛−1 (𝑖, 𝑗)]} , (4-2)

gdje je:

Fn(i,j) - matrica luminantne komponente n-tog okvira,

Fn-1(i,j) - matrica luminantne komponente okvira koji prethodi n-tom okviru,

stdspace – funkcija za izračun prostorne standardne devijacije,

avgtime – funkcija za određivanje srednje vrijednosti u vremenu.

Za razliku od formula (2-1) i (2-2) koje koriste funkciju za određivanje maksimalne

vrijednosti, formule (4-1) i (4-2) koriste funkciju za određivanje srednje vrijednosti kako bi se
izbjegao slučaj u kojem će promjena kadra unutar video sekvence u potpunosti odrediti SI i TI
vrijednosti.

Kako bi se, kod donošenja ocjene kvalitete, omogućilo dodjeljivanje većih težina okvirima
sekvence s većim povratnim vrijednostima algoritama za detekciju artefakata stvaranja blokova i
gubitaka paketa, povratne vrijednosti ovih algoritama podvrgnute su Minkowski vremenskom
sažimanju prema formuli (4-3):
1
1 𝑚𝑖𝑃
𝑠𝑐𝑜𝑟𝑒𝐴 = (𝑇 ∑𝑇𝑖=1 𝑥 𝑚𝑖𝑃 ) , (4-3)

gdje je:

T – ukupan broj video okvira,

i – redni broj okvira,

x – povratna vrijednost algoritma za detekciju artefakata stvaranja blokova ili gubitaka paketa,

miP – konstanta određena treniranjem metrike.

Nakon što su određene vrijednosti scoreA, SI i TI, u obzir se uzima utjecaj video sadržaja
na maskiranje prostornih artefakata, što je unutar razvijene metrike definirano prema formuli
(4-4):

𝑠𝑐𝑜𝑟𝑒𝐴
𝑠𝑐𝑜𝑟𝑒𝐵 = 𝑐0+𝑆𝐼∙𝑠𝑖𝑃+𝑇𝐼∙𝑡𝑖𝑃+𝑆𝐼∙𝑇𝐼∙𝑠𝑖𝑡𝑖𝑃 , (4-4)

25
gdje je:

scoreB – povratna vrijednost nakon uzimanja maskiranja prostornih artefakata u obzir,

scoreA – vrijednost dobivena prema formuli (4-3),

SI - vrijednost dobivena prema formuli (4-1),

TI - vrijednost dobivena prema formuli (4-2),

c0, siP, tiP, sitiP – konstante određene treniranjem metrike.

Nadalje, u obzir se uzimaju i rezultati algoritma za detekciju artefakata smrzavanja slike. Kako je
za očekivati da će smrzavanje slike imati veći utjecaj na ukupno ocjenu kod video sekvenci
bržeg sadržaja s više pokreta, utjecaj artefakata smrzavanja slike ovisi i o TI vrijednosti te je
unutar razvijene metrike definiran prema formuli (4-5):

𝑓𝑟𝑃∙𝑓𝑟𝐴𝑣𝑔
𝑠𝑐𝑜𝑟𝑒𝐶 = 𝑠𝑐𝑜𝑟𝑒𝐵 + ∙ 𝑇𝐼 𝑓𝑟𝑃2 , (4-5)
1+𝑠𝑐𝑜𝑟𝑒𝐵

gdje je:

scoreC – povratna vrijednost nakon uzimanja artefakata smrzavanja u obzir,

scoreB – vrijednost dobivena prema formuli (4-4),

frAvg – udio okvira degradiranih artefaktom smrzavanja slike u ukupnim okvirima,

TI – vrijednost dobivena prema formuli (4-2),

frP, frP2 – konstante određene treniranjem metrike.

Konačno, kako ocjene gledatelja ne moraju imati linearan odnos s izmjerenim razinama
detektiranih artefakata, prije vraćanja konačne ocjene izvršava se nelinearna transformacije koja
je unutar razvijene metrike definirana prema formuli (4-6):

𝑠𝑐𝑜𝑟𝑒 = 𝑐1 − 𝑐2 ∙ 𝑒 −𝑐3 ∙ 𝑠𝑐𝑜𝑟𝑒𝐶 , (4-6)

gdje je:

score – povratna vrijednost nakon nelinearne transformacije,

scoreC – vrijednost dobivena prema formuli (4-5),

c1, c2, c3 – konstante određene treniranjem metrike.

26
5. TRENIRANJE I TESTIRANJE RAZVIJENE METRIKE ZA OCJENU
KVALITETE VIDEA BEZ MOGUĆNOSTI PRITUPA REFERENTNOJ
SEKVENCI

Razvijena metrika trenirana je i testirana na sljedećim video bazama: FERIT-RTRK, FERIT-

RTRK-2, CSIQ, LIVE. Obuhvaćeno je testiranje i treniranje na istim podskupovima pojedinih
baza i kombinacijama baza kao i treniranje na jednom podskupu, a testiranje na drugom
podskupu pojedine baze te kombinacije baza. Za usporedbu rezultata metrike sa subjektivnim
ocjenama korišteni su PLCC i Spearmanov koeficijent korelacije poretka (engl. Spearman's rank
correlation coefficient - SRCC). Prije treniranja i testiranja metrike sve subjektivne ocjene
linearno su transformirane u interval od 0 do 1 gdje 0 odgovara najvišoj ocjeni kvalitete. Kao
parametar x u formuli (4-3), za sekvence komprimirane H.264 i H.265 algoritmima korištene su
povratne vrijednosti algoritma za detekciju artefakata stvaranje blokova, dok su za sekvence
komprimirane MPEG-2 i MJPEG (engl. Motion Joint Photographic Experts Group) algoritmima
korištene povratne vrijednosti algoritma za detekciju artefakata gubitaka paketa. Ovime je
ostvarena veća korelacija rezultata objektivne metrike sa subjektivnim ocjenama za sekvence
komprimirane MPEG-2 i MJPEG algoritmima, a u potpoglavlju 6.1. opisan je način klasifikacije
testne sekvence čime se omogućava da metrika na temelju testne sekvence bez poznavanja
algoritma za kompresiju odredi predaje li se unutar razvijene metrike formuli (4-3) kao
vrijednost x rezultat algoritma za detekciju artefakata stvaranja blokova ili rezultat algoritma za
detekciju artefakata gubitaka paketa.

Rezultati treniranja i testiranja razvijene metrike na istim podskupovima pojedinih baza

prikazani su u tablici 5.1. gdje se može primijetiti kako za sekvence komprimirane MPEG-2,
MJPEG i H.264 algoritmima metrika daje rezultate koji imaju relativno visoku korelaciju sa
subjektivnim ocjenama, dok je korelacija ocjena razvijene metrike sa subjektivnim ocjenama
relativno niska za sekvence komprimirane H.265 algoritmima. Razlog tome je to što se u
sekvencama komprimiranim H.265 algoritmima artefakti kompresije ne manifestiraju kao
vertikalni i horizontalni oštri rubovi. Za očekivati je da bi za sekvence komprimirane H.265
algoritmima bolji rezultati mogli biti ostvareni korištenjem mjere zamućivanja video okvira.

Zbog međusobno sličnog odnosa razine degradacije video artefaktima i pripadnih

subjektivnih ocjena, pokazalo se kako se baze FERIT-RTRK, FERIT-RTRK-2 i CSIQ za
treniranje i testiranje mogu koristiti u kombinaciji, osim sekvenci komprimiranih H.265
algoritmom jer je korelacija objektivnih i subjektivnih ocjena za ove sekvence relativno mala.

27
Rezultati treniranja i testiranja razvijene metrike na istim podskupovima kombinacija ovih baza
prikazani su u tablici 5.2. Zbog međusobno sličnih prostornih artefakata kompresije, sekvence
komprimirane MJPEG i MPEG-2 algoritmima promatrane su također i unutar iste grupe.

Tab. 5.1. Rezultati testiranja novo-stvorene metrike nakon provedenog postupka treniranja na
cijelim podskupove pojedinih baza video signala

Baza Podskup PLCC SRCC

MPEG-2 0.9742 0.9524
FERIT-RTRK H.264 0.9456 0.9541
H.265 0.6334 0.5855
MPEG-2, MPEG-2 + freeze 0.9330 0.9559
FERIT-RTRK-2 H.264, H.264 + freeze 0.9497 0.9731
H.265, H.265 + freeze 0.6760 0.6662
MJPEG 0.8993 0.8930
CSIQ H.264 0.8237 0.8263
H.265 0.2149 0.1117
MPEG-2 0.8529 0.8538
LIVE
H.264 0.6310 0.5681

Tab. 5.2. Rezultati testiranja novo-stvorene metrike nakon provedenog postupka treniranja na
cijelim podskupove pojedinih kombinacija baza video signala

Baze Podskup PLCC SRCC

FERIT-RTRK MPEG-2, MPEG-2 + freeze 0.9475 0.9584
FERIT-RTRK2 H.264, H.264 + freeze 0.9467 0.9638
FERIT-RTRK MJPEG; MPEG-2 0.8202 0.7534
CSIQ H.264 0.8682 0.8752
FERIT-RTRK-2 MJPEG; MPEG-2 + freeze 0.8366 0.8301
CSIQ H.264, H.264 + freeze 0.9028 0.9174
FERIT-RTRK MJPEG; MPEG-2, MPEG-2 + freeze 0.8614 0.8582
FERIT-RTRK2
CSIQ H.264, H.264 + freeze 0.9050 0.9210

Kako bi se utvrdila generalizacija razvijene metrike, skupovi video sekvenci podijeljeni su na

dva podskupa – po jedan podskup za treniranje, odnosno testiranje metrike. Podjela je izvršena
na temelju izvornih sekvenci te su sve testne sekvence koje pripadaju dvama izvornim
sekvencama određene kao podskup za testiranje, dok su sve ostale sekvence skupa određene kao
podskup za treniranje. U tablici 5.3. prikazane su srednje PLCC i SRCC vrijednosti dobivene
nakon treniranja i testiranja razvijene metrike svim mogućim kombinacijama podskupova
grupiranih na prethodno definiran način. Dobivene korelacije se relativno malo razlikuju u

28
odnosu na one iz tablice 5.1., osim za sekvence komprimirane H.265 algoritmom za koje je
razlika između korelacija relativno velika. U tablici 5.3., može se primijetiti kako je korelacija
dobivena za sekvence komprimirane H.264 algoritmom triju baza u kombinaciji veća u odnosu
na korelacije dobivene za svaku od triju baza posebno. Razlog ovoga je to što kada su sve 3 baze
promatrane u kombinaciji, skup za treniranje svake iteracije sadrži testne sekvence 16 izvornih
sadržaja te je time povećana vjerojatnost generalizacije za sekvence koje nisu dio skupa za
treniranje u odnosu na slučaj u kojem se svaka baza promatra posebno pa skup za treniranje
sadrži sekvence manjeg broja izvornog sadržaja. Isti odnos vrijednosti korelacija ne može se
primijetiti za sekvence komprimirane MPEG-2 i MJPEG algoritmima. Pretpostavka je da je
razlog ovoga različit način rada ovih dvaju algoritama za kompresiju.

Tab. 5.3. Rezultati treniranja i testiranja kroz sve moguće iteracije podskupova za treniranje i
testiranje (testne sekvence dvaju izvornih sadržaja korištene za testiranje, a ostale za treniranje)

Broj
Baza Podskup PLCC SRCC
iteracija
MPEG-2 0.9592 0.9341
FERIT-RTRK 15 H.264 0.8145 0.8326
H.265 0.1972 0.2949
MPEG-2, MPEG-2+ freeze 0.8999 0.9237
FERIT-RTRK-2 15 H.264, H.264 + freeze 0.8656 0.8786
H.265, H.265 + freeze 0.2176 0.2582
MJPEG 0.7893 0.7997
CSIQ 66 H.264 0.7935 0.7602
H.265 0.0495 0.0698
MPEG-2 0.7612 0.8111
LIVE 45
H.264 0.4779 0.5054
FERIT-RTRK MPEG-2, MPEG-2 + freeze 0.9245 0.9363
15
FERIT-RTRK2 H.264, H.264 + freeze 0.8611 0.8768
FERIT-RTRK MJPEG; MPEG-2 0.8388 0.8095
153
CSIQ H.264 0.8727 0.8519
FERIT-RTRK-2 MJPEG; MPEG-2 0.8443 0.8568
153
CSIQ H.264, H.264 + freeze 0.8826 0.8699
FERIT-RTRK MJPEG; MPEG-2, MPEG-2 + freeze 0.8344 0.8372
FERIT-RTRK2 153
CSIQ H.264, H.264 + freeze 0.8898 0.8755

Za potrebe usporedbe razvijene metrika s postojećim objektivnim metrikama za korištene

baze određene su ocjene odabranih postojećih besplatno javno dostupnih objektivnih metrika.

29
 Tab. 5.4. Korelacija sa subjektivnim ocjenama za metrike PSNR, SSIM, VSNR, BRISQUE i
novo-razvijene metrike (NRVQ) za promatrane baze video sekvenci

Baza Podskup Objektivna metrika PLCC SRCC

PSNR 0.6045 0.6139
SSIM 0.7104 0.7512
MPEG-2 VSNR 0.7505 0.6983
BRISQUE 0.7392 0.7635
NRVQ 0.9592 0.9341
PSNR 0.7756 0.7685
SSIM 0.6870 0.7236
FERIT-RTRK H.264 VSNR 0.8163 0.8050
BRISQUE 0.7653 0.7574
NRVQ 0.8145 0.8326
PSNR 0.6719 0.6712
SSIM 0.6132 0.6403
H.265 VSNR 0.7588 0.7362
BRISQUE 0.6621 0.6752
NRVQ 0.1972 0.2949
PSNR 0.5394 0.5744
SSIM 0.6180 0.6841
MPEG-2, MPEG-2 + freeze VSNR 0.6720 0.6435
BRISQUE 0.7709 0.7961
NRVQ 0.8999 0.9237
PSNR 0.7741 0.7586
SSIM 0.6617 0.6978
FERIT-RTRK-2 H.264, H.264 + freeze VSNR 0.8311 0.8260
BRISQUE 0.7895 0.7626
NRVQ 0.8656 0.8768
PSNR 0.7392 0.6622
SSIM 0.6848 0.6539
H.265, H.265 + freeze VSNR 0.8022 0.7562
BRISQUE 0.6941 0.6860
NRVQ 0.2176 0.2582
PSNR 0.4858 0.5086
SSIM 0.8001 0.7969
MJPEG VSNR 0.3903 0.4026
BRISQUE 0.5133 0.5115
NRVQ 0.7893 0.7997
PSNR 0.8221 0.8023
SSIM 0.8454 0.8440
CSIQ H.264 VSNR 0.9110 0.9163
BRISQUE 0.5526 0.5655
NRVQ 0.7935 0.7602
PSNR 0.7969 0.7846
SSIM 0.7886 0.8136
H.265 VSNR 0.8478 0.8517
BRISQUE 0.3411 0.3953
NRVQ 0.0495 0.0698
PSNR 0.4010 0.3830
SSIM 0.5743 0.5610
MPEG-2 VSNR 0.5880 0.5874
BRISQUE 0.3215 0.3556
NRVQ 0.7612 0.8111
LIVE
PSNR 0.5391 0.4730
SSIM 0.6080 0.6561
H.264 VSNR 0.6178 0.6405
BRISQUE 0.2154 0.2638
NRVQ 0.4779 0.5054

30
Korištene su sljedeće objektivne metrike: PSNR, Structural similarity index (SSIM) [21], Visual
signal to noise ratio (VSNR) [22] i Blind/referenceless Image spatial quality evaluator
(BRISQUE) [23]. Dok zadnja od navedenih metrika radi bez mogućnosti pristupa informacijama
referentne video sekvence, preostale 3 metrike imaju potpuni pristup referentnoj sekvenci i dio
su alata IVQUEST [23]–[25].

U tablici 5.4. prikazane su apsolutne vrijednosti korelacija ocjena navedenih objektivnih

metrika i subjektivnih ocjena korištenih video baza. Za sekvence komprimirane H.265
algoritmom navedene metrike rezultiraju znatno većom korelacijom sa subjektivnim ocjenama
od razvijene metrike, a razlog tome je to što artefakti H.265 kompresije nisu obuhvaćeni
algoritmima korištenim unutar novo-stvorene metrike. Za sekvence komprimirane MPEG-2 i
H.264 algoritmima razvijena metrika daje rezultate s većom korelacijom sa subjektivnim
ocjenama u odnosu na ostale promatrane metrike ili neznatno manjom korelacijom u određenim
slučajevima u odnosu na metrike koje imaju potpuni pristup informacijama referentne video
sekvence.

31
6. KLASIFIKACIJA ALGORITAMA KOMPRESIJE I SMANJENJE
RAČUNALNIH ZAHTJEVA METRIKE

6.1. Klasifikacija algoritama kompresije na temelju detektiranih video

artefakata

Kako se pokazalo da razvijena metrika za sekvence komprimirane H.264 algoritmima daje

bolje rezultate korištenjem vrijednosti koje vraća algoritam za detekciju artefakata stvaranja
blokova, dok za sekvence komprimirane MPEG-2, odnosno MJPEG algoritmima metrika daje
bolje rezultate korištenjem vrijednosti koje vraća algoritam za detekciju artefakata gubitaka
paketa, poznavanje algoritma kojim je komprimirana testna sekvenca ima velik utjecaj na
rezultate metrike. Često, algoritam kompresije testne sekvence nije poznat, pa je potreban
drugačiji pristup. Za ove potrebe razvijena je metoda klasifikacije testnih sekvenci.

Tab. 5.1. Korelacija sa subjektivnim ocjenama za metrike PSNR, SSIM, VSNR, BRISQUE i
novo-razvijene metrike (NRVQ) za Skup sekvenci s artefaktima kompresije MPEG-2, MJPEG i
H.264 algoritama i artefaktima smrzavanja slike baza FERIT-RTRK, FERIT-RTRK-2 i CSIQ

Objektivna metrika PLCC SRCC

PSNR 0.6522 0.6684
SSIM 0.6880 0.7343
VSNR 0.6719 0.6931
BRISQUE 0,3562 0.3824
NRVQ 0.7825 0.7701

Za kombinaciju triju baza – FERIT-RTRK, FERIT-RTRK-2 i CSIQ – izdvojena su 2

podskupa video sekvenci – video sekvence komprimirane H.264, odnosno H.265 algoritmima i
video sekvence komprimirane MPEG-2, odnosno MJPEG algoritmima (sekvence FERIT-RTRK-
2 baze unutar ovih skupova uz artefakte kompresije sadrže i artefakte gubitaka paketa te
artefakte smrzavanja slike). Za svaku sekvencu ovih dvaju skupova određene su srednje
vrijednosti rezultata koje vraćaju algoritam za detekciju artefakata stvaranja blokova i algoritam
za detekciju artefakata gubitaka paketa. Odnosi ovih rezultata prikazani su na slici 6.1. Gdje se
može primijetiti kako je moguće odrediti pravac koji savršeno dijeli skup svih sekvenci na dva
podskup od kojih jedan sadrži sve sekvence komprimirane H.264, odnosno H.265 algoritmima, a
drugi sve sekvence komprimirane MPEG-2, odnosno MJPEG algoritmima. Maksimalna srednja
32
vrijednost rezultata koje vraća artefakt za detekciju artefakata stvaranja blokova za podskup
H.264, odnosno H.265 sekvenci je veća od minimalne srednja vrijednost koju vraća za podskup
MPEG-2, odnosno MJPEG pa se pravac za klasifikaciju može odrediti pronalaskom jedne
konstante te ima oblik f(x) = y.

Kako bi se testirala generalizacija klasifikacije, skup triju navedenih baza podijeljen je u 18

podskupva prema referentnim sekvencama. Kroz 18 iteracija, po jedan od podskupova ostavljen
je za testiranje, dok je preostalih 17 korišteno za određivanje konstante klasifikacije. Za svaku je
iteraciju, tijekom testiranja, određen postotak točno predviđenog podskupa algoritma kompresije,
a prosječna vrijednost ovih postotaka kroz 18 iteracija je 98.77% - u dvije od 18 iteracije po
jedna od testnih sekvenci promatrane iteracije nije točno klasificirana.

Sl. 6.1. Odnosi srednjih vrijednosti rezultata koje vraćaju algoritam za detekciju artefakata
stvaranja blokova i algoritam za detekciju artefakata gubitaka paketa za sekvence komprimirane
različitim algoritmima kompresije

Skup sekvenci s artefaktima kompresije MPEG-2, MJPEG i H.264 algoritama i artefaktima

smrzavanja slike izdvojen iz ovih triju baza podijeljen je u 18 podskupova prema referentnoj
sekvenci. Kroz 18 iteracija po 2 podskupa su ostavljena za testiranje dok su ostali korišteni za

33
treniranje parametara metrike i klasifikaciju. Unutar skupa za treniranje način kompresije je
poznat te su trenirana dva skupa parametara – jedan za MPEG-2 i MJPEG sekvence te drugi za
H.264 sekvence. Unutar skupa za testiranje način kompresije nije poznat već se odluka o tome
koji će se od dvaju naučenih skupova parametara metrike koristiti donosi na osnovi naučene
konstante klasifikacije. Srednja vrijednost ovih iteracije dobivena za PLCC je 0.7825, a za SRCC
0.7701. Korelacije koje su za ovaj skup sekvenci ostvarene odabranim javno dostupnim
objektivnim metrikama prikazane su u tablici 6.1.

Pretpostavka je da bi se daljnja klasifikacija između sekvenci komprimiranih H.264, odnosno

H.265 algoritmima mogla ostvariti korištenjem algoritma za detekciju artefakata zamućivanja.

6.2. Smanjenje računalnih zahtjeva metrike

Kako je računanje SI i TI vrijednosti prema formulama (4-1) i (4-2) računalno zahtjevno,

posebno kod sekvenci velike rezolucije i brzine izmjene okvira, provjereno je koliko će se, za
pojedinu sekvencu, ove vrijednosti promijeniti ako se one ne računaju na temelju svih okvira
sekvenc.

Tab. 6.1. Rezultati analize SI vrijednosti za poduzorkovanje okvira

n 2 4 8 16
Prosječna Maksimalna Prosječna Maksimalna Prosječna Maksimalna Prosječna Maksimalna
Baza Podskup promjena promjena promjena promjena promjena promjena promjena promjena
[%] [%] [%] [%] [%] [%] [%] [%]
MPEG-2 0.43 1.5 1.45 5.03 1.57 5.29 1.85 5.96
FERIT-
H.264 0.57 5.68 0.65 5.81 0.77 5.48 1.12 6.4
RTRK
H.265 0.57 2.65 0.76 4.27 0.82 4.1 1.17 5.09
MJPEG 0.43 1.5 1.45 5.03 1.57 5.29 1.85 5.96
CSIQ H.264 0.09 0.34 0.16 0.74 0.18 0.87 0.56 2.19
H.265 1.13 2.77 1.98 4.86 3.07 8.14 3.44 8.54
MPEG-2 0.05 0.29 0.12 0.41 0.38 1.15 1.21 3.47
LIVE
H.264 0.14 0.48 0.27 0.68 0.63 2.6 1.52 7.43

Tab. 6.2. Rezultati analize TI vrijednosti za poduzorkovanje okvira

34
 n 2 4 8 16
Prosječna Maksimalna Prosječna Maksimalna Prosječna Maksimalna Prosječna Maksimalna
Baza Podskup promjena promjena promjena promjena promjena promjena promjena promjena
[%] [%] [%] [%] [%] [%] [%] [%]
MPEG-2 2.12 9.77 1.82 15.05 2.19 16.36 2.73 19.97
FERIT-
H.264 0.79 7.08 1.18 5.22 1.2 6.79 1.95 7.72
RTRK
H.265 0.66 4.46 1.37 6.94 1.54 7.6 2.67 6.85
MJPEG 0.29 1.73 0.45 2.06 0.67 3.45 2.18 14.72
CSIQ H.264 0.49 2.29 0.82 3.27 0.94 3.89 2.53 17.28
H.265 0.47 2.32 0.84 2.55 2.27 7.49 3.62 15.28
MPEG-2 0.2 0.66 0.54 22.95 1.57 7.2 2.35 5.99
LIVE
H.264 0.69 3.21 0.56 3.16 1.99 8.14 3.49 10.3

Za pojedinu sekvencu pripadne baze određene su SI i TI vrijednosti dobivene korištenjem

svakog n-tog okvira te su dobivene vrijednosti uspoređene s onima dobivenima korištenjem svih
okvira promatrane sekvence. Za pojedinu sekvencu izračunata je relativna promjena SI, odnosno
TI vrijednosti prema formuli (6-1):

|𝑣𝑎 −𝑣𝑏 (𝑛)|

𝑝𝑟 = ∙ 100% , (6-1)
𝑣𝑎

gdje je:

va – SI (ili TI) vrijednost dobivena korištenjem svih okvira promatrane sekvence,

vb(n) – SI (ili TI) vrijednost dobivena korištenjem svakog n-tog okvira promatrane sekvence.

U tablici 6.1. prikazane su prosječne i maksimalne pr vrijednosti izračunatih za sekvence

pojedinih podskupa pojedinih baza. Iz tablica se može vidjeti kako se poduzorkovanjem okvira,
čime su smanjeni računalni zahtjevi, SI i TI vrijednosti ne mijenja znatno za razumne razine
poduzorkovanja.

35
7. ZAKLJUČAK

Razvoj objektivnih metrika za ocjenu kvalitete videa potreban je kako bi se njima zamijenili
subjektivni testovi kvalitete videa koji su skupi i vremenski zahtjevni. Od posebnog su značaja
objektivne metrike koje rade bez mogućnosti pristupa informacijama referentnih video sekvenci.

Za potrebe razvijanja i testiranja objektivnih metrika kreiraju se video baze te nad njima
provode subjektivni testovi, a cilj objektivnih metrika je dati ocjene što sličnije onima dobivenim
subjektivnim testovima. Kreirane video baze sadrže sekvence degradirane kompresijom,
gubitkom paketa i smrzavanjem slike te kombinacijama navedenog kako bi se utvrdio
međusoban utjecaj različitih video artefakata.

Razvoj metrike predstavljene u radu rađen je u programskom jeziku Python, a konačna

verzija metrike je napisana u jeziku C. Metrika radi bez mogućnosti pristupa informacijama
referentne video sekvence te svoj rad bazira na rezultatima algoritama za detekciju artefakata
stvaranja blokova, gubitaka paketa i smrzavanja slike. Dodatno, metrika u obzir uzima složenost
video sadržaja testne sekvence te koristi nelinearnu transformaciju.

Pretpostavka je da bi se poboljšanje metrike moglo ostvariti korištenjem dodatnih algoritama

za detekciju artefakata – npr. artefakata zamućivanja – za što se očekuje da bi rezultiralo dobrim
predviđanjem ocjena sekvenci komprimiranih H.265 algoritmima. Također su moguća
poboljšanja u detekciji artefakata gubitaka paketa gdje je potreban razvoj metrike koja može
detektirati artefakte gubitaka paketa za sekvence komprimirane H.264 i H.265 algoritmima te
uspješno razlikuje artefakte gubitaka paketa od artefakata stvaranja blokova kod sekvenci
kodiranih MPEG-2 algoritmima.

36
LITERATURA
[1] Video Quality Experts Group (VQEG), FRTV Phase I, [Online] Dostupno na:
https://www.its.bldrdoc.gov/vqeg/projects/frtv-phase-i/frtv-phase-i.aspx, 08.09.2017.

[2] Video Quality Experts Group (VQEG), FRTV Phase II, [Online] Dostupno na:
https://www.its.bldrdoc.gov/vqeg/projects/frtv-phase-ii/frtv-phase-ii.aspx, 08.09.2017.

[3] K. Seshadrinathan, R. Soundararajan, A. C. Bovik, L. K. Cormack, Study of Subjective

and Objective Quality Assessment of Video, IEEE Trans. Image Process., sv. 19, br. 6,
str. 1427–1441, Lipanj 2010.

[4] A. K. Moorthy, L. K. Choi, A. C. Bovik, G. de Veciana, Video Quality Assessment on

Mobile Devices: Subjective, Behavioral and Objective Studies, IEEE J. Sel. Top. Signal
Process., sv. 6, br. 6, str. 652–671, Listopad 2012.

[5] M. Vranješ, S. Rimac-Drlje, D. Vranješ, ECVQ and EVVQ video quality databases, in
Proceedings ELMAR-2012, 2012, str. 1–5.

[6] P. V. Vu, D. M. Chandler, ViS3: an algorithm for video quality assessment via analysis
of spatial and spatiotemporal slices, J. Electron. Imaging, sv. 23, br. 1, Veljača 2014.

[7] F. D. Simone, M. Naccari, M. Tagliasacchi, F. Dufaux, S. Tubaro, T. Ebrahimi,

Subjective assessment of H.264/AVC video sequences transmitted over a noisy channel,
in 2009 International Workshop on Quality of Multimedia Experience, 2009, str. 204–
209.

[8] Ultra Video Group, Test Sequences, [Online]. Dostupno na:

http://ultravideo.cs.tut.fi/#main, 08.09.2017.

[9] P.910 : Subjective video quality assessment methods for multimedia applications,
[Online], Dostupno na: https://www.itu.int/rec/T-REC-P.910-200804-I/en, 08.09.2017.

[10] FFmpeg, [Online], Dostupno na: https://www.ffmpeg.org/, 08.09.2017.

[11] P.913 : Methods for the subjective assessment of video quality, audio quality and
audiovisual quality of Internet video and distribution quality television in any
environment. [Online], Dostupno na: https://www.itu.int/rec/T-REC-P.913-201603-I/en,
08..09.2017.

37
[12] R. Pauliks, I. Slaidins, K. Tretjaks, A. Krauze, Assessment of IP packet loss influence on
perceptual quality of streaming video, 2015 Asia Pacific Conference on Multimedia and
Broadcasting, 2015, str. 1–6.

[13] A. Mittal, R. Soundararajan, A. C. Bovik, Making a ‘Completely Blind’ Image Quality

Analyzer, IEEE Signal Process. Lett., sv. 20, br. 3, str. 209–212, Ožujak 2013.

[14] M. A. Saad, A. C. Bovik, C. Charrier, Blind Prediction of Natural Video Quality, IEEE
Trans. Image Process., sv. 23, br. 3, str. 1352–1365, Ožujak 2014.

[15] K. Zhu, C. Li, V. Asari, D. Saupe, No-Reference Video Quality Assessment Based on
Artifact Measurement and Statistical Analysis, IEEE Trans. Circuits Syst. Video
Technol., sv. 25, br. 4, str. 533–546, Travanj 2015.

[16] No-Reference Video Quality Assessment With 3D Shearlet Transform and Convolutional
Neural Networks - IEEE Journals & Magazine, [Online], Dostupno na:
http://ieeexplore.ieee.org/document/7103036/, 10.09.2017.

[17] Image and Video Processing Laboratory, [Online], Dostupno na:

http://ivp.ee.cuhk.edu.hk/research/database/subjective/index.shtml, 20.09.2017.

[18] A. F. Silva, M. C. Q. Farias, J. A. Redi, Perceptual Annoyance Models for Videos With
Combinations of Spatial and Temporal Artifacts, IEEE Trans. Multimed., sv. 18, br. 12,
str. 2446–2456, Prosinac 2016.

[19] X. Li, Q. Guo, X. Lu, Spatiotemporal Statistics for Video Quality Assessment, IEEE
Trans. Image Process., sv. 25, br. 7, str. 3329–3342, Srpanj 2016.

[20] Video Quality Experts Group (VQEG), [Online], Dostupno na:

https://www.its.bldrdoc.gov/vqeg/projects/hdtv/hdtv.aspx, 20.09.2017.

[21] Z. Wang, A. C. Bovik, H. R. Sheikh, E. P. Simoncelli, Image quality assessment: from

error visibility to structural similarity, IEEE Trans. Image Process., sv. 13, br. 4, str. 600–612,
Travanj 2004.

[22] D. M. Chandler and S. S. Hemami, VSNR: A Wavelet-Based Visual Signal-to-Noise

Ratio for Natural Images, IEEE Trans. Image Process., sv. 16, br. 9, no. 2284–2298, Rujan
2007.

38
[23] A. Mittal, A. K. Moorthy, A. C. Bovik, No-Reference Image Quality Assessment in the
Spatial Domain, IEEE Trans. Image Process., sv. 21, br. 12, no. 4695–4708, Listopad 2012.

[24] A. V. Murthy, A MATLAB Based Framework For Image and Video Quality Evaluation,
Master’s thesis, Arizona State University, Svibanj 2010.

[25] A. V. Murthy, L. J. Karam, IVQUEST- Image and Video QUality Evaluation SofTware,
[Online], Dostupno na: http://ivulab.asu.edu/Quality/IVQUEST, 20.09.2017.

[26] A. V. Murthy and L. J. Karam, A MATLAB Based Framework For Image and Video
Quality Evaluation, International Workshop on Quality of Multimedia Experience (QoMEX),
pages 242-247, Lipanj 2010.

39
SAŽETAK

U ovom radu razvijena je objektivna metrika koja bez mogućnosti pristupa informacijama
referentne video sekvence, na temelju detektiranih artefakata, daje ocjenu kvalitete testne video
sekvence. Za potrebe razvoja i testiranja metrike kreirane su dvije nove video baze te su nad
pripadnim sekvencama provedeni subjektivni testovi. Uz kreirane baze, korištene su još dvije
javno dostupne video baze za testiranje rada novo-stvorene metrike. Metrika uzima u obzir
vremensko i prostorno maskiranje artefakata te koristi Minkowski vremensko sažimanje
povratnih vrijednosti korištenih algoritama za detekciju artefakata i nelinearnu transformaciju.
Za potrebe poboljšanja predviđanja kvalitete, razvijen je model za klasifikaciju načina
kompresije izvornog sadržaja.

Ključne riječi: objektivna ocjena kvalitete videa, obrada bez reference, video baza, subjektivna
ocjena kvalitete videa, video artefakti

40
OBJECTIVE VIDEO QUALITY MEASURE BASED ON ARTIFACTS
DETECTED IN VIDEO

ABSTRACT

In this Master Thesis an objective no-reference metric for video quality assessment based
on artifact detection was developed. For requirements of metric development and testing, two
new video quality databases were created and subjective quality assessment experiments
conducted. Two other publicly available video quality databases were also used for the newly-
created video quality metric testing. The developed metric takes spatial and temporal artifact
masking effects into account, uses Minkowski temporal pooling to pool values returned by
algorithms for artifact detection and nonlinear transformation. A model for compression method
classification was developed resulting in increase of video quality prediction performance.

Key words: objective video quality assessment, no-reference processing, video quality database,
subjective video quality assessment, video artifacts

41
ŽIVOTOPIS

Viliams Bajčinovci rođen je 19.08.1993. godine u Osijeku. Nakon završetka Elektrotehničke

i prometne škole Osijek, 2012. godine, upisuje preddiplomski studij elektrotehnike na
Elektrotehničkom fakultetu Osijek koji 2015. godine završava s temom završnog rada –
„Programsko rješenje za proračun srednje snage signala Parsevalovim teoremom“. Trenutno je
student 2. godine diplomskog studija elektrotehnike na Fakultetu elektrotehnike, računarstva i
informacijskih tehnologija Osijek te stipendist i praktikant Instituta RT-RK Osijek. Zainteresiran
je za komunikacijske tehnologije i različite razine razvoja programskih rješenja. Poznaje sljedeće
programske jezike: C, C++, C#, Python, MATLAB, Java, SQL, PHP, JavaScript, HTML i CSS.
Aktivno govori, čita i piše engleski jezik.

42