VISOKO REZOLUCIONA ENTROPIJOM OGRANI^ENA

POLARNA KVANTIZACIJA
Peri}1 H. Zoran, Jovkovi}2 D. Jelena
1
Elektronski fakultet u Ni{u
2
Eektronski fakultet u Ni{u

I UVOD
Vektorska kvantizacija (VQ) je mo}na i efikasna {ema koja
je u {irokoj upotrebi u aplikaciji kodiranja govora i slike.
Kvantovanje skalara ima specifi~nu osobinu da }elije mogu
imati razli~ite veli~ine istog oblika, jer one predstavljaju
intervale na realnoj osi. Pri kvantovanju vektora svaka }elija
u npr. dvodimenzionalnom prostoru, pored razli~ite veli~ine
mo`e imati i razli~iti oblik. Ta sloboda predstavlja prednost
kvantovanja vektora u odnosu na kvantovanje skalara.
Problem konstrukcije entropijom ograni~enog kvantizera
svodi se na odre|ivanje kvantizera minimalnog izobli~enja D
me|u svim kvantizerima {( Ri , m i )1 i N } ~ija
entropija

P(r R ) log
i =1

( P (r Ri )) ne prelazi

unapred zadatu vrednost H, H>0.Prednost entropijskog

kodovanja ogleda se u tome {to se bez pove}anja brzine
prenosa posti`e kori{}enje ve}eg broja nivoa za kodovanje.
Za kvantizer se ka`e da je optimalan ako je izobli~enje
(distorzija) minimalno za svaki od L nivoa kvantizera.
Me|utim, za istu entropiju I distorziju bolji je onaj kvantizer
koji to posti`e manjim brojem kvantnih nivoa.
Brzina kao funkcija gre{ke R(D) za diskretne izvore bez
memorije odgovara definiciji kapaciteta kanala u teoriji
kodiranja kanala gde je kapacitet kanala maksimalna brzina
ispod koje je eksponenet gre{ke slu~ajnog kodiranja
pozitivan. U stvari, dok je kapacitet kanala jednak
maksimumu srednje uzajamne informacije, R(D) se javlja
kao minimum srednje uzajamne informacije pri postoje}im
ograni~enjima mere gre{ke. Minimizacijom entropije mi, u
stvari, vr{imo minimizaciju distorzije, odnosno nalazimo
R(D) koje se mo`e primeniti u praksi.
Do sada su se razvila uglavnom dva pristupa teoriji visoke
rezolucije [1], neformalni, uz jednostavne aprosimacije, i
rigorozni, gde su formule granica striktno izvedene. U ovom
radu }e biti prikazana razlika izme|u ova dva pristupa na
primeru polarne kvantizacije ograni~ene entropijom, a
tako|e }e biti dat odnos skalarne i polarne kvantizacije, bilo
da je ona ograni~ena entropijom, bilo da je optimalna po
distorziji.
Na osnovu dosada{njih rezultata [2] da optimalni vektorski
kvantizer ograni~en entropijom mora zadovoljiti konstantne
gustine ta~aka, mi odre|ujemo metod za konstrukciju
polarnog kvantizera kroz odgovaraju}I broj faznih podela za
i -ti nivo, kao i za optimalni broj nivoa.

II ASIMPTOTSKA ENTROPIJOM
POLARNA KVANTIZACIJA

OGRANI^ENA

Ovde razmatramo uniformni polarni kvantizer koji se

karakteri{e sa L amplitudskih nivoa i Pi rekonstrukcionih
nivoa faze na rekonstrukcionom nivou amplitide mi, 1 i L.
i L. Da bi minimizirali distorziju pristupamo slede}oj
analizi:
Najpre na~inimo particiju opsega amplitude [0,rL ] u
prstenove amplitude koriste}i L nivoa odluke ri 1iL
(0<r 1<r2<...<rL<rL+1=rmax). Amplitudski rekonstrukcioni nivoi
o~igledno zadovoljavaju (0<m1<m2<...<mL ). Zatim,
na~inimo particiju svakog amplitudskog prstena u Pi faznih
subparticija. Neka su i,j i i,j+1 dva fazna nivoa odluke, i
neka i,j bude j-ti fazni rekonstrukcioni nivo za i-ti
amplitudski
prsten,
1jPi.
Tako
su
i
i , j = ( j 1)2 / Pi ; j = 1,2,..., N i + 1; ,

i , j = (2 j 1) / Pi .
Amplitudski nivoi odluke i rekonstrukcioni nivoi su dati
kao:
ri = (i 1) , 1 i L + 1
mi = (i 1 / 2) , 1 i L

U isto vreme, fazni nivoi odluke, i rekonstrukcioni nivoi su

dati
sa
:

2( j 1)
, 1 i Pi + 1
Pi
(2 j 1)
=
1 i Pi .
Pi

i , j =
i , j

Veli~ina koraka odre|uje ceo sistem kao visokorezolucioni. Kod unifornne kvantizacije je ba{ ta
karakteristika glavni parametar ali je za vektorsku
kvantizaciju potrebna odrednica vi{e, tj. gustina ta~aka.
Posmatra}e se samo granularna distorzija imaju}i u vidu
srednjekvadratnu gre{ku (mse) [3], koja se mo`e izraziti kao:

mse =

L
2L
m 2
+ i 2
12 i =1 3Pi

ri +1

rf (r )dr

(1)

ri

Asimptotska jedna~ina se mo`e izvesti iz op{te ako se

ri + 1

primeni aproksimacija

rf ( r)dr m
ri

f ( mi ) , gde je

=ri+1-ri . Aproksimacije se odnose na to da je zanemarena

distorzija prekora~enja te da se gustina na malom intrvalu
mo`e smatrati konstantnom.
Poznato je da minimalna distorzija za vektorsku kvantizaciju
entropijom ograni~enu treba da zadovolji uslov konstantne
gustine ta~aka :
(ri ,ij ) = const .
Druga~ije re~eno:

1
a imaju}i u vidu polarnu
(ri ,ij ) =
N S (ri ,ij )

r 2

1
f (r )
2
f (r, ) =
re 2 =
2
2
2
1)

gde

Iz ovog uslova i uslova da je ukupan broj ta~aka

L

P = N , sledi da je :
i

Pi =

Kada se izvr{i minimizacija granularne distorzije (1) i njena

optimizacija dobija se izraz za optimalan broj nivoa Lopt :

N
.

Zamenom ovog izraza u (1) dobija se jedna~ina granularne

distorzije po dimenziji:

Dg2Dpodim enziji =

r2
1
mse = max .
2
12 N

m
i
rmax
2
1
L =
(i ) =
f ( mi ) =
m ie 2 ,
L ,
Pi i
2
a
2i 1
gde je mi =
L .
2

Distorzija

po

Dg2Dpo dim enziji

r2
1
= mse = max
2
12 N 2

optimalni

broj

1
= 2 P (mi ) ld
P (mi )
i =1

(2)

gde je P(mi ) f (mi ) ,

1D
L

1D
2rmax

a funkcija

N1

r 2

1
f (r )
2
f (r, ) =
e 2 =
2
2
2 .

Skalarna distorzija je:

Dgscal =

2
rmax
3N 1

je

nivoa

(3)
U slu~aju zavisnosti entropije od distorzije u dve dimenzije
razmatramo dva podslu~aja: 1) entropijom ograni~ena
distorziju i 2) optimiziranu distorziju . U oba podslu~aja
funkcija raspodele ima isti oblik:

ovde

data

kao:

(5),

je

Lopt =

N2
,

2) Kada je u pitanju optimalna distorzija [3], izraz za

entropiju je isti ali se razlikuju jedna~ine za optimalni broj

rmax
4

Pi

opt
g

2
rmax
6

108(1 e

N2
,

2
rmax

)3

mi2

N 2 m i rmax
3(1 e

1D
L

dimenziji

rmax = 2 log N 2 .

N1

raspodele je:

1
mi e 2 L (i)
2
,

nivoa i distorziju, tj. : Lopt =

Da bi smo uporedili postupak polarne entropijom ograni~ene

kvantizacije i skalarne entropijom ograni~ene kvantizacije
prora~una}emo zavisnost entropije od distorzije.
Zavisnost entropije od distorzije se mo`e iskazati za slu~aj
skalarne
kvantizacije
kao:

H1D

data

mi2

j =1

Lopt =

verovatno}a

(4),
kao

(r 2 i +1 r 2 i )
S (ri ,ij ) =
.
Pi

Nmi

je

Pij =

kvantizaciju

i =1

1 L Pi
1
Pij ld

2 i =1 j =1
Pij

H 2 D podim rnziji =

)L

3
=
(1 e
2N 2

2
rmax

)3/2

(6).

Poznato je da su dobri rezultati ostvarivi uniformnim

skalarnim kvantizerima i entropijskim kodiranjem visokog
reda [1]. Me|utim, to jesu ekstremni zahtevi, tako da
prakti~ni sistemi te`e da na~ine kompromis izme|u
dimenzije kvantizera i reda entropijskog kodovanja.
Rezultati ovakvog poredjenja se najbolje mogu ilustrovati
grafikom koji daje zavisnost entropije od distorzije po
dimenziji.

4.0

H 2D po dimenziji ograni~ena entropijom

H 2D po dimenziji optimalna po distorziji

Entropija

3.5

rmax 2

1
1
H2 D
r
e
0 0 2 2 ld 1 r 2 drd
e 2
2
r
r2
2

1
N max 1
2
.
+
r
e
drd
ld 2

2 rmax 0 0 2

1
=
2

H 1D

3.0

Izraz u poslednjoj zagradi je pribli`no jednak 1 tako da

prethodni izraz dobija jednostavan zapis:

2.5

2.0

H 2 D h(G) +

1.5

10

12

14

16

18

20

22

10log(1/D)

Slika 1. Zavisnost entropije od distorzije u slu~aju skalarne

kvantizacije, kvantizacije ograni~ene entropijom i optimalne
po distorziji.
Na osnovu grafika ali i analiti~ki, kao {to }e kasnije biti
pokazano, mo`e se zaklju~iti da bolje rezultate daje polarna
kvantizacija ograni~ena entropijom, ~ak najbolje, u slu~aju
kada je N2=N1. Tada je za istu entropiju D2D< D1D.
Krajnji zaklju~ak bi bio da je za istu distorziju najbolje
koristiti uniformnu polarnu kvantizaciju ograni~enu
entropijom.
III ANALITI^KI PRIKAZ ZAVISNOSTI DISTORZIJE
OD ENTROPIJE
U ovom delu rada da}emo prikaz analiti~kog prora~una za
entropiju dvodimenzionalnog izvora upore|uju}i na{a
zapa`anja sa rezultatima iz literature [2]. Pokaza}emo i
razliku izme|u pribli`ne i ta~ne zavisnosti entropije od
distorzije.
Polazimo od jedna~ine (4), koja se nakon nekoliko
transformacija mo`e zapisati kao:

H 2D

tj.

ld

mi2

mi2
1
L Pi

1
1
e
= mi e 2 2
L (i )
2 i =1 j =1 2

1
+ ld

mi L (i )

1 L Pi 1
mi e
2 i =1 j =1 2

m2
i
2

1 L Pi 1
+ mi e
2 i =1 j =1 2

ld

1
e
2
mi2
2

(ld

mi2

L (i )

N
) L (i )
L L2

Zbog same karakteristike visoke rezoluzije suma prelazi u

integral:

gde je

h(G) =

entropija. Dakle,

1
N
ld 2
2 rmax

1
ld 2 e
2

(7)

Gausova diferencijalna

1
1
N
ld 2 e + ld 2
.
2 rmax
2
2

rmax
Iz (5) se dobija:
= 12 D g2 D , uz N2=N.
N2
1
1
1
Dalje je: H 2 D ld 2 e + ld
.
2
2 12 Dg2 D
H 2D

Rezultat Gish-Pierce [4] za polarnu kvantizaciju za 2D je:

H2D =

1
2e
ld
2 12 Dg2D

(8)

a za skalarnu kvantizaciju ko ja je entropijom ograni~ena

1
2e
H1D = ld
.
2 12Dg2 D

Zavisnost izme|u N2 i N1 kada su entropije za 1D i 2D

jednake (H1D = H2D) se mo`e prikazati upore|ivanjem ove
dve entropije ~ime se dolazi do zaklju~ka:

N1 =

4
N2

tj. da za istu entropiju u 1D i 2D je potrebno 1.273 putavi{e

ta~aka pri skalarnoj kvantizaciji nego pri polarnoj
kvantizaciji koja je ograni~ena entropijom. Naravno da
manji broj ta~aka automatski zna~i i bolje karakteristike,
manju komleksnost i jednostavniju realizaciju.
Ako bi smo optimizirali ukupnu distorziju (a ne samo
2D
1D
granularnu), za slu~ajeve 1D i 2D, va`i }e rmax
< rmax
tako
da je zapravo N1>1.27 N2.
Izraz za pribli`nu distorziju u 2D dobijamo kao:

Dg2D

1 2( H 2 D h( G ))
e
12

Mo`e se zaklju~iti da je:

1
2e
H 2 D < h(G) + ld
2 12 D g2D

(9)

te smo na ovaj na~in iskazali pribli`nu vrednost za entropiju

u 2D. Ta~an analiti~ki oblik se dobija u slede}ih nekoliko
koraka tj. polazi se od:
r2

1
1 2
1
r e ld
drd +

r2
2 rmax 0 2

1
re 2
2
2
rmax

1
1
+ ld
1 e 2 ,
2D

2 12 D g

H 2 D = h(G)

{to

bi

se

moglo

zapisati

1 e 2

2
r
2
max

ld 2 ld e rmax
h1 =
+
(
+ 1) e 2 1 .
2
2 2

1
2

H 2 D = h(G ) h1 + ld

1
12Dg2 D

2
rmax

kao

, gde je

Zaklju~uje se da je h1>0 i izraz za H2D se mo`e jednostavnije

zapisati kao :

1
1
l,
H 2 D = h(G) h1 + ld
2 12 D g2 D
r2
max
2

gde je l ustvari:
l =1 e
.
Tada je ta~an izraz koji prikazuje zavisnost granularne
distorzije u 2D (po dimenziji) od odgovaraju}e entropije:
2

2D
g

1 ( H2 D h(G )+h1 )
= 2 l
12

(10)

IV ZAKLJU^AK
Entropijom ograni~ena kvantizacija je i danas vrlo aktuelna,
~ak i za najjednostavnije slu~ajeve [5]. U ovom radu dati su
izrazi za optimalni broj nivoa Lopt i optimalni broj faznih
podela Piopt za i-ti nivo optimalnog polarnog MSE kvantizera
ograni~enog entropijom kao i odgovaraju}a jedna~ina za
granularnu distorziju u 2D, po dimenziji Dg2Dpo dim enziji .
Prikazana je jednostavna asimptotska analiza zavisnosti
entropije od distorzije za slu~ajeve entropijom ograni~ene
skalarne kvantizacije, za polarnu kvantizaciju optimalnu po
distorziji, kao i za optimalnu polarnu kvantizaciju
ograni~enu entropijom.

Pru`ena je i kompletna analiti~ka zavisnost H(D) i u slu~aju

manje formalne, pribli`ne analize , kao i slu~aju striktnih
ograni~enja. Predlo`enim postupkom smo pokazali da je
mogu}e dosti}i granicu Gish-Pirce-a (8) koriste}i manji broj
kvantnih nivoa po dimenziji.
LITERATURA
[1] Robert M. Gray, David L. Neufoff,Quantization,
Transaction on Information Theory, Vol. 44, No. 6,October
1998.
[2] Allen Gersho, Asymptotically Optimal Block
Quantization, Transaction on Information Theory, Vol. IT25, No. 4, July 1979.
[3] Zoran H. Peri}, Jelena D. Jovkovi}, Optimal Uniform
Polar Quantization, Zbornik radova TELSIKS 2001,
September 2001.
[4] Herbert Gish, John N. Pierce, Asymptotically Efficient
Quantizing, IEEE Transactions on Information Theory, Vol.
It-14, No. 5, September 1968.
[5] Andras Gyorgy, Tamas Linder, Optimal EntropyConstrained Scalar Quantization of a Uniform Source,
Transactions on Information Theory, Vol. 46, No. 7,
November 2000.
[6] Roger C. Wood, On Optimum Quantization, IEEE
Transactions on Information Theory, Vol. IT-15, No. 2,
March 1969.
Abstract: In this paper simple and complete asymptotical
analysis is given for constructing polar MSE entropy
constrained quantizer. According to those specifications, all
main equations are shown in order to provide optimal
number of levels (Lopt), optimal number of the phaze
partitions on level (Piopt), end, especially, relation between
entropy and distortion (H(D) ) for scalar entropy constrained
quantizer, optimal polar entropy constrained quantizer, and
for polar quantizer constrained by optimal distortion.
HIGH
RESOLUTION
ENTROPYENTROPY-CONSTRAINED
POLAR QUANTIZATION, Zoran H. Peri}, Jelena D.
Jovkovi}