2 de mar de 2004 Codificacin de imgenes y video

Teora de la Informacin
2 de mar de 2004 Codificacin de imgenes y video 2
El clima en el Ro de la Plata...
... N L N N L S N
... N L L T L L L
... N N L S N L L
... N S L S S T T
... S N N S S L N
... N S N T N N N
... L S T L N L N
p(N)=0.5, p(S)=0.25, p(L)=0.125, p(T)=0.125
N: nublado; S: soleado; L: lluvia; T: tormenta
2 de mar de 2004 Codificacin de imgenes y video
Motivacin
Para comunicar estos cuatro smbolos se acuerda usar
el siuiente c!dio"
#(N) = 00
#(S) = 01
#(L) = 10
#(T) = 11
Tpicamente uno se pasa usando el c!dio #(N)=00.
La preunta es" $e%iste otra codi&icaci!n m's
e&iciente(
2 de mar de 2004 Codificacin de imgenes y video 4
Formalizacin
Se puede considerar al estado del tiempo como una
)ariable aleatoria discreta *, con un al&abeto
+=,N,L,T,S-
. una &unci!n de probabilidad
p(%)=Probabilidad(*=%)
con % en +.
2 de mar de 2004 Codificacin de imgenes y video !
Formalizacin: informacin
/ado 0ue tpicamente esta nublado, el smbolo N
contiene poca 1in&ormaci!n2, es 1predecible2, es m's
probable, 1no es noticia2.
3n&ormaci!n. 4na medida de la in&ormaci!n podra ser"
3(%) = 5lo
2
(p(%))
3(N) = 1, 3(S) = 2, 3(L) = 6, 3(T) = 6
2 de mar de 2004 Codificacin de imgenes y video "
Informacin
$7u8 pasa si supi8ramos 0ue siempre est' nublado (p
(N)=1)(. 9n este caso 3(N) = 0, podemos predecir con
probabilidad 1 0ue )a a estar nublado, no :a.
incertidumbre, no :a. in&ormaci!n.
La situaci!n de ma.or incertidumbre es cuando p(N)
=p(L)=p(S)=p(T)=1;<.
2 de mar de 2004 Codificacin de imgenes y video #
Informacin
Si pudi8ramos eleir libremente (smbolos
e0uiprobables) entre 2 smbolos necesitaramos 1 bit,
para 1= smbolos necesitaramos < bits . en eneral
para N smbolos se necesitan lo
2
(N) bits.

lo
2
(N) = 5lo
2
(1;N), lo 0ue nos dice 0ue :a. una
relaci!n entre in&ormaci!n . cantidad de bits
necesarios.
2 de mar de 2004 Codificacin de imgenes y video $
Entropa
La entropa >(*) es la media de la in&ormaci!n de la
&uente"
3dea" La entropa mide la in&ormaci!n media, . por
tanto, la cantidad media de smbolos necesarios.
{ }

= =
X
x p x p x I E X H ) ( log ) ( ) ( ) (
2
2 de mar de 2004 Codificacin de imgenes y video %
Entropa
Se puede )er &'cilmente >(*)?=0. 9sto corresponde
al caso de menor incertidumbre
+dem's, >(*)@=lo(A+A), A+A=cantidad de elementos
+. Lo 0ue corresponde al caso de ma.or
incertidumbre, smbolos e0uiprobables.
2 de mar de 2004 Codificacin de imgenes y video &0
Entropa
/e&inici!n" % es una )ariable aleatoria discreta
(B.+./.) con probabilidad p(%) . un conCunto de
mensaCes posibles +=,%
1
,...,%
N
-.
/e&inici!n" 9ntropa
Dbser)aci!n" >(*) = 9, 5lo p(*) -

e
=
A x
x p x p X H ) ( log ) ( ) (
2 de mar de 2004 Codificacin de imgenes y video &&
Ejemplos de cdigos
111 11 0.125 Tormenta
110 10 0.125 Llu)ia
10 01 0.25 Sol
0 00 0.5 Nublado
#!dio 2 #!dio 1 Probabilidad 9)ento
2 de mar de 2004 Codificacin de imgenes y video &2
Largo medio
9l laro medio de estos c!dios es"
donde #(%) es el laro de %.
Para este caso
L1 = 2
L2 = 0.5 x 1 E 0.25 x 2 E 0.125 x 6 E 0.125 x 6 = 1.F5
>(%) =1.F5
+lcanGamos la entropa.

= =
X
x C x p x C E L ) ( ) ( )} ( {
2 de mar de 2004 Codificacin de imgenes y video &
Largo medio: ejemplo

Huente con dos smbolos *=,%

1
,%
2
}, con probabilidades
p
1
. p
2
.
#aso 1
p
1
=p
2
=0.5; x
1
=0; x
2
=1
H(X)=0.5 x log
2
(2) + 0.5 x log
2
(2) = 1
L = 0.5 x 1 + 0.5 x 1 = 1
#aso 2
p
1
=0.1; p
2
=0.9; x
1
=0; x
2
=1
H(X)=0.1 x log
2
(10) + 0.9 x log
2
(10/9) = 0.467
L = 0.1 x 1 + 0.9 x 1 = 1
2 de mar de 2004 Codificacin de imgenes y video &4
!annon
Se puede demostrar 0ue no e%iste ninIn c!dio 0ue
permita codi&icar a un bit5rate menor a la entropa.
Teorema (S:annon 1J<K)
Se puede demostrar tambi8n 0ue el bit rate se puede
acercar arbitrariamente a la entropa.
) ( } min{ X H L >
2 de mar de 2004 Codificacin de imgenes y video &!
Entropa conj"nta
/e&inici!n" La entropa conCunta >(*,L) de un par de
)ariables aleatorias con distribuci!n p(%,.) es"
Teorema (Mela de la cadena)"

= =
) , ( log ) , (
)} , ( log { ) , (
y x p y x p
y x p E Y X H
) | ( ) ( ) , ( X Y H X H Y X H + =
2 de mar de 2004 Codificacin de imgenes y video &"
Entropa #ondicional
/e&inici!n" La entropa condicional de dos )ariables
(*,L)Np(%,.) es"
Dbser)aci!n" +(*) es el al&abeto de *


e e
e

= = =
) ( ) (
) (
) | ( log ) , (
) | ( ) ( ) | (
X A x Y A y
X A x
x y p y x p
x X Y H x p X Y H
2 de mar de 2004 Codificacin de imgenes y video &#
$"ll%ac&'Lei%ler
/e&inici!n" La entropa relati)a o 1distancia2 OullbacP5
Leibler entre dos distribuciones de probabilidad p(%) .
0(%) se de&ine como"
Teorema"
. la iualdad se cumple si p(%)=0(%)

e
)
`

|
|
.
|

\
|
=
|
|
.
|

\
|
=
A x
x q
x p
E
x q
x p
x p q p D
' (
' (
log
' (
' (
log ' ( ' )) (
0 > ' )) ( q p D
2 de mar de 2004 Codificacin de imgenes y video &$
$"ll%ac&'Lei%ler: (plicaciones
Teorema" >(*) @= lo(A+A)
Teorema" 9l condicionar reduce la entropa,
>(LA*) @= >(L)
. la iualdad se da si * e L son independientes.
2 de mar de 2004 Codificacin de imgenes y video &%
E)tensin de "na f"ente
9%tensi!n de orden N
G
i
=(%
i1
, %
i2
, ... , %
iN
)
p(G
i
)= p(%
i1
) p(%
i2
)... p(%
iN
)
Teorema"
>(*
N
)=N.>(*)
2 de mar de 2004 Codificacin de imgenes y video 20
E)tensin de "na f"ente: ejemplo

Huente con dos smbolos *=,%

1
,%
2
}, con probabilidades
p
1
=0.1 . p
2
=0.9
Z={x
1
x
1
, x
1
x
2
, x
2
x
1
, x
2
x
2
}
p(Z)={0.01, 0.09, 0.09, 0.81}
H(Z)=0.01 x log
2
(100) + 2 x ( 0.09 x log
2
(100/9) )
+ 0.81xlog
2
(100/81) = 0.934=2 x 0.467
C1={00,01,10,11}
L1 = 0.01 x 2 + 2 x ( 0.09 x 2 ) + 0.81 x 2 = 2
C2={111,110,10,0}
L2 = 0.01 x 3 + 0.09 x 3 + 0.09 x 2 + 0.81 x 1 = 1,29
2 de mar de 2004 Codificacin de imgenes y video 2&
Regla de la cadena

Teorema" (Mela de la cadena) (*

1
,...,*
n
) N p(%
1
,...,%
n
)"
Teorema"

=

=
n
i
i i n
X X X H X X H
1
1 1 1
) ,..., | ( ) ,..., (

=
s
n
i
i n
X H X X H
1
1
) ( ) ,..., (
2 de mar de 2004 Codificacin de imgenes y video 22
*ependencia
Dbser)ando el estado del tiempo en das sucesi)os se
)e 0ue el estado del tiempo en un da depende del da
anterior . condiciona el siuiente.
No es simplemente una )ariable aleatoria sin
memoria.
2 de mar de 2004 Codificacin de imgenes y video 2
Formalizacin: Mar&ov de orden &
4na &uente se dice QarPo) de orden P si smbolos
sucesi)os son estadsticamente dependientes, i.e. cada
smbolo depende de los P anteriores
4na &uente QOS se especi&ica con"
k i X X x X p
k i i i
, ) , , | (
1
=


2 de mar de 2004 Codificacin de imgenes y video 24
M$: Entropa
La entropa de una &uente marPo) se de&ine a partir de
la entropa condicional

9n eneral >
QOS
(*) @ >
/QS
(*), por lo tanto, podramos
comprimir aIn m'sR
Bale el resultado >(*
N
)=N.>(*)

= ) , , | ( ) , , ( ) (
1 1 k i i k i i MKS
X X X H X X p X H


= =
=
) , , | ( log ) , , | (
) , , | (
1 2 1
1
k i i i k i i i
k i i
X X x X p X X x X p
X X X H

2 de mar de 2004 Codificacin de imgenes y video 2!

M+todos para sm%olos
dependientes
#odi&icaci!n condicional" Se calculan las nue)as
probabilidades dado el smbolo anterior. (>(*AL)@>(*)
)
#odi&icaci!n en blo0ues" Se arupan smbolos
consecuti)os en blo0ues (nue)os smbolos).

#odi&icaci!n predicti)a" /ado *

i
predecimos *
iE1
.
codi&icamos la di&erencia.
2 de mar de 2004 Codificacin de imgenes y video 2"
Ejemplo: codificacin
predictiva de im,genes
3dea" 4sa la redundancia presente en la imaen (la
correlaci!n entre los p%eles) para estimar el ni)el de
ris en (i,C)" S(i,C). 9rror" e(i,C)=S(i,C)53(i,C).
#ompresi!n con p8rdidas. Los )alores de e(i,C) son
cuanti&icados . comprimidos.
#ompresi!n sin p8rdidas. La seTal e no es
cuanti&icada.
2 de mar de 2004 Codificacin de imgenes y video 2#
Predicci!n lineal. T" template con p%eles anteriores
9l al&abeto de los errores de predicci!n ser' el doble
de rande 0ue el oriinal.
4n buen predictor minimiGa el errorU el smbolo m's
probable ser' el 0.

e
=
T i
i i
x a x

Ejemplo: codificacin
predictiva de im,genes
2 de mar de 2004 Codificacin de imgenes y video 2$
Ejemplo: codificacin
predictiva de im,genes
2 de mar de 2004 Codificacin de imgenes y video 2%
La predicci!n es S=(aEbEcEd);<.
Ejemplo: codificacin
predictiva de im,genes
2 de mar de 2004 Codificacin de imgenes y video 0
3maen di&erencia . su :istorama
Ejemplo: codificacin
predictiva de im,genes
2 de mar de 2004 Codificacin de imgenes y video &

$#!mo :allar los a

i
(
Si asumimos 3 estacionario con media 0. 9ncontramos
los a
i
minimiGando la esperanGa del error.
) , 1 ( ) 1 , 1 ( ) 1 , (

3 2 1
j i I a j i I a j i I a I + + =
) 1 , 0 ( ) 0 , 0 ( ) 0 , 1 ( ) 1 , 1 (
) 1 , 1 ( ) 0 , 1 ( ) 0 , 0 ( ) 1 , 0 (
) 0 , 1 ( ) 1 , 1 ( ) 1 , 0 ( ) 0 , 0 (
3 2 1
3 2 1
3 2 1
R R a R a R a
R R a R a R a
R R a R a R a
= + +
= + +
= + +
Ejemplo: codificacin
predictiva de im,genes
2 de mar de 2004 Codificacin de imgenes y video 2
#digos
/e&inici!n" 4n c!dio de &uente #, para una B.+./, es
un mapeo de + a /V, el conCunto de secuencias &initas
de smbolos de una al&abeto /.
Dbser)aci!n" #(%) es el c!dio para % . l(%) su laro
Dbser)aci!n" Tpicamente usaremos"
/ =W = ,0,1-

N
i
i
D D
1 =
= *
2 de mar de 2004 Codificacin de imgenes y video
#digos: Largo Esperado
/e&inici!n" 9l laro esperado de un c!dio de &uente #
es"
9Cemplo"
+=,N,S,L,T-
p(N)=1;2 p(S)=1;< p(L)=p(T)=1;K
#(N)=0 #(S)=10 #(L)=110 #(T)=111.
l(N)=1 l(S)=2 l(L)=l(T)=6
L (#)=1,F5

e
=
A x
x l x p C L ) ( ) ( ) (
2 de mar de 2004 Codificacin de imgenes y video 4
#digos no sing"lares
/e&inici!n" 4n c!dio se dice no sinular si cada
elemento de + se mapea en un elemento di&erente en
/V.
/e&inici!n" La e%tensi!n #V de # es el mapeo de
secuencias de smbolos de + en secuencias de D,
#(%
1
%
2
...%
n
)=#(%
1
)#(%
2
)...#(%
n
)
2 de mar de 2004 Codificacin de imgenes y video !
#digos de decodificacin -nica
/e&inici!n" 4n c!dio se dice de decodi&icaci!n Inica
si su e%tensi!n es no sinular.
/e&inici!n" 4n c!dio es instant'neo si ninuna
palabra de c!dio es pre&iCo de otra.
cdigos
singulares
no
singulares
unvocamente
decodificables
no
unvocamente
decodificables
instantneos
no
instantneos
2 de mar de 2004 Codificacin de imgenes y video "
*esig"aldad de $raft
Teorema" Para cada c!dio instant'neo sobre un
al&abeto de dimensi!n d=A/A, los laros de las palabras
del c!dio, l
i
, deben satis&acer"
/ados l
i
0ue cumplen lo anterior, e%iste un c!dio
instant'neo con esos laros.
1 s

i
l
i
d
2 de mar de 2004 Codificacin de imgenes y video #
#digos ptimos
Teorema" 9l laro esperado (L) de cual0uier c!dio
instant'neo (#) para una B.+./ cumple
. se da la iualdad si . solo si d
5li
= p
i
(1er. Teorema de S:annon)
( ) ( ) X H C L >
2 de mar de 2004 Codificacin de imgenes y video $
#otas para el L ptimo
Qoti)aci!n para

Teorema" Sean l
i
V los laros de los c!dios !ptimos .
LV el laro esperado asociado entonces"
1 ) ( * ) ( + s s X H L X H
( )
|
|
.
|

\
|
x p
1
log
2 de mar de 2004 Codificacin de imgenes y video %
#odificacin en %lo."es
$7ue pasa si Cuntamos smbolos(

#(%
1
...%
n
), l(%
1
...%
n
)
/e&inici!n" Laro esperado por smbolo
#orolario" Para *i 3.3./

= ) ... ( ) ,..., (
1
1 1 n n n
x x l x x p
n
L
n
X H L X H
n
1
) ( ) ( + s s
2 de mar de 2004 Codificacin de imgenes y video 40
#digos de /"ffman
$Podemos llear a codi&icar con >(*) bits(
3dea" 4sar c!dios m's cortos para smbolos m's
probables (#!dio Qorse).
9Cemplo. #(N)=0, #(S)=10, #(L)=110, #(T)=111.
$#!mo encontrar el c!dio !ptimo de &orma
sistem'tica(
2 de mar de 2004 Codificacin de imgenes y video 4&
(lgoritmo de /"ffman
p(N)=0.5
p(S)=0.25
p(L)=0.125
p(T)=0.125
p(X)=0.25
p(Y)=0.5
p(N)=0.5 p(N)=0.5
p(S)=0.25
0
&0
&&
0
&0
&&0
&&&
&
0
0
&0
&&0
&&&
2 de mar de 2004 Codificacin de imgenes y video 42
R"n Lengt! Encoding
Xtil cuando smbolos consecuti)os son id8nticos. #ada
smbolo es seuido por el nImero de repeticiones.
Yero run lent: codin