Codificação Imagem-Video

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais
Instituto Superior de Engenharia de Lisboa
3. Codificao de Imagem
Codificao de Imagens Estticas
Codificao de Vdeo
Teoria da Informao
Pedro Mendes Jorge
3.1
Codificao de Imagens Estticas

N orm a ITU (CC ITT ) Grupo 3 Grupo 4 JBIG Descrio Desenvolvido para a com presso de im agens com 2 tons; Prim eiram ente utilizado para transmisso de fax; Joint (ITU -ISO /IEC ) Bilev el Im age G roup; Desenvolvido para a com presso de im agens com 2 tons e im agens em nveis de cinzentos; Joint (ITU -ISO /IEC ) Photographic Expert G roup; Desenvolvido para a com presso de im agens estticas;
JPEG
Teoria da Informao
Pedro Mendes Jorge
3.2
JPEG - Joint Photographic Expert Group Compresso de imagens estticas de nveis de cinzento ou a cores; Algoritmo baseado na codificao por transformada - DCT; Explora as caractersticas visuais humanas; mais utilizada como tcnica no reversvel (lossy) (pode ser reversvel - lossless); Compromisso entre a qualidade e o factor de compresso;
Teoria da Informao
Pedro Mendes Jorge
3.3
JPEG - Joint Photographic Expert Group 4 Modos de operao Baseline Hierrquico
DCT Sequencial
DCT Progressivo
Reversvel
Teoria da Informao
Pedro Mendes Jorge
3.4
JPEG Codificador baseado na DCT (Sequencial e Progressivo)

Imagem original Bloco
Coeficientes
DCT
Quantificao
Coeficientes Seleccionados
Codificao Huffman
Bits
Matriz de Quantificao
Tabela de Codificao
Teoria da Informao
Pedro Mendes Jorge
3.5
JPEG Descodificador baseado na DCT (Sequencial e Progressivo)

Coeficientes Seleccionados
Imagem reconstruda Desquantificao

Coeficientes
Bits
Descodificao Huffman
Bloco
IDCT
Tabela de Codificao
Matriz de Quantificao
Teoria da Informao
Pedro Mendes Jorge
3.6
Algoritmo JPEG Sequencial 1. A imagem dividida em blocos de dimenso 8x8; 2. calculada a DCT bidimensional de cada bloco; 3. Os coeficientes de cada bloco so seleccionados e quantificados de acordo com uma matriz de quantificao T (luminncia e crominncia);
I (i, j ) I DCT (i, j ) = round DCT T (i, j )
16 12 14 14 T = 18 24 49 72
11 10 16 12 14 19 13 16 24 17 22 29 22 37 56
24 26 40 51 68
40 58 57 87
51 60 69 80
109 103
35 55 64 81 104 113 64 78 87 103 121 120 92 95 98 112 100 103
61 55 56 62 77 92 101 99
A matriz de quantificao determinada de acordo com as caractersticas visuais humanas e pode ser escalada para permitir diferentes nveis de compresso;
Teoria da Informao Pedro Mendes Jorge 3.7
Algoritmo JPEG Sequencial (continuao) 4. Os coeficientes quantificados so reordenados utilizando um procedimento em zig-zag, formando uma sequncia unidimensional;
5. Os coeficiente diferente de zero so codificados de acordo com um cdigo de Huffman;
Teoria da Informao
Pedro Mendes Jorge
3.8
Algoritmo JPEG Sequencial (continuao) As imagens a cores so consideradas no formato YUV, ou seja, luminncia (Y) e crominncia (U e V).
Y = 0.30 R + 0.59G + 0.11B B Y U= + 0.5 2 R Y V= + 0.5 1.6

As componentes YUV so analizadas de duas formas diferentes: noninterleaved e interleaved.
Teoria da Informao
Pedro Mendes Jorge
3.9
Algoritmo JPEG Sequencial (continuao) No mtodo noninterleaved as componentes so consideradas separadamente; No mtodo interleaved as componentes YUV so agrupadas e formam o que se define como Minimum Coded Unit (MCU); formato 4:4:4 - luminncia e crominncia com igual resoluo MCU - formado com 1 Y, 1 U, 1 V formato 4:2:0 - luminncia com o dobro da resoluo das crominncias MCU - formado com 4 Y, 1 U, 1 V
Teoria da Informao
Pedro Mendes Jorge
3.10
Exemplo do Algoritmo JPEG Sequencial

Imagem original Coeficientes DCT
1337 -38 -20 -10 -6 2 4 3 56 -27 -17 -8 1 3 4 1 -27 13 10 9 6 0 -1 0 18 44 33 17 4 -3 -2 -4 78 32 21 9 -3 -7 -9 -2 -60 -1 -6 -10 -7 -4 0 -1 27 -24 -16 -13 -5 0 2 3 -27 -10 -9 1 5 3 4 1
Coeficientes DCT Quantificados

84 -3 -1 -1 0 0 0 0 5 -2 -1 0 0 0 0 0 -3 1 1 0 0 0 0 0 1 2 1 1 0 0 0 0 3 1 1 0 0 0 0 0 -1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
Teoria da Informao
Pedro Mendes Jorge
3.11
Exemplo do Algoritmo JPEG Sequencial (continuao)

Sequncia unidimensional (zig-zag) dos coeficientes seleccionados
84 5 -3 -1 -2 -3 1 1 -1 -1 0 0 1 2 3 -1 1 1 0 0 0 0 0 0 1 1 0 1
Ao coeficiente DC aplicado uma codificao diferencial Aos coeficiente AC aplicado uma codificao RLC ao nmero de coeficientes de valor 0 que o antecedem Sequncia dos coeficientes seleccionados com cdigos RLC
5 5 -3 -1 -2 -3 1 1 -1 -1 2 1 2 3 -1 1 1 6 1 1 1 1
Sequncia de bits
100101 100 101 01 00 00 0 01 01 01 00 00 1 00 1 00 0 00 0 11100 1 01 10 01 11 00 0 00 1 00 1 00 1 1111011 1 00 1 11 00 1 1010 EOB
Teoria da Informao
Pedro Mendes Jorge
3.12
Teoria da Informao
Pedro Mendes Jorge
3.13

Coeficientes DCT Desquantificados
1344 -36 -14 -14 0 0 0 0 55 -24 -13 0 0 0 0 0 -30 14 16 0 0 0 0 0 16 38 24 29 0 0 0 0 72 26 40 0 0 0 0 0 -40 0 0 0 0 0 0 0 51 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
Imagem reconstruda
Imagem do erro
16 7 1 4 3 2 6 6 27 7 6 4 3 7 8 7 27 29 2 9 8 2 2 5 0 13 8 0 2 5 2 8 3 0 2 0 2 0 2 5 6 0 5 4 10 5 3 9 5 0 4 7 8 4 6 4 1 2 6 1 14 12 4 12
Teoria da Informao
Pedro Mendes Jorge
3.14
Algoritmo JPEG Progressivo A diferena deste algoritmo de codificao JPEG em relao ao anterior est no mtodo de envio dos coeficientes da DCT. Existem 2 mtodos para agrupar os coeficientes : seleco espectral; seleco por aproximaes sucessivas.
seleco espectral LSB . . . MSB
aproximaes sucessivas 0 1 2 ... 62 63 3.15
Coeficientes ordenados em zig-zag
Teoria da Informao
Pedro Mendes Jorge
Algoritmo JPEG Progressivo Seleco Espectral Os coeficientes so ordenados em bandas espectrais onde as bandas correspondentes s menores frequncias so enviadas em primeiro lugar; Seleco por Aproximaes Sucessivas Os coeficientes so enviados em primeiro lugar com uma baixa resoluo e em seguida so refinados progressivamente; As duas tcnicas podem ser utilizadas em simultneo utilizando seleco espectral com aproximaes sucessivas.
Teoria da Informao
Pedro Mendes Jorge
3.16
Codificao de Vdeo
Norma H.261 MPEG Descrio ITU (CCITT) Expert Group on Visual Telephony Vdeoconferncia e Vdeofone em ISDN ISO Moving Picture Expert Group Fase 1: Armazenamento de vdeo e udio digital com dbito de 1,5 Mbps; (1992) Armazenamento em CD-ROM ou em disco; Fase 2: Armazenamento de vdeo e udio digital ao ritmo de 10-20 Mbps (1994); Vdeo digital de alta definio incluindo HDTV; Fase 4: Transmisso de vdeo e udio digital a dbitos baixos (<64Kbps); (1998) Vdeofone, Internet, Video on Demand (VOD); Fase 7: Descrio dos contedos multimdia; (2001) Pesquisa, acesso e manipulao de contedos multimdia;
Pedro Mendes Jorge 3.17
Teoria da Informao
ITU-T H.261 Aplicao Vdeoconferncia Vdeofone Utiliza a rede digital de integrao de servios - ISDN (Integrated Services Digital Network) que pode ter dbitos p x 64Kbps, com p=1,,30. Exemplo p=1, 64Kbps = 48Kbps Vdeo + 16Kbps udio Em geral a comunicao de vdeoconferncia requer p6, ou seja, 384Kbps.
Teoria da Informao
Pedro Mendes Jorge
3.18
ITU-T H.261 Caractersticas importantes : Atraso mximo de 150 mseg. Implementao em hardware simples. similar ao JPEG no sentido em que utiliza a DCT como ferramenta de compresso e os coeficientes da transformada so codificados com cdigos de Huffman. No entanto, uma grande diferena reside no facto de que esta norma utiliza compensao de movimento para a predio temporal. considerado um sistema hbrido dado que tira partido da redundncia espectral e temporal
Compensao de Movimento Tira partido da redundncia temporal que existe entre imagens consecutivas. Existe a necessidade de estimar o movimento que ocorreu entre as imagens consecutivas. A tcnica mais utilizada para a estimao do movimento considerar o movimento por blocos, ou seja, todos os pixeis dentro de um bloco obedecem ao mesmo tipo de movimento. Um modelo simples para o movimento considerar somente translaes. Assim, para cada bloco necessrio estimar o vector de deslocamento.
Teoria da Informao
Pedro Mendes Jorge
3.20
Compensao de Movimento
Imagem anterior (t-1)
Vector de movimento
Imagem actual (t)
Teoria da Informao
Pedro Mendes Jorge
3.21
Compensao de Movimento Para a estimao do vector do movimento no se utiliza a imagem toda mas uma janela de procura. N + 2n2
m1
Bloco (MxN) em anlise da imagem actual
n2
N
m1
n2
Janela de procura da imagem anterior
M + 2m1
Teoria da Informao
Pedro Mendes Jorge
3.22
Compensao de Movimento Os algoritmos de estimao do movimento do bloco diferem nos seguintes aspectos : Critrio de semelhana entre blocos; Estratgia de procura; Determinao das dimenses do bloco;
Teoria da Informao
Pedro Mendes Jorge
3.23
Compensao de Movimento Critrio de parecena entre blocos Erro quadrtico mdio (MSE Mean Squared Error) 2 1 M N A MSE (d1 , d 2 ) = (X m, n X m + d1 , n + d 2 ) MN m =1n =1
[d , d ]
1 2
= arg min MSE (d1 , d 2 )

d1 , d 2
Erro absoluto mdio (MAE Mean Absolute Error) 1 M N A MAE (d1 , d 2 ) = X m, n X m + d1 , n + d 2 MN m =1n =1 T d1 , d 2 = arg min MAE (d1 , d 2 )
d1 , d 2
Teoria da Informao
Pedro Mendes Jorge
3.24
Compensao de Movimento Estratgia de procura Procura em cruz
(Figura retirada de Digital Video Processing, A. Tekalp, 1995)
Teoria da Informao
Pedro Mendes Jorge
3.25
Compensao de Movimento Estratgia de procura Procura em trs passos
Teoria da Informao
Pedro Mendes Jorge
3.26
ITU-T H.261 Para que esta norma seja compatvel com as normas de transmisso de televiso existentes, PAL, NTSC e SECAM, foi criado um formato intermdio de imagem - Common Intermediate Format, CIF.
PAL NTSC SECAM CIF

Codificador Canal Descodificador
PAL CIF NTSC SECAM
Teoria da Informao
Pedro Mendes Jorge
3.27
ITU-T H.261 CIF - Common Intermediate Format

Resoluo Luminncia Crominncia CIF Quarter CIF 352 x 288 176 x 144 176 x 144 88 x 72
Teoria da Informao
Pedro Mendes Jorge
3.28
ITU-T H.261 Multiplexagem Vdeo Hierarquia de estrutura de blocos, onde o bloco bsico composto por uma matriz de 8x8 componentes de luminncia ou crominncia. 1 Nvel - Imagem 352 x 288 pixeis (1584 blocos bsicos) 2 Nvel - Grupo de Blocos (GOB) 176 x 48 pixeis (132 blocos bsicos) 3 Nvel - Macrobloco (MB) 16 x 16 pixeis (4 blocos bsicos) 4 Nvel - Bloco bsico 8 x 8 pixeis
Teoria da Informao
Pedro Mendes Jorge
3.29
Multiplexagem Vdeo
GOB 1 GOB 3
288 linhas
GOB 2
... ...
GOB 12
8 colunas
1 8
...
GOB 11
176 colunas
MB 1 MB 2 MB 12 MB 13 MB 23 MB 24
... ... ...
MB 11 MB 22 MB 33
48 linhas
352 colunas
Y1 Y3
Y2 Y4 C1 C2
8 Linhas
57 64
Teoria da Informao
Pedro Mendes Jorge
3.30
Multiplexagem Vdeo Cada estrutura composta por um cabealho e dados da estrutura do nvel inferior. Imagem PSC TR PTYPE PEI PSPARE GOBs
PSC - Picture Start Code (20 bits 0000 0000 0000 0001 0000) TR - Temporal Reference (5 bits) Identifica cada imagem; PTYPE - Picture Type (6 bits) Identifica o formato das imagens (CIF ou QCIF); PEI- Picture Extra Insersion; PSPARE - Spare Bits para utilizao futura (0, 8, 16, );
Teoria da Informao
Pedro Mendes Jorge
3.31
GOB
GBSC
GN
GQAUNT
GEI
GSPARE
MBs
GBSC - GOB Start Code (16 bits 0000 0000 0000 0001) GN - Group Number (4 bits) Identifica cada GOB; GQUANT - Group Quantizer (5 bits) Indica um dos 31 nveis de quantificao; GEI- Group Extra Insersion; PSPARE - Spare Bits para utilizao futura (0, 8, 16, );
Teoria da Informao
Pedro Mendes Jorge
3.32
Macrobloco
MVD MTYPE MVD CBP Bs
MBA
MQAUNT
MBA STUFFING
MBA - MB Adress (at 11 bits) Indica a posio do MB no GOB; MTYPE - MB Type (at 10 bits) Identifica o modo de compresso; MQUANT - MB Quantizer (5 bits) Indica um dos 31 nveis de quantificao; MVD - Motion Vector Data (at 11 bits) Indica o vector de movimento; CBP - Coded Block Pattern (at 9 bits) Indica os padres de codificao; Teoria da Informao Pedro Mendes Jorge 3.33
Bloco Bsico
TCOEFF
EOB
TCOEFF - Transform Coefficient (8 bits ou at 13 bits), Indica o coeficiente da DCT ; EOB - End of Block, Indica o fim do bloco bsico (10);
Teoria da Informao
Pedro Mendes Jorge
3.34
Algoritmo de Compresso de Vdeo 2 modos principais Intra Similar norma JPEG para compresso de imagens estticas, codificao DCT por blocos; Inter Primeiramente realizada uma predio temporal com ou sem compensao de movimento; enviado o erro de predio entre os blocos das imagens consecutivas, com codificao DCT.
Teoria da Informao
Pedro Mendes Jorge
3.35
Algoritmo de Compresso de Vdeo Existem vrias opes por combinao de : mudana do valor do passo de quantificao; no modo inter, existncia ou no de compensao de movimento; compensao de movimento com ou sem filtragem;
Teoria da Informao
Pedro Mendes Jorge
3.36
A norma ITU-T H.261 no especifica os seguintes pontos : Critrio para a escolha do modo de compresso;
Estimao do vector de movimento;
Filtragem;
Teoria da Informao
Pedro Mendes Jorge
3.37
Um algoritmo para a escolha do modo de compresso pode ser resumido nos seguintes passos: 1. Estimao do vector de movimento para cada MB; 2. Seleco do modo de compresso para cada MB baseado em critrios que envolvem o calculo do erro de predio do MB, ou seja:
dbd ( x, t ) = b( x, t ) b( x d , t 1)
dbd - displaced block difference b(.,.) - bloco x - coordenadas do bloco d - vector de movimento (diferena) 3. Processa-se cada MB gerando o seu cabealho seguido dos dados correspondente ao modo de compresso escolhido;
Modos de Compresso [MTYPE]

MQUANT Intra Intra Inter Inter Inter+MC Inter+MC Inter+MC Inter+MC+LF Inter+MC+LF Inter+MC+LF o o o o o o o o o o o o o o o o o o o o MVD CBP TCOEFF o o o o VLC 0001 0000 001 1 0000 1 0000 0000 1 0000 0001 0000 0000 01 001 01 0000 01
Teoria da Informao
Pedro Mendes Jorge
3.39
1. Estimao do vector de movimento para cada MB Compensao de movimento por blocos de 16x16 da imagem de luminncia;
As componentes do vector de movimento podem assumir valores inteiros entre 15;
Teoria da Informao
Pedro Mendes Jorge
3.40
2. Seleco do modo de compresso A. Em primeiro lugar a escolha do modo intra ou inter pode ser realizado com base na comparao da medida de varincia do MB original e uma medida do erro de predio, por exemplo:
MSE =
1 15 15 2 [b0 (i, j ) bMC (i, j )] 256 i = 0 j = 0
b0 - MB original bMC - MB com compensao de movimento (predito da imagem anterior)

B. O modo inter pode ser escolhido com base na medida anterior aplicada ao MB, bMC , com ou sem vector de movimento, e na opo de filtragem para remoo do efeito de bloco devido compensao do movimento.
Teoria da Informao
Pedro Mendes Jorge
3.41
Um exemplo de uma curva para a deciso do modo intra/inter
(grfico retirado de Rao & Hwang)
Teoria da Informao
Pedro Mendes Jorge
3.42
Um exemplo de uma curva para a deciso do modo MC/no MC
(grfico retirado de Rao & Hwang) Teoria da Informao Pedro Mendes Jorge 3.43
Coded Block Pattern [CBP]
1 3
Y
2 4
5
CB
6
CR
CPB = 32 P1 + 16 P2 + 8 P3 + 4 P4 + 2 P5 + P6 Pn = 1 se existe algum coeficiente presente no bloco n

(tabela retirada de Rao & Hwang) Teoria da Informao Pedro Mendes Jorge 3.44

CBP Code 1110 1101 1100 1011 1010 1001 1001 1000 1000 0111 0111 0110 0110 0101 0101 0100 0100 0011 0011 0011 0011 0010 0010 0010 0010 0010 0010 0010 0010 0001 0001 0001 0000 0000 0000 0000 1000 1000 0000 1000 0000 1000 0000 1000 0000 1000 0000 1000 0000 1100 1000 0100 0000 1110 1100 1010 1000 0110 0100 0010 0000 1111 1110 1101 CBP 35 13 49 21 41 14 50 22 42 15 51 23 43 25 37 26 38 29 45 53 57 30 46 54 58 31 47 55 59 27 39 Code 0001 0001 0001 0001 0001 0001 0001 0001 0001 0001 0001 0001 0001 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 1100 0 1011 0 1010 0 1001 0 1000 0 0111 0 0110 0 0101 0 0100 0 0011 0 0010 0 0001 0 0000 0 1111 0 1110 0 1101 0 1100 0 1011 0 1010 0 1001 0 1000 0 0111 0 0110 0 0101 0 0100 0 0011 1 0011 0 0010 1 0010 0 0001 1 0001 0
Coded Block Pattern [CBP]
60 64 68 16 32 12 48 20 40 28 44 52 56 61 61 62 62 24 36 63 63 65 69 17 33 66 10 18 34 37 11 19
Teoria da Informao
Pedro Mendes Jorge
3.45
Quantificao e Codificao dos Coeficientes da DCT [TCOEFF] Limiarizao Com o intuito de diminuir o nmero de coeficientes a enviar realizado para cada coeficiente um processo de limiarizao varivel que depende do passo de quantificao. Quantificao Os coeficientes da DCT so quantificados uniformemente. O parmetro QUANT (G ou M) varia entre 1 e 31; O passo de quantificao dado por 2*QUANT (varia entre 2 e 62, de 2 em 2); O passo de quantificao igual dentro de cada MB.
Teoria da Informao
Pedro Mendes Jorge
3.46
Quantificador para o coeficiente DC Intra
Quantificador para os restantes coeficientes
(grficos retirados de Rao & Hwang) Teoria da Informao Pedro Mendes Jorge 3.47
Coeficientes quantificados (TCOEFF) so ordenados em zig-zag: Codificao dos pares (RUN , LEVEL )
RUN nmero de coeficientes consecutivos com valor 0; LEVEL nvel do coeficiente quantificado;
(visualizar tabelas)
REC = 0 se LEVEL = 0 REC = QUANT ( 2 LEVEL + 1) 1* REC = QUANT ( 2 * LEVEL 1) + 1*

Teoria da Informao
LEVEL > 0 LEVEL < 0
* se QUANT impar
Pedro Mendes Jorge
3.48
Memria de Sada Dado que o processo de gerao de bits descrito anteriormente no tem um dbito constante, existe uma memria de sada que permite transformar este dbito varivel num dbito constante e assim ser aplicado a um ou mais canais ISDN. Para que a memria no encha ou no fique vazia, existem determinados procedimentos para controlar a sua capacidade : Modificar o passo de quantificao; Introduzir bit stuffing;
Teoria da Informao
Pedro Mendes Jorge
3.49
Diagrama de Blocos da Codificao de Vdeo na norma ITU-T H.261
(diagrama retirado de Rao & Hwang) Teoria da Informao Pedro Mendes Jorge 3.50
Norma MPEG-1 Objectivo Desenvolvimento de um algoritmo flexvel de codificao para o armazenamento de udio e vdeo num suporte digital como seja o CD-ROM ou DAT com um dbito binrio at 1,5 Mbps. Caractersticas Principais Define uma sintaxe e uma semntica para a criao da sequncia de bits; Acesso aleatrio s diferentes imagens da sequncia vdeo; Capacidade de procura rpida para a frente ou para trs da sequncia vdeo; Atrasos mximos na codificao/descodificao de 1seg. aproximadamente;
Teoria da Informao
Pedro Mendes Jorge
3.51
Formato de Entrada Standard Input Format - SIF

ITU-R 601 NTSC PAL SECAM SIF Pr-processamento Codificador Descodificador SIF Ps-processamento ITU-R 601 NTSC PAL SECAM
N m ero de colun as N m ero de linh as D bito de im agen s N m ero de M B po r im agem D bito de M B D bito bin rio
768 pixeis 576 pixeis 30 im agen s/seg 396 9900 M B/seg 1.856.000 bits/seg
Teoria da Informao
Pedro Mendes Jorge
3.52
Estrutura de Dados 6 nveis hierrquicos 1 Sequncia - formada por vrios grupos de imagens; 2 Grupo de Imagens (GOP- Group of Pictures) - formada por vrias imagens; 3 Imagem - Intra (I), Predicted (P), Bidirectional (B) e DC (D); 4 Slice - formado por Macro Blocos; 5 Macro Bloco - composto por 4 blocos Y, 1 U e 1 V; 6 Bloco - composto pela matriz de pixeis de dimenso 8x8 que codificada com a DCT;
Estrutura de Dados
(figura retirada de Rao & Hwang) Teoria da Informao Pedro Mendes Jorge 3.54
Estrutura da Sequncia de Bits
Teoria da Informao
Pedro Mendes Jorge
3.55
1 Sequncia Cabealho - SHC (Sequence Header Code), dimenso das imagens, relao entre a altura e a largura do pixel (aspect ratio), dbito de imagens, dbito binrio, dimenso do buffer do descodificador e matrizes de quantificao; 1 ou mais grupos de imagens (GOPs) EOS - End Of Sequence
Teoria da Informao
Pedro Mendes Jorge
3.56
2 Grupo de Imagens (GOP- Group of Pictures) um grupo de imagens que forma uma sequncia consecutiva para visualizao; iniciado com uma imagem I ou B e termina com uma imagem I ou P; O comprimento mnimo de uma imagem I e o comprimento mximo no especificado; O comprimento do GOP est relacionado com o tipo de compresso das imagens que o compem, ou seja, se j foram codificadas/transmitidas todas as imagens necessrias para gerar a sequncia completa.
Teoria da Informao
Pedro Mendes Jorge
3.57
3 Imagem Imagem I (Intra) - Utiliza somente codificao por transformada e serve como ponto para o acesso aleatrio sequncia de vdeo codificada. Todos os blocos so codificados com DCT, quantificados e aplicado um cdigo de comprimento varivel (como na norma JPEG). As imagens I so utilizadas no algoritmo de predio das imagens P e B. Imagem P (Predicted) - codificada utilizando compensao de movimento de uma imagem I ou P anterior ! . Esta tcnica chamada predio posterior (forward) de I/P para P. Este modo similar ao modo Inter da norma H.261. As imagens P so utilizadas no algoritmo de predio das imagens P ou B.
Teoria da Informao
Pedro Mendes Jorge
3.58
3 Imagem (cont.)
Imagem B (Bidireccional) - codificada utilizando como referncia imagens posteriores ou anteriores ! . chamada predio bidireccional dado que pode utilizar predio posterior, anterior (backward) ou ambas.
Imagem D (DC) - um caso especial da imagem I (Intra) onde somente contm os coeficientes DC de cada bloco. So utilizadas quando se pretende rapidez mas tm uma qualidade limitada.
Teoria da Informao
Pedro Mendes Jorge
3.59
(figura retirada de Rao & Hwang) Teoria da Informao Pedro Mendes Jorge 3.60
4 Slice importante para o tratamento dos erros. Se um slice estiver corrompido com rudo pode saltar-se para o prximo slice. O nmero de slices numa imagem pode variar de 1 at ao nmero total de MB. O cabealho do slice contm um cdigo de incio, a sua posio na imagem e o factor de escalamento da matriz de quatificao.
Teoria da Informao
Pedro Mendes Jorge
3.61
5 Macro Bloco praticamente igual definio utilizada na norma H.261. O cabealho contm informao sobre : MBA, tipo de compresso, factor de escalamento da matriz de quantificao, vector de movimento e CBP.
Imagem I Intra Intra-A Imagem P Intra Intra-A Inter-D Inter-DA Inter-F Inter-FD Inter-FDA Skipped Imagem B Intra Intra-A Inter-F Inter-FD Inter-FDA Inter-B Inter-BD Inter-BDA Inter-I Inter-ID Inter-IDA Skipped
Tipos de MB
Teoria da Informao
Pedro Mendes Jorge
3.62
Modos de Compresso na Imagem I Intra - Utiliza a matriz de quantificao sem escalamento; Intra-A - Utiliza a matriz de quantificao com escalamento especificado em MQUANT;
8 16 19 22 22 26 26 27 16 16 22 22 26 27 27 29 19 22 26 26 27 29 29 35 22 24 27 27 29 32 34 38 26 27 29 34 27 29 34 37 29 34 34 38 29 34 37 40 32 135 140 48 35 140 148 58 38 46 56 69 46 56 69 83
Teoria da Informao
Pedro Mendes Jorge
3.63
Modos de Compresso na Imagem P Permite predio com compensao de movimento baseada na imagem I ou P anterior. Nos modos intra e intra-A o MB codificado independentemente tal como na imagem I. Nos modos inter realizada predio: Inter-D - envia os coeficientes DCT do erro de predio; Inter-F - envia o vector de movimento; Inter-A - envia o factor de escalamento da matriz de quantificao; skipped - indica que utilizado o mesmo bloco da imagem anterior.
Modos de Compresso na Imagem B Pode ser utilizado predio com compensao de movimento bidireccional (codificao com interpolao), ou seja, utilizando as imagens I ou P adjacentes.
Teoria da Informao
Pedro Mendes Jorge
3.65
~ ~ b = 1c1 + 2 c2 com 1 , 2 = 0;0,5;1 1 + 2 = 1
Se 1 = 1 e 2 = 0 - predio posterior; Se 1 = 0 e 2 = 1 - predio anterior; Se 1 = 0,5 e 2 = 0,5 - predio bidireccional;
Teoria da Informao
Pedro Mendes Jorge
3.66
Vantagens Permite lidar melhor com o problema da ocluso; Predio baseada em 2 imagens pode melhorar a SNR; Como as imagens B no so utilizadas para a predio de novas imagens, podem ser codificadas com menos bits sem provocarem propagao de erros. Desvantagens necessrio ter 2 buffers no codificador e descodificador; Se forem enviadas muitas imagens B seguidas, aumenta o atraso na codificao/descodificao e diminui a correlao entre as imagens de referncia provocando o aumento de bits para a codificao.
Nos modos intra e intra-A o MB codificado independentemente tal como na imagem I. Nos modos inter realizada predio: Inter-D - envia os coeficientes DCT do erro de predio; Inter-F - envia o vector de movimento correspondente ao modo posterior (forward); Inter-B - envia o vector de movimento correspondente ao modo anterior (backward); Inter-I - envia os vectores de movimento correspondentes aos modos posterior e anterior; Inter-A - envia o factor de escalamento da matriz de quantificao; skipped - indica que utilizado o mesmo bloco da imagem anterior.
Teoria da Informao
Pedro Mendes Jorge
3.68
Sequncia de Imagens Codificadas
(exemplos retirados de Rao & Hwang) Teoria da Informao Pedro Mendes Jorge 3.69
Codificador e Descodificador MPEG-1 Estimao de movimento; Predio com compensao de movimento; Seleco do modo de compresso (MTYPE); Seleco do factor de escalamento da matriz de quantificao (MQUANT); Quantificao e desquantificao; DCT e DCT inversa; Codificao com palavras de cdigo de comprimento fixo e varivel; Multiplexagem; Memria e a sua gesto;
Codificador e Descodificador MPEG-1 O nmero de imagens I, P e B num GOP depende da aplicao, no entanto a norma impem que, no mnimo, exista uma imagem I num grupo de 132 imagens. A utilizao de imagens B opcional. A norma no especifica o algoritmo de deteco de movimento nem as escolhas do modo de compresso (MTYPE) e do factor de escalamento da matriz de quantificao (MQUANT) . Pode ser utilizada preciso de
1 pixel. 2
Teoria da Informao
Pedro Mendes Jorge
3.71
Codificador e Descodificador MPEG-1 Em geral um codificador utiliza os seguintes passos: 1. Deciso do tipo de imagens (I, P ou B) no GOP; 2. Estimao do vector de movimento de cada MB nas imagens P e B; 3. Determinao do modo de compresso para cada MB; 4. Escolha do factor de escalamento da matriz de quantificao se necessrio;
Teoria da Informao
Pedro Mendes Jorge
3.72
Comparao entre as normas H.261 e MPEG-1
(Tabela retirada de Digital Video Processing, A. Tekalp, 1995)
Teoria da Informao
Pedro Mendes Jorge
3.73
Norma MPEG2 (ISO/IEC 13818) (ITU-T H.262) Objectivos Codificao de vdeo de alta qualidade (at 20 Mb/s): exemplos de aplicao : video on demand (VOD), televiso digital, armazenamento em DVD, HDTV; Compatibilidade com vdeo entrelaado (CCIR601, PAL, NTSC); Codificao escalvel para adaptao a canais com diferentes larguras de banda ou largura de banda varivel; Extenso compatvel do MPEG-1 para permitir uma maior diversidade de dbitos e resolues.
Perfis (Profiles) Definem subconjuntos da sintaxe global que implicam nveis de complexidade diferentes nos algoritmos de codificao/descodificao [4]; Nveis (Levels) Definem restries de alguns parmetros dos bitstream - um determinado Nvel corresponde a determinados valores mximos de resoluo espacial, temporal e bit rate [4].
Teoria da Informao
Pedro Mendes Jorge
3.75
Perfis e Nveis
Teoria da Informao
Pedro Mendes Jorge
3.76
Perfis e Nveis O perfil 4:2:2 e multiview foram desenvolvidos posteriormente definio do MPEG-2; Compatibilidade com os perfis e nveis anteriores; Low Level SIF Main Level - CCIR601 (SDTV compatvel com PAL e NTSC) High Level - HDTV Simple Profile utilizado em aplicaes de vdeo conferncia; Main Profile utilizado na maior parte das aplicaes do MPEG-2: MP@ML - DVD vdeo; MP@HL - HDTV (H1440 Europa);
Vdeo Progressivo e Entrelaado

Progressivo Entrelaado
imagem t
field 1
field 2
imagem t
Teoria da Informao
Pedro Mendes Jorge
3.78
Vdeo Progressivo e Entrelaado Tipo de imagens em MPEG-2 Vdeo progressivo Frame Picture Tipo I,P ou B Vdeo entrelaado Frame Picture Tipo I,P ou B Field Picture Tipo I,P ou B
Exemplo de um GOP de vdeo entrelaado com 4 imagens
P I
Teoria da Informao
P B
Pedro Mendes Jorge
3.79
Codificao de Vdeo Entrelaado Frame Picture

8 8 8
field 1 field 2
Field Picture Os campos (fields) so tratados como imagens separadas. Se o primeiro campo (field 1) for do tipo I, o segundo campo (field 2) do tipo I, P ou B; Se o primeiro campo for do tipo P ou B, o segundo campo do mesmo tipo.
Codificao de Vdeo Entrelaado Compensao de Movimento (1 de 3)

16 16 8 16 8
frame prediction from frame picture 1 (P) ou 2 (B) vectores de movimento

Teoria da Informao Pedro Mendes Jorge
field prediction from frame picture 2 (P) ou 4 (B) vectores de movimento

3.81
Compensao de Movimento (2 de 3)
16 16 16 8 16 16 8
field prediction from field picture 1 (P) ou 2 (B) vectores de movimento por cada campo
16x8 prediction from field picture 2 (P) ou 4 (B) vectores de movimento

3.82
Teoria da Informao
Pedro Mendes Jorge
Compensao de Movimento (3 de 3) Dual-prime MC utilizado somente em imagens do tipo P
Teoria da Informao
Pedro Mendes Jorge
3.83
Codificao de Vdeo Entrelaado

8 8 8 8
8 8
Frame-DCT
8 8 8
8 8
8 8
8 8
Field-DCT
8 8 8
Teoria da Informao
Pedro Mendes Jorge
3.84
Codificao de Vdeo Entrelaado
Zig-zag scan (progressivo)
Anternate scan (entrelaado)
Teoria da Informao
Pedro Mendes Jorge
3.85
Modos de Codificao Escalveis (Scalable) O sinal de vdeo codificado de forma hierrquica, em vrias camadas; As camadas correspondem a bitstreams que podem ser transmitidos em canais diferentes; Apenas a camada base (base layer) pode ser descodificada independentemente das outras - as camadas superiores dependem das inferiores; Diversos parmetros de qualidade do sinal so incrementados quando se descodifica as camadas superiores: SRN, resoluo espacial ou resoluo temporal [4]; SNR Scalability - 2 escalas de relao sinal/rido; Spatial Scalability - 2 escalas de resoluo espacial; Temporal Scalability - 2 escalas de dbito de imagens; Hybrid Scalability - combinao de dois dos mtodos anteriores.
SNR Scalability
Codificador
Descodificador
Teoria da Informao
Pedro Mendes Jorge
3.87
Spacial Scalability
Codificador
Descodificador
Teoria da Informao
Pedro Mendes Jorge
3.88
Temporal Scalability desenhado para sistemas que necessitam de diferentes resolues temporais ou dbitos de imagens (frame-rate) varivel: A camada base codificada a um dbito inferior; A camada base serve para a compensao de movimento das camadas superiores. Hybrid Scalability Os modos anteriores podem ser combinados (2 a 2) formando 3 modos hbridos de codificao escalvel; Por exemplo, o modo hbrido SNR-Spatial utilizado em SDTV/HDTV ou videophone/SDTV;
Sequncia de bits em MPEG-2
Se Sequence Extension no existe utilizada a sintaxe do MPEG-1, caso contrrio utilizada a sintaxe do MPEG-2; Sequence Extension inclui a definio do perfil/nvel, modo progressivo/entrelaado, modo escalvel, etc. Picture Coding Extension contm informao sobre tipo frame/field, alternatre scan, matriz de quantificao, etc.
Outros aspectos da Codificao MPEG-2 Os macroblocos intra-DC so quantificados com passos de quantificao que podem ser de 8, 4, 2 ou 1 (em MPEG-1 sempre de 8);
Os coeficientes AC so quantificados entre [-2048, 2047] em oposio a [-256, 255] como no MPEG-1;
O parmetro MQUANT pode, adicionalmente, tomar valores reais entre 0,5 e 56.
Teoria da Informao
Pedro Mendes Jorge
3.91
Norma MPEG4 (ISO/IEC 14496) Objectivos Codificao de vdeo e udio a dbitos baixos; Aplicaes Multimdia texto, fala, msica, imagens, grficos e vdeo; Codificao de vdeo baseada em objectos com atribuio de diferentes bit streams/bit rates; Interactividade; Aplicaes Comunicaes multimdia, internet, VOD, jogos de vdeo interactivos, vigilncia, etc.
Representao da informao associada imagem [3]
Teoria da Informao
Pedro Mendes Jorge
3.93
Representao Baseada em Objectos Audiovisual Object - AVO objecto visual; objecto udio; combinao dos anteriores. Objecto visual pode ser natural ou sinttico; Objecto udio pode ser : 1) natural ou sinttico, 2) mono, stereo ou multicanal (ex: som surround). Descrio dos AVO (espao-temporal) e representao da cena. Permite interactividade.
Ferramentas de Codificao Video object coding: codificao de vdeo natural ou sinttico, rectangular ou de objectos vdeo de forma arbitrria; Mesh object coding: codificao de objectos visuais representados por modelos poligonais (mesh); Model-based codig: codificao de representaes sintticas da face e do corpo humano; Still texture coding: codificao de texturas estticas;
Teoria da Informao
Pedro Mendes Jorge
3.95
Video Object Coding Um objecto vdeo (VO) um segmento arbitrrio de vdeo que tem um significado semntico. A instanciao bidimensional de um objecto vdeo num determinado momento define um plano do objecto vdeo (VOP object video plane). Um VOP caracterizado pelas suas textura (luminncia e crominncia) e forma.
Teoria da Informao
Pedro Mendes Jorge
3.96
Video Object Coding A codificao do VOP envolve a codificao da forma, a compensao de movimento e codificao da textura baseado na DCT. A codificao do VOP realizada ao nvel do conjunto mnimo de macroblocos de forma rectangular que contm o VO.
A codificao pode ser I, P, ou B.
Teoria da Informao
Pedro Mendes Jorge
3.97
Diagrama de blocos do codificador MPEG4 para VOPs [3]
Teoria da Informao
Pedro Mendes Jorge
3.98
Texture Coding
Inside blocks codificao com DCT (como em MPEG1/2); Boundary blocks codificao com Shape-Adaptive DCT (SA-DCT); Outside block no so codificados; Os coeficientes DCT so quantificados, ordenados em zig-zag e aplicado um VLC.
Teoria da Informao
Pedro Mendes Jorge
3.99
Shape Coding
Bitmap-based shape coding Forma - binary alpha plane Informao se o pixel pertence ou no ao objecto; Transparncia gray-scale alpha plane Informao do nvel de transparncia, 0 (transparente) a 255 (opaco).
Sprite Coding utilizado para a codificao de VO estticos.
Teoria da Informao
Pedro Mendes Jorge
3.101
Mesh Object Coding Representao de objectos visuais naturais ou sintticos e texturas estticas com modelos poligonais bidimensionais. Os vrtices das formas triangular definem os ns e podem ser utilizados para a representao do movimento dos objectos. O correspondente do VOP chama-se MOP (mesh object plane).
Teoria da Informao
Pedro Mendes Jorge
3.102
Mesh Object Coding Intracoding Intercoding
Teoria da Informao
Pedro Mendes Jorge
3.103
Exemplos de Mesh Object [3]
Teoria da Informao
Pedro Mendes Jorge
3.104
Model-Based Coding Cada objecto tem uma representao sinttica 3D (modelo). Codificao dos parmetros que descrevem o modelo e o seu comportamento. Face Object Model Body Object Model Cada modelo da face ou do corpo humano tem associado um conjunto de parmetros (FDP face definition parameters ou BDP body definition parameters); Cada movimento da face ou do corpo humano controlado por um conjunto de parmetros (FAP face animation parameters ou BAP body animation parameters);
Face Object Model 82 feature points 68 low-level animation
low-level expressions high-level expressions
Teoria da Informao
Pedro Mendes Jorge
3.106
Codificao escalvel: - frame-based temporal, spatial and quality (SNR) scalability; - object-based scalability (spatial and temporal). Perfis
Teoria da Informao
Pedro Mendes Jorge
3.107
Teoria da Informao
Pedro Mendes Jorge
3.108
Norma MPEG7 (ISO/IEC 18034) Objectivos Define uma norma para a descrio do contedo dos objectos audiovisuais. ...what is represented is not the information itself but the information about the information. Permita a pesquisa, acesso e manipulao de contedos multimdia (featurebased versus text-based). Procurar sequncias vdeo onde apaream carros desportivos vermelhos Low-level features: textura, forma ou cor; High-level features
Descrio Visual 1. Descritores (Descriptors-D) Um determinado contexto visual representado por caractersticas (ex: textura); Os descritores so atributos que representam essas caractersticas.
Teoria da Informao
Pedro Mendes Jorge
3.110
Teoria da Informao
Pedro Mendes Jorge
3.111
2. Esquema de Descritores (Description Scheme-DS) Define um par {S, R}, onde S define um conjunto de componentes e R um conjunto de inter-relaes entre os componentes de S. Os componentes podem ser descritores, descritores e outros esquemas de descritores ou esquemas de descritores. 3. Linguagem de Definio de Descritores (Description Definition Language-DDL) Define a linguagem utilizada para especificar o esquema de descritores. Inclui regras sintcticas e semnticas.
Teoria da Informao
Pedro Mendes Jorge
3.112
Bibliografia
[1] - A. Tekalp, Digital Video Processing, Prentice-Hall, 1995; [2] - R. Clarke, Digital Compression of Still Images and Video, Academic Press, 1996; [3] A. Bovik, Handbook of Image & Video Processing, Academic Press, 2000; [4] S. Faria, Televiso Digital - MPEG 2 Vdeo, Seminrio Ordem dos Engenheiros, 2000. [5] K. Rao & J. Hwang, Techniques & Standards for Image, Video and Audio Coding, Prentice Hall, 1996
Teoria da Informao
Pedro Mendes Jorge
3.113

Codificação Imagem-Video

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Codificação Imagem-Video

Uploaded by

Copyright:

Available Formats

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Codificao de Imagens Estticas

Pedro Mendes Jorge

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Codificao de Imagens Estticas

Pedro Mendes Jorge

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Pedro Mendes Jorge

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

JPEG - Joint Photographic Expert Group 4 Modos de operao Baseline Hierrquico

Pedro Mendes Jorge

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

JPEG Codificador baseado na DCT (Sequencial e Progressivo)

Pedro Mendes Jorge

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

JPEG Descodificador baseado na DCT (Sequencial e Progressivo)

Imagem reconstruda Desquantificao

Pedro Mendes Jorge

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

I (i, j ) I DCT (i, j ) = round DCT T (i, j )

35 55 64 81 104 113 64 78 87 103 121 120 92 95 98 112 100 103

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

5. Os coeficiente diferente de zero so codificados de acordo com um cdigo de Huffman;

Pedro Mendes Jorge

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Y = 0.30 R + 0.59G + 0.11B B Y U= + 0.5 2 R Y V= + 0.5 1.6

Pedro Mendes Jorge

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Pedro Mendes Jorge

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Exemplo do Algoritmo JPEG Sequencial

Coeficientes DCT Quantificados

Pedro Mendes Jorge

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Exemplo do Algoritmo JPEG Sequencial (continuao)

Pedro Mendes Jorge

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Pedro Mendes Jorge

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Pedro Mendes Jorge

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

aproximaes sucessivas 0 1 2 ... 62 63 3.15

Coeficientes ordenados em zig-zag

Pedro Mendes Jorge

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa

Pedro Mendes Jorge

Departamento de Engenharia da Electrnica e das Comunicaes Seco de Comunicaes e Processamento de Sinais

Instituto Superior de Engenharia de Lisboa