tv digital 4 - web.fe.up.ptmandrade/tvd/2006/docs/aulas/td2006-4-2.pdf · a ideia base estáem...
TRANSCRIPT
TV Digita
l 200
6/7
1
TV Digital 4
Algumas técn
icas de
compressão de fo
ntes
digita
is audiovisu
ais
Parte 2
TV Digita
l 200
6/7
2
DPCM em video
�Já
disse
mos diversas ve
zes que a m
aior
parte da eco
nomia do débito
gerado se
conse
gue se extrairmos a redundância
entre im
agens.
�Nenhuma das técn
icas até
ao m
omento
perm
ite faze
r isso
.
�Na realid
ade o que primeiro se penso
u foi
introduzir uma esp
écie de DPCM nas
imagens
TV Digita
l 200
6/7
3
DPCM em video
�Im
aginemos uma figura com M
por N
pixels, ca
da um deles designado por
p(m
,n). A id
eia consiste em realizar uma
previsã
o de cada pixel p
(m,n) e enviar
somente a dife
rença
entre o pixel inicial e
a
previsã
o
�A dife
rença
para ser enviada será
quantiz
ada lo
go
~
()
()
()n
mp
nm
pn
md
,~
,,
−=
TV Digita
l 200
6/7
4
DPCM em video
�teremos (
)
()
()
()n
md
nm
pn
mp
obtendo
preditor
mesmo
oterá
receptor
o
nm
d
,ˆ
,~
,ˆ
,ˆ
+=
TV Digita
l 200
6/7
5
DPCM em video
+Q
R +Im
agem
prevista
Codificador
Bits
Preditorde malhafechada
()n
mp
,
()n
mp
,~
()n
md
,
()n
md
,ˆ
()n
mp
,ˆ
Codificador
TV Digita
l 200
6/7
6
DPCM em video
R+
Imagem
prevista
Bits
()n
mp
,~(
)n
md
,ˆ
Codificador
()n
mp
,ˆ
Descodificador
TV Digita
l 200
6/7
7
DPCM em video
�Uma form
a de im
plementar um sistema
deste consiste consiste em considerar que
cada im
agem é
uma previsã
o para a
seguinte. Isso
pode funcionar bem em
sequências de im
agem m
uito
estátic
as mas
não será
muito
efic
az noutras situaçõ
es.
�A técn
ica m
ais utilizada consiste em faze
r a
chamada compensa
ção de m
ovimento.
Vejamos em que consiste.
TV Digita
l 200
6/7
8
DPCM em video
�A im
agem é
comparada com a anterior, em
bloco
s de pixels com tamanho adequado.
�Para cada bloco
faz-se
a determ
inaçã
o do
bloco
da im
agem anterior mais parecido
com ele. Se for o m
esm
o, não há
movimento. Se for um bloco
noutro lo
cal
determ
ina-se o vector de desloca
ção
nece
ssário, ve
ctor de m
ovimento, e envia-se
ess
e vector para o rece
ptor efectuar ess
a
mudança
na im
agem prevista.
TV Digita
l 200
6/7
9
DPCM em video
�As dife
rença
s a transm
itir se
rão calculadas
relativ
amente à
imagem com compensa
ção
de m
ovimento ass
im obtid
a.
�Esta operaçã
o de procu
ra bloco
a bloco
dos
vectores de m
ovimento é
muito
complexa
e
éresp
onsá
vel p
or uma boa parte do poder
de cálculo requerido no emisso
r. Hápor isso
muito
s algoritm
os e m
uita
s arquite
cturas
dese
nvo
lvidas para facilitar a sua
implementaçã
o.
TV Digita
l 200
6/7
10
DPCM em video
�Os co
decs de vídeo actuais in
cluem esta
técn
ica combinada com m
uita
s das outras
que desc
reve
mos até
agora.
�Vamos a seguir discu
tir esta técn
ica
deform
a is
olada antes de verm
os co
mo as
diversas norm
as sã
o constitu
ídas.
TV Digita
l 200
6/7
11
Estimação de movimento
�Hátrês tip
os de algoritm
os de estim
açã
o de
movimento (ME):
�pixel a
pixel -
Pixel R
ecursive Algorithms (PRA)
�Block by Block M
E -Block M
atching Algorithms
(BMA)
�Mais rece
ntemente O
bject Bas
ed M
E
�PRA são pouco
utilizados pela sua
complexidade. OBME im
plica conhece
r os
objectos e por isso
ainda não se usa
em
produtos
TV Digita
l 200
6/7
12
Estimação de movimento
�Ass
im a técn
ica m
ais im
portante actualm
ente
em TV é
a BMA.
�Nesta técn
ica a análise do m
ovimento é
efectuada em bloco
s rectangulares de, em
geral, MxN
pixels. No M
PEG2 usa
m-se 16x1
6
o que corresp
ondeu a um compromisso
qualid
ade complexidade adequado.
�A pesq
uisa ig
nora m
ovimentos rotacionais e
ass
ume que todos os pixels no bloco
tem o
mesm
o m
ovimento.
TV Digita
l 200
6/7
13
Estimação de movimento
�Nesta condições o objectivo do m
étodo é
enco
ntrar o bloco
que m
elhor se
casa
com o
actual n
a im
agem anterior efectuando
desloca
mentos laterais e verticais. A pesq
uisa
éefectuada numa ja
nela de (M+2m
2)x(N
+2n1),
como se m
ostra na figura seguinte.
TV Digita
l 200
6/7
14
Estimação de movimento
Bloco
MxN
Nn1
n1
Mm2
m2
Janelade Pesquisa
N+2n1
M+2m
2
Diz-se queo M
E range éde +-n1pelse +-m
2linhas
TV Digita
l 200
6/7
15
Estimação de movimento
Imagem
k
Imagem
k-1
Janelade
pesquisa
Comparação com todos os blocos da
janela de pesquisa
TV Digita
l 200
6/7
16
Estimação de movimento
�Como m
edir o “ca
samento”(M
atch)?
�Se for Xm,na in
tensidade de cada pixel d
e
coordenadas (m
,n) na im
agem actual e
XRm+I,n+jfor a in
tensidade na im
agem
anterior do pixel d
e coordenadas (m
+I,n+j),
podemos calcular o erro quadrátic
o m
édio
(MSE) por (
)∑∑
==
++
−=
M m
N n
jni
mR
nm
XX
MN
ji
M1
1
2,
,1
)(
1,
TV Digita
l 200
6/7
17
Estimação de movimento
�Mas háoutras métricas possíveis
�Erro abso
luto m
édio
�Correlaçã
o cruza
da
()
∑∑
==
++
−=
M m
N n
jni
mR
nm
XX
MN
ji
M1
1
,,
2
1,
()
()
21
11
2
,
21
11
,2
11
,,
3,
=
∑∑
∑∑
∑∑
==
++
==
==
++
M m
N n
jni
mR
M m
N n
nmM m
N n
jni
mR
nm
XX
XX
ji
M
TV Digita
l 200
6/7
18
Estimação de movimento
�Estratégias de busc
a completa im
plicam
que qualquer destas medidas se
ja
calculada para todos os desloca
mentos. O
cá
lculo terá
que ser efectuado
repetid
amente (2m
2+1)x(2n1+1) ve
zes para
depois verific
ar qual o
desloca
mento que
conduz a um m
enor va
lor do erro. Trata-se
de uma operaçã
o extraordinariamente
pesa
da.
TV Digita
l 200
6/7
19
Estimação de movimento
�Para além desta questão o facto de se
considerarem bloco
s leva
a que m
uita
s ve
zes
cheguemos a resu
ltados que não
corresp
ondem efectivamente a m
ovimento
mas antes ruído ou resu
ltados médios de
movimentos mais complexo
s.
�Háalguns algoritm
os que foram
dese
nvo
lvidos para sim
plificar as busc
as,
reduzindo o número de operaçõ
es a realizar
sem prejuízo exa
gerado do resu
ltado final.
TV Digita
l 200
6/7
20
Estimação de movimento
�Método de pesq
uisa lo
garítm
ica
Neste m
étodo a pesq
uisa é
efectuada
pesq
uisando sóna direcç
ão de m
enor erro
enco
ntrado.
Este m
étodo foi o
primeiro a ser utilizado e
ainda é
usa
do nalguns co
decs
hoje
comercializados para TV.
A figura seguinte m
ostra uma im
plementaçã
o.
TV Digita
l 200
6/7
21
Pesquisa logarítmica
012345 -5-4-3-2-16 -6
-6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6
11
11 1123
23 2
34
4
55
5
Números indicam
etapas em que se realizaram cálculos, estando a amarelo os nós para os
quais se encontrou o valor mínim
o da diferença entre blocos. Sósão efectuados cálculos
para os deslocamentos correspondentes aos nós assinalados com bola. Vector assinalado
éa estimativaq final (a diferença para o nóam
arelo émenor que a calculada para os nós
da etapa 5)
TV Digita
l 200
6/7
22
Pesquisa em
direcções
conjugadas
Neste caso faz-se a pesquisa em
cada uma das direcções, alterna-
dam
ente, partindo do m
ínim
o obti-
em cada passo para a pesquisa no
passo seguinte.
A laranja estão os pontos de mí-
nim
oe os números designam
as
etapas de cálculo sucessivo.
Hádiversas variantes.
11
111
222 2
33
3
TV Digita
l 200
6/7
23
Pesquisa a 3 passos
012345 -5-4-3-2-16 -6
-7 -6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6 7
-77
Pesquisas feitas com
saltos decrescentes -4,
2, 1 pixel na figura ao
lado.
Este método éfácil de
estender se se pretender
obter MV com resolu-
ções inferiores a um
pixel como em certas
norm
as m
ais recentes.
11
1
11
1
11
1
22
2
22
22
233
3 3 3333
TV Digita
l 200
6/7
24
Pesquisa hierárquica
�Esta técn
ica im
plica decimar a im
agem (su
b
amostrar) e começa
r o proce
sso pela im
agem de
baixa reso
luçã
o.
�O vector de m
ovimento enco
ntrado em baixa
reso
luçã
o é
utilizado como estim
ativ
a in
icial p
ara
o M
V em reso
luçã
o final.
�Este proce
sso pode faze
r-se
com m
ais de duas
reso
luçõ
es dife
rentes.
�O que se poupa nos algoritm
os tem que ser
sufic
iente para compensa
r as operaçõ
es de sub-
amostragem.
TV Digita
l 200
6/7
25
Algoritmos híbridos
�Os algoritm
os que até
ao m
omento tiveram m
ais
suce
sso na codifica
ção de vídeo são os ch
amados
híbrido que reco
rrem à
estim
açã
o de m
ovimento e
às transform
adas, também designados por híbridos
DPCM/D
CT.
�A id
eia base
estáem constitu
ir no codifica
dor uma
imagem previsã
o da im
agem prese
nte a partir dos
bloco
s desloca
dos da im
agem anterior, usa
ndo
estim
açã
o de m
ovimento, e m
andar a in
form
açã
o
sobre os ve
ctores de m
ovimento para o rece
ptor
que ass
im pode reco
nstitu
ir a m
esm
a im
agem
TV Digita
l 200
6/7
26
Algoritmos híbridos
�Contudo, porque esta estim
ativ
a será
em m
uito
s ca
sos im
perfeita
, ca
lcula-se a dife
rença
entre a
imagem estim
ada a partir da anterior e a im
agem
que efectivamente aco
ntece
u, co
difica
-se ess
a
dife
rença
usa
ndo a DCT e envia-se para o
desc
odifica
dor, para que este poss
a proce
der à
correcç
ão da im
agem prevista que já
tem e ass
im
coloca
r em m
emória uma versão correcta da
imagem actual.
�Este proce
sso repete-se in
defin
idamente enquanto
durar o vídeo.
TV Digita
l 200
6/7
27
Algoritmos híbridos
�Ass
im sendo, e um determ
inado bloco
não puder
ser enco
ntrado na im
agem anterior ou for mal
enco
ntrado, o que suce
de é
que a im
agem
dife
rença
terá
maior va
lor ness
a zona e gastará
maior número de bits
parta enviar.
�O fabrica
nte do codifica
dor va
i ter por isso
que
ava
liar o que vale a pena in
vestir na estim
açã
o de
movimento em funçã
o do débito
/qualid
ade que
pretende obter.
TV Digita
l 200
6/7
28
JPEG
�A primeira norm
a que utilizou boa parte destas
técn
icas de compress
ão combinadas entre si
foi a
JPEG.
�Éuma norm
a ISO/IEC que se dirige à
compress
ão de fotografia
s, hoje em dia m
uito
exp
andida, que perm
ite variadas reso
luçõ
es.
�Háoutras norm
as para outros tip
os de
imagens (computer graphics, dese
nho técn
ico,
etc.) que não são bem comprimidas por JP
EG,
destaca
ndo-se o JBIG
.
TV Digita
l 200
6/7
29
JPEG
�Os objectivos de compress
ão suportados sã
o os
seguintes, a escolher de aco
rdo com a aplicaçã
o
�Existem dife
rentes modos: sequencial,
progress
ivo, se
m perdas e hierárquico.
�Actualm
ente existe já
nova
versão m
ais potente
–JP
EG2000
Comprimento em bits/pixel
Qualidade
0,25
-0,5
mod
erad
a a bo
a0,5 a 0,75
boa a muito boa
o,75
-1,5
exce
lente
1,5 - 2,0
indistingu
ível do original
TV Digita
l 200
6/7
30
JPEG
�Utiliza a DCT a duas dim
ensõ
es se
guida de
quantiz
açã
o, Run-Length
e VLC conform
e
discu
tidos.
�Consu
ltar artigos ou, por exe
mplo, ca
p. 8 de:
�Tec
hniques
& Standards for Im
age, Videoand
Audio Coding, K. R. Rao e J. J. Hwang,
Prentice Hall, 1996
TV Digita
l 200
6/7
31
H.261
�Esta foi a
primeira norm
a a aplicar um
algoritm
o híbrido à
codifica
ção de vídeo, para
aplicaçõ
es em vídeo-conferência.
�Em conjunto com outras co
nstitu
i a norm
a
H.320 -equipamento vídeo telefone de banda
estreita
�H.261 -algoritm
o de vídeo a px6
4kb
it/s
�H.221 -estrutura de trama dos tele-serviços
�H.230 -sinais controlo e in
dicaçã
o
�H.242 -estabelecimento da comunicaçã
o
usa
ndo canais 2Mbit/s
TV Digita
l 200
6/7
32
H.261
�A soluçã
o enco
ntrada in
sere os bits
represe
ntando o vídeo comprimido e o áudio
digita
l uma trama que é
síncrona com os
relógios do vídeo e áudio.
�A transm
issã
o utiliza um código corrector de
erros BCH.
�Dado que o conteúdo das im
agens éva
riáve
l, é
nece
ssário criar um m
eca
nismo de controlo do
codifica
dor de m
odo a que este preench
a a
capacidade do canal, co
nform
e figura seguinte.
TV Digita
l 200
6/7
33
H.261
Codificador
vídeo
Vídeo
multiplexer
Buffer
transm
issão
Codificador
transm
issão
Des-
Codificador
vídeo
Vídeo
Dem
ux
Buffer
recepção
Descodificador
canal
Controlador
Codificador
Descodificador
canal
TV Digita
l 200
6/7
34
H.261
�Háaqui u
m asp
ecto novo
que é
a nece
ssidade
de controlar em tempo real a
qualid
ade do sinal
por form
a a m
anter o débito
constante.
�Este foi u
m asp
ecto m
uito
complexo
da norm
a
principalm
ente o pensa
r nas form
as de
norm
alizar este asp
ecto garantid
o que os
sistemas funcionam bem m
as, ao m
esm
o tempo
se deixa esp
aço
para in
ova
ção nas empresa
s fabrica
ntes de equipamento.
TV Digita
l 200
6/7
35
H.261
�Nos momentos em que a complexidade ou
actividade da im
agem aumentam baixa a
qualid
ade da codifica
ção, va
riando quantificaçã
o
etc., por form
a a m
anter co
nstante o débito
no
canal. Nas zo
nas de baixa actividade pode até
ser nece
ssário reco
rrer àintroduçã
o de bits
de
ench
imento.
�Apenas form
atosCIF e Q
CIF são suportados
�A figura seguinte aprese
nta um diagrama de
bloco
s de um codifica
dor H.261.
TV Digita
l 200
6/7
36
Codificador H.261
Decisão
Intra/Inter
DCT
blocos8x8
CIF
QCIF
Inter
Intra
QVLC
Estim
ador
Movim
ento
Filtro
namalha
Inter
Intra
Mux
e
Buffer
Block
Type
VLC
MC
No M
C
Q-1
IDCT
-
+
+
Mem
ória
Imagem
No M
C
MC
Imagem
anterior reconstruída
VLC
Vectoresde movim
ento
comandos
inform
ação
TV Digita
l 200
6/7
37
H.261
�As im
agens podem ser class
ifica
das intra e
ness
e caso
são codifica
das de form
a autónoma
utilizando DCT etc. ou Inter e ness
e caso
usa
-se
a estim
açã
o do m
ovimento a partir da im
agem
anterior. O
codifica
dor decide em funçã
o dos
dados rece
bidos àentrada.
�O filtro da m
alha é
utilizado para reduzir alta
s frequências na dife
rença
entre as im
agens
prevista e a que foi capatada.
TV Digita
l 200
6/7
38
H.261
�Esta norm
a perm
itiu uma qualid
ade m
uito
boa
para as im
agens CIF. Estas se
m compress
ão
tem uma qualid
ade superior ao VHS lo
go
estáva
mos a falar de tecn
ologias utilizáve
is no
mercado de consu
mo.
�Os resu
ltados eram m
uito
bons para débito
s su
periores a cerca de 0,5Mbit/s, particularm
ente
acima dos 1Mbit/s.
�As im
agens CIF eram não entrelaça
das mas
isso
, a estes níveis de qualid
ade, traduzia bem
de e para PAL e NTSC.
TV Digita
l 200
6/7
39
H.261
�Foi n
este contexto que arranco
u o
MPEG1 tendo em vista a grava
ção em
CD de film
es de qualid
ade m
elhor que o
VHS. Sabendo que a H.261 podia faze
r isso
nos débito
s disponíveis na le
itura
dos CD’s, 1,5 M
bit/s, era à
partida uma
soluçã
o poss
ível.
�Havia que reso
lver algumas questões
coloca
das pelas aplicaçõ
es que
determ
inaram algumas alte
raçõ
es