vuong uf mms k2 digitalisierung ws06 071025 · multimedia systeme dr. the anh vuong uni frankfurt...
TRANSCRIPT
Multimedia SystemeDr. The Anh Vuong
Uni Frankfurt – Informatik
Updated: 24.08.2006
© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany
Seite 1
Multimedia Systeme
Dr. The Anh Vuongemail: [email protected]
http: www.dr-vuong.de
Multimedia SystemeDr. The Anh Vuong
Uni Frankfurt – Informatik
Updated: 24.08.2006
© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany
Seite 2
Multimedia-Application
Theories
Devices
Networks
Programinglanguage,Databank,Workflow
Software
Applications
Authoringssofware, Contentmangement, Imagesprocessing, Viewer, Browser...
Network-Architecture, Network, Server, Bandwidth,Communication, Security...
Computertechnology, Digital Camera, DVD, Printer, Optical Systems...
Digital Signaltransmission, Audio and Video TechnicsDatacompression: Audio & Video
Multimedia SystemeDr. The Anh Vuong
Uni Frankfurt – Informatik
Updated: 24.08.2006
© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany
Seite 3
Digitale Signalverarbeitung� Signale und Systeme� Signalübertragung
� Digitalisierte Signal� Fourier Transformation� Abtast-Theoreme� Quantisierung
� Digitale Signalbearbeitung� Digitale Signalspeicherung
Multimedia SystemeDr. The Anh Vuong
Uni Frankfurt – Informatik
Updated: 24.08.2006
© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany
Seite 4
Signal und System - 1-� Nachrichten: Mitteilung einer oder mehrerer Informationen.
� Information: neues Wissen über ein Ereignis, einen Tatbestand oder Sachverhalt.
� Informationen Formen: Töne, Bilder, Text, Daten...
� Signal: physikalische Grösse, die den Inhalt einer Nachricht repräsentiert.
Signale sind im erweiterten Sinn Funktionen, die die zeitliche Veränderung einer physikalische Variable eines physikalischen Prozesses beschreiben.
Signal wird durch eine Zeitfunktion x(t) dargestellt
Multimedia SystemeDr. The Anh Vuong
Uni Frankfurt – Informatik
Updated: 24.08.2006
© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany
Seite 5
Signal und System - 2 -� System: komplexes Gebilde, das einen physikalischen Prozesse
aus vielen Eingangs- und Ausgangs - Signalen beschreibt. Deshalb teilt man es in viele Teilsysteme. Jedes Teilsystem besteht aus einem Eingang Signal x(t) , einem “Black Box” und einem Ausgang Signal y(t)
x (t) y (t) = H { x(t) }H
Multimedia SystemeDr. The Anh Vuong
Uni Frankfurt – Informatik
Updated: 24.08.2006
© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany
Seite 6
Zielsetzung der Signalverarbeitung
Physikalische Größe und Prozesse
Modellieren y(t) = H {x(t)}
Synthese y(t) = H’{x(t)}
Analyse: H(t) , H(f) …
Multimedia SystemeDr. The Anh Vuong
Uni Frankfurt – Informatik
Updated: 24.08.2006
© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany
Seite 7
Beispiel bei einer Audio-Signalverarbeitung
Modellieren y(t) = H{x(t)}
Synthese y(t) =H’{x(t)}
Analyse: H(t) , H(f) …
Amplitude, Schwingung,
Frequenzband,...
Musik, Töne
Eletr. Klavier,
Synthesizer, ...
Musik von mech. Instruments
Multimedia SystemeDr. The Anh Vuong
Uni Frankfurt – Informatik
Updated: 24.08.2006
© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany
Seite 8
Signal Typen
Multimedia SystemeDr. The Anh Vuong
Uni Frankfurt – Informatik
Updated: 24.08.2006
© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany
Seite 9
Signal-Digitalisierung - 1. Abtastung -
� Abtasten des analogen Signals
Zeitdauer T
und )( wobei},)({
A =
∈ RnTxnTx AAX (t)
Multimedia SystemeDr. The Anh Vuong
Uni Frankfurt – Informatik
Updated: 24.08.2006
© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany
Seite 10
Signal-Digitalisierung - 2. Quantisierung-
Quantisierung der abgetasteten Signalwerte
{ }
{ } { } { }
1,...,1,0,xmit )(
von xErsatzwertder ist x
ngstufeQuantiseruder Anzahl Die Q
1,...,1,0,x )(
q
nq
q
−=∈⇒
=
−=∈⇒
QqxxnTx
QqxnTx
nnA
nA
Multimedia SystemeDr. The Anh Vuong
Uni Frankfurt – Informatik
Updated: 24.08.2006
© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany
Seite 11
Signal-Digitalisierung - 3. Codierung-
� Die Folge der binäre Zeichen
( )
{ } { }
nnkt der Zeitpu bei
,(q) Zeichen )(mit w )(w x
folgt daraus
qzeichen
:regelCodierungs
qqn binärenn
binärewx qq
==>
=⇒
Multimedia SystemeDr. The Anh Vuong
Uni Frankfurt – Informatik
Updated: 24.08.2006
© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany
Seite 12
Signal-Digitalisierung - 3. Codierung -
� Beispiel
1117X7G7 < X[nT] < g8
1106X6G6 < X[nT] < g7
1015X5G5 < X[nT] < g6
1004X4G4 < X[nT] < g5
0113X3G4 < X[nT] < g4
0102X2G3 < X[nT] < g3
0011X1G1 < X[nT] < g2
0000X0G0 < X[nT] < g1
Zuübertragende binäre Code
Zahl qErsatzwerte xq
Originalwerte
Multimedia SystemeDr. The Anh Vuong
Uni Frankfurt – Informatik
Updated: 24.08.2006
© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany
Seite 13
Digitale Signalübertragung
ADC Coder
Kanal
DecoderDAC
err[n]Error
y[n] C[n]
C‘ [n]y‘ [n]
Ideale Kanalerr[n]=0
x(t)
x‘ (t)
SENDER
EMPFÄNGER
Abtaster
(Scanner)
Filter
x(nT)
x‘(nT)
Notes:y[n], c[n], y‘ [n], c[n] number or binary series
Multimedia SystemeDr. The Anh Vuong
Uni Frankfurt – Informatik
Updated: 24.08.2006
© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany
Seite 14
Fourier Transformation
e )x( X(f) ))((-
ft2j-
∫∞
∞== dttxF
πτX(t)
X (t) : Originale Signal
F(x(t)) = X(f) : Das Fourier Spektralsignal
Multimedia SystemeDr. The Anh Vuong
Uni Frankfurt – Informatik
Updated: 24.08.2006
© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany
Seite 15
Dirac Stoß
0 wenn t, 0 (t)
folgt es
istlich kontinuier
f(t) wenn 0 tbei )0()().(
erfüllt Bedingung folgende die die
(t),ion Deltafunkt dieist Stoß- DiracDer
≠=
==∫∞
∞−
δ
δ
δ
fdtttf
Multimedia SystemeDr. The Anh Vuong
Uni Frankfurt – Informatik
Updated: 24.08.2006
© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany
Seite 16
Normierte Dirac Stoß
==
≠
=∫∞
∞−
0;1).(
0;0
)(tdtt
t
tδ
δ
1 X(f) (t) )(
:Stoß- Dirac destion TransformaFourier Die
== δtx
Multimedia SystemeDr. The Anh Vuong
Uni Frankfurt – Informatik
Updated: 24.08.2006
© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany
Seite 17
Faltungsintegral
h(t) x(t) (t)y
)x( . )-h(t )(-
∗=
= ∫∞
∞τττ dty
x (t) y (t) = H { x(t) }H
Multimedia SystemeDr. The Anh Vuong
Uni Frankfurt – Informatik
Updated: 24.08.2006
© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany
Seite 18
Fourier Transformation &Faltungsintegral
H(f) . X(f) Y(f)
h(t) x(t) (t)y
=
∗=
Multimedia SystemeDr. The Anh Vuong
Uni Frankfurt – Informatik
Updated: 24.08.2006
© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany
Seite 19
Übertragungsfunktion
{ }
ngsfunkion Übertragudie H(f)
Stoßanwort : (t)h
H(f) H(f) X(f). Y(f) h(t)*x(t) y(t)
1 (t)F X(f) x(t)
weilh(t), )(dann (t) x(t)
====>=
====>
==
δ
δ tywenn
x (t) y (t) = H { x(t) }H
Multimedia SystemeDr. The Anh Vuong
Uni Frankfurt – Informatik
Updated: 24.08.2006
© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany
Seite 20
Fourier Transformation der Sha Funktion
∑
∑
∞
−∞=
∞
−∞=
−=
−=
n
n
nf
nt
)( III(f) (t) III
Funktion-Sha eineist )( (t) III
δ
δ
Multimedia SystemeDr. The Anh Vuong
Uni Frankfurt – Informatik
Updated: 24.08.2006
© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany
Seite 21
Abtaster
System für Abtasten von Signalen
x(t) y(t)
III(t)
Multimedia SystemeDr. The Anh Vuong
Uni Frankfurt – Informatik
Updated: 24.08.2006
© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany
Seite 22
Spektrum des abgetasteten Signals
X(f) Y(f) = X(f) . III (Tf)
fg- fg fg- fg fA-fA
fg : Grenzfrequenz von x(t)
fA : Abtastfrequenz, fA = 1/ T
Ideale TP
... ...
Multimedia SystemeDr. The Anh Vuong
Uni Frankfurt – Informatik
Updated: 24.08.2006
© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany
Seite 23
Quantisierungskennlinie
Xq
g0 g1 g2 g3 g4 x(nTA)
X3
X2
X1
X0Q = 4, Xmin = g0, Xmax = g4
{ }
{ }dexder Zeitinist n
,1,...,1,0,x][mit ][ x[n] )(
:folgt Es .Parameter ein r,Abtastdaue
von xErsatzwertder ist x
ngstufeQuantiseruder Anzahl Die Q
1,...,1,0,x )(
),( von Interwall Teil die sind )g,(
)g,()(
wobeit,zugeordene t Ersatztwereinen
),( )( Abtastwert jedem wirdungQuantisierder Bei
q
nq
q
maxminq1
q1
maxmin
−=∈=>⇒
=
=
−=∈⇒
→∈
∈
−
−
QqnxnxnTx
T
QqxnTx
xxg
xgnTx
x
xxnTx
qqA
A
nA
q
qqA
q
A
Multimedia SystemeDr. The Anh Vuong
Uni Frankfurt – Informatik
Updated: 24.08.2006
© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany
Seite 24
Bewertung der Quantisierung- Quality Measurement-
Q Q-1Ideal Chanel
SENDER RECEIVER
x[n] x´[n] = Xq[n]
Quantisierungssystem
xq [n]
Quantisierungsfehler
e[n] = x[n] –x´[n]
e [n] = x[n] –xq[n] weil xq[n]=x‘[n]
Multimedia SystemeDr. The Anh Vuong
Uni Frankfurt – Informatik
Updated: 24.08.2006
© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany
Seite 25
Quantisierungsrauschen� Quantisierung ist ein irreversibeler Prozess� Nach der Quantisierung gibt es eine Differenz zwischen der
zuquantisierende Wert x[n] und der quantisierte Wert xq[n]. Das ist die Quantisierungsfehler
e[n] = x[n] – xq[n]
� Wenn x[n] aus Audio – oder Video-Signal hergeleitet wurden, dann x[n] einem stochastischer Prozess gehört (x[n] ist quasi eine Zufallfolge]).
� Die Folge e[n] wird deshalb die Quantisierungsrausch genannt.
Multimedia SystemeDr. The Anh Vuong
Uni Frankfurt – Informatik
Updated: 24.08.2006
© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany
Seite 26
Qualitätsmaßgröße – 1-� Quadratische Schar-Mittelwert von e[n] (Mean Square Error MSE)
� RMSE Root Mean Square Error (Effektive Wert der Fehler)
21
0
1
0
2 ))(')((1
)(1
∑∑−
=
−
=
−===N
n
N
nms
nxnxN
neN
MSEE
MSEERMSEE msrms ===
Multimedia SystemeDr. The Anh Vuong
Uni Frankfurt – Informatik
Updated: 24.08.2006
© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany
Seite 27
Qualitätsmaßgröße – 2-� Signal Rausche Verhältnis (SNR: Signal to Noise)
� PSNR (Peek Signal to noise)
Bei B= 8bit , max [X(n) ] = 255
( ) ms
N
n
N
n
N
n
E
nxN
nxnxN
nxN
SNR
∑
∑
∑−
=
=
−
= =
−
=
1
0
2
0
2
1
0
2 )('1
log10
)(')(1
)('1
log10
[ ]
( )
[ ]
ms
N
n
E
nx
nxnxN
nxPSNR
2
1
0
2
2 ))('(maxlog10
)(')(1
))('(max log10 =
−
=
∑−
=
Multimedia SystemeDr. The Anh Vuong
Uni Frankfurt – Informatik
Updated: 24.08.2006
© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany
Seite 28
Quantisierungskennlinie- Lineare Quantisierung -
g0 g1 g2 g3 g4 x(nTA)
Xq
X3
X2
X1
X0Q = 4, Xmin = g0, Xmax = g4
Bitzahl dieist Q ld b
ungsstufeQuantisier dieist h , /)(
)2/).(1( x
.x
)g,()(
:ungQuantisier Lineare
minmax
min
min
q1
=
−=
++=
+=
→∈ −
Qxxh
hqx
hqg
xgnTx
q
q
qqA
Multimedia SystemeDr. The Anh Vuong
Uni Frankfurt – Informatik
Updated: 24.08.2006
© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany
Seite 29
Rundungsfehler bei der Linaren Quantisierer
h/2
e[n]
xgn gn+1 = gn+ hXq
Xq: Ersatzwert
gq, gq+1 : Grenzwert
e [n] : Quantisierungsfehler
h : Quantisierungsstufe
12
8*
3
1*
22][
2
2
32/
0
22/
0
2
hEMS
h
hdxx
hdxne
hEMS
hh
=
=== ∫∫
( )
( )
[dB] 76,102,6*
)2/3log(*102log*10*2*)2/3*2log(10
2*
3*)2(log10
12
)22
(log10
)(')(1
)('1
log10
2
2
2
2
2
1
0
2
1
0
2
+=
+==
==
−
=
∑
∑−
=
−
=
bSNR
bSNR
h
h
h
Q
nxnxN
nxN
SNR
b
b
N
n
N
n
Wird die Bitzahl b um 1 erhöht, dann verbessert sich das SNR um 6 dB.
Multimedia SystemeDr. The Anh Vuong
Uni Frankfurt – Informatik
Updated: 24.08.2006
© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany
Seite 30
Quellen Codierung- PCM: Pulse Code Modulation -
PCM Codec: Wq[n] sind binäre Zahlen mit festen Wortlänge
Abtaster
x‘ (t)
HTP(f) = rect (f/2fmax)
Ideale Tiefpass
x(t)
III (t )
QBinäre Coder(Code-Tabelle)
x[n]
Ideeller Kanal
Binäre Decoder(Code-Tabelle)
SENDER
EMPFÄNGER
ADC: Analog Digital Converter
DAC: Digital Analog Converter
Linearer Quantisierer
x‘[n]
err[n]=0
xq[n]
wq[n]
wq[n]
Q-1
xq[n]
Multimedia SystemeDr. The Anh Vuong
Uni Frankfurt – Informatik
Updated: 24.08.2006
© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany
Seite 31
Image signals RGB
Multimedia SystemeDr. The Anh Vuong
Uni Frankfurt – Informatik
Updated: 24.08.2006
© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany
Seite 32
Quantization- Bit number -
Original 1 bit / pel 2 bit / pel 4 bit /pel
256 Graylevel /pel 2 Graylevel /pel 4 Graylevel /pel 16 Graylevel /pel
Multimedia SystemeDr. The Anh Vuong
Uni Frankfurt – Informatik
Updated: 24.08.2006
© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany
Seite 33
Digitalizing- Block Spliting of images -
Original Block 8*8 Block 4*4 Block 2*2128*192 pels 16*24 pels 32*48 pels 64*96 pels
Multimedia SystemeDr. The Anh Vuong
Uni Frankfurt – Informatik
Updated: 24.08.2006
© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany
Seite 34
Daten Volumen
1.1 Gbit /s66 MHz30 Hz1920x 1152HDTV
166 Mbit/s10 MHz25 Hz720 x 576Digitale TV
18 Mbit/s1,5 MHz15 Hz352 x 288Bildtelephon
M*N*3
z.B. 768 Kbyte bei 512*512
--M*N
z.B. 512 x 512
RGB Standbild
Datenvolumen / Bitrate
Bandbreite [Hz]Bildfrequenz [Hz]Bildformat [pixel]Typ
1,4 Mbit /s44 Hz20 KHz (ca.)16 x 2CD-Musik
64 Kbit /s8 KHz4 KHz8Telephon
Datenvolumen / BitrateAbtastfrequenz [Hz]Bandbreite [Hz]Bit / Abtastwert [bit]Typ
Multimedia SystemeDr. The Anh Vuong
Uni Frankfurt – Informatik
Updated: 24.08.2006
© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany
Seite 35
Datenrate typischer Netz
Nein155 Mbit/sATM
Ja100 Mbit/sFDDI
Ja10-100Mbit/sEthenet
Ja1-6Mbit/sDSL
Nein2 x 64 Kbit /sISDN
Nein56 kbit/sAnaloges Telephonnetz
MehrfachnutzungMax. Datenrate [bit/s]Netz