gabor- und wavelet-transformation multiskalenanalyse

113
Department Informatik Arbeitsbereich Kognitive Systeme (KOGS) 64-350 Multidimensionale und Multimodale Signale Gliederung: Teil I: Einleitung, Wurzeln, Grundbegriffe Teil II: Fourierreihenentwicklung, Fourieranalyse Teil III: Komplexe Fourierreihe, Fouriertransformation Teil IV: Faltung, Abtastung, Korrelation Teil V: Eigenschaften und Theoreme der Fouriertransformation Teil VI: n-dim. Fouriertransformation, Faltung und Korrelation Teil VII: Gabor- und Wavelet-Transformation, Multiskalenanalyse Teil VIII: Sensoren, Rauschen, Rauschreduktion Teil IX: Diffusionsgleichungen Teil X: Bildfolgenanalyse, Bewegungsschätzung Teil XI: Registrierung, Extraktion von Landmarken Teil XII: Nichtlineare Deformation, Fusion Teil XIII: Signalverarbeitung auf Diskreten Oberflächen

Upload: others

Post on 11-Sep-2021

6 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Gabor- und Wavelet-Transformation Multiskalenanalyse

Department Informatik

Arbeitsbereich Kognitive Systeme (KOGS)

64-350 Multidimensionale und Multimodale Signale

Gliederung:

Teil I: Einleitung, Wurzeln, Grundbegriffe Teil II: Fourierreihenentwicklung, Fourieranalyse Teil III: Komplexe Fourierreihe, Fouriertransformation Teil IV: Faltung, Abtastung, Korrelation Teil V: Eigenschaften und Theoreme der Fouriertransformation Teil VI: n-dim. Fouriertransformation, Faltung und Korrelation Teil VII: Gabor- und Wavelet-Transformation, Multiskalenanalyse Teil VIII: Sensoren, Rauschen, Rauschreduktion Teil IX: Diffusionsgleichungen Teil X: Bildfolgenanalyse, Bewegungsschätzung Teil XI: Registrierung, Extraktion von Landmarken Teil XII: Nichtlineare Deformation, Fusion Teil XIII: Signalverarbeitung auf Diskreten Oberflächen

Page 2: Gabor- und Wavelet-Transformation Multiskalenanalyse

Teil VII: Gabor- und Wavelet- Transformation, Multiskalenanalyse

Quellen: P. Stelldinger, H.S. Stiehl: VL Systemtheorie, WiSe 07/08, Univ. Hamburg

H. Neumann, VL Computer Vision I, SoSe 07, Univ. Ulm

Department Informatik

Arbeitsbereich Kognitive Systeme (KOGS)

Page 3: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -3

Gabor- und Wavelet-Transformation From Joseph de Fourier to Dennis Gabor

Gabor- und Wavelet-Transformation

From Joseph de Fourier to Dennis Gabor

Fourier Transform revisited

+ spectral decomposition/analysis of multidimensional aperiodic signals )(xf ! )(uF !

+ duality of filtering in space/time and frequency domain

)()( ⋅⊗⋅ gf )()( ⋅⋅⋅ GF

+ Discrete FT and Fast FT (FFT)

– global transformation, no representation and analysis of local signal structure

Page 4: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -4

)52cos()(1 ttx ⋅⋅= π

)252cos()(2 ttx ⋅⋅= π

)502cos()(3 ttx ⋅⋅= π

Stationäre Signale:

Gabor- und Wavelet-Transformation From Joseph de Fourier to Dennis Gabor

Page 5: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -5

)(1 ωX

)(2 ωX

)(3 ωX

)(1 tx

)(2 tx

)(3 tx

•−!

•−!

•−!

Gabor- und Wavelet-Transformation From Joseph de Fourier to Dennis Gabor

Page 6: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -6

)502cos()252cos()52cos()(4

ttttx

⋅⋅+

⋅⋅+

⋅⋅=

π

π

π

)(4 ωX)(4 tx •−!

Gabor- und Wavelet-Transformation From Joseph de Fourier to Dennis Gabor

Page 7: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -7

Die Fourier-Transformation liefert die spektrale Zusammensetzung eines Signals, sie liefert aber keine Information über die zeitliche Relation dieser Spektralkomponenten.

Stationäre Signale bestehen aus Spektralkomponenten, die sich über die Zeit nicht ändern:

•  alle Spektralkomponenten bestehen über die gesamte Zeit •  eine Zeitinformation wird daher nicht benötigt •  die Fourier-Transformation arbeitet exzellent für stationäre Signale

Nichtstationäre bestehen aus zeitveränderlichen Spektralkomponenten •  Viele Signale (beispielsweise Audiosignale) weisen typischerweise instationäres

Verhalten auf, d.h. die im Signal enthaltenen Frequenzen sind zu gewissen Zeiten stärker, zu gewissen Zeiten weniger stark vertreten.

•  Wie bestimmt man die zeitliche Lage der Spektralkomponenten? •  Die Fourier-Transformation zeigt nur, welche Spektralkomponenten im Signal

vorkommen, nicht aber, welche Komponente zu welchem Zeitpunkt vorliegt. •  Wir benötigen eine andere Methode, die zeitliche Lage der einzelnen

Spektralkomponenten zu bestimmen und darzustellen.

Gabor- und Wavelet-Transformation From Joseph de Fourier to Dennis Gabor

Page 8: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -8

Stationäre Signale ändern sich nicht über die Zeit Nichtstationäre Signale besitzen ein zeitveränderliches Spektrum

)502cos()252cos()52cos()(4

ttttx

⋅⋅+

⋅⋅+

⋅⋅=

π

π

π

][)( 3215 xxxtx ⊕⊕=

⊕ : Aneinanderreihung

!"

!#

$

<≤⋅⋅

<≤⋅⋅

<≤⋅⋅

=

10,6für)502cos(6,00,3für )252cos(

3,00für)52cos()(4

tttttt

txπ

π

π

Gabor- und Wavelet-Transformation From Joseph de Fourier to Dennis Gabor

Page 9: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -9

Genaue Information, welche Frequenzen im Signal vorkommen, aber keine Information zu welchem Zeitpunkt eine Frequenzkomponente vorkommt.

X4(ω)

X5(ω)

Gabor- und Wavelet-Transformation From Joseph de Fourier to Dennis Gabor

Page 10: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -10

Sinus-Signale und Exponentialsignale •  sind in der Zeit unendlich ausgedehnt keine zeitliche Lokalisation •  unendliche schmal im Frequenzbereich exakte spektrale Lokalisation •  eine globale Analyse ist für ein nichtstationäres Signal nicht aussagekräftig .

Wir benötigen ein lokales Analyseverfahren für eine Zeit-Frequenz-Darstellung (time-frequency representation, TFR) von nichtstationären Signalen •  Kurzzeitspekralanalyse oder Spektrogramme (Short Time Fourier

Transformation): Wir zerlegen das Signal in kurze Zeitintervalle, die kurz genug sind, dass wir das Signal in ihnen stationär annehmen können, und berechnen dann von jedem Segment die Fourier-Transformierte (Gabor 1946).

•  Unterschiedliche Spektrogramme unterscheiden sich in der Wahl der Wichtungsfunktion

•  Die Kurzzeitspektralanalyse ist ein wichtiger Baustein moderner Sprach- und Audiocodierverfahren sowie Verfahren zur Spracherkennung

Gabor- und Wavelet-Transformation From Joseph de Fourier to Dennis Gabor

Page 11: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -11

Gabor- und Wavelet-Transformation From Joseph de Fourier to Dennis Gabor

Example (from [8]): windowing

2.1 a) ( ) ( ) ( )203

sin( ) sin( ) sin sin rectt k t t k t t tπ ε

π εω ω ω ω

+

−+ = + ⋅ −

( ) ( ) ( )01 1( ) ( ) ( ) ( ) sinc( )2 2

j tj j e ωδ δ δ δ −⋅ − ⋅ + ⋅ − ⋅ ⊗ ⋅ ⋅

Page 12: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -12

Gabor- und Wavelet-Transformation From Joseph de Fourier to Dennis Gabor

2.1 c) Gaussian windowing

( )sin( ) ( , ; 2) sin( ) sin( ) ( , ; 8) :t G t t k t G tω σ µ ω ω σ µ⋅ = + + ⋅ =

( ) ( ) ( ))()()(21)( ⋅⊗⋅−⋅+⋅≈ GFjGF δδ

„locality thru windowing�

appropriate!

Page 13: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -13

Gabor- und Wavelet-Transformation From Joseph de Fourier to Dennis Gabor

Gedankenexperiment on window functions •  class(es) of window functions •  compact support of window function •  parameters = degrees of freedom •  tradeoff w.r.t. locality

ωtgood localization less good localization

ωtωΔtΔ

?mint ωΔ ⋅Δ →

•  desiderata for window function locality in time/space and frequency domain plus minimization of uncertainty relation plus window functions with compact support and rapid decay plus tuning of specifity w.r.t. local signal structure plus convolution with filter kernels (≡ impulse response function of LTI system)

→ class of windowed FT ... and beyond

Page 14: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -14

Gabor- und Wavelet-Transformation Gabor-Transformation

•  desiderata for window function: locality in time/space and frequency domain plus minimization of uncertainty relation plus window functions with compact support and rapid decay plus tuning of specifity w.r.t. local signal structure plus convolution with filter kernels (≡ impulse response function of LTI system) •  goals: - signal representation w.r.t. localized time and frequency

- complete signal representation; optimal w.r.t. ... „... our everyday experiences – especially our auditory sensations – insist

on a description in terms of both time and frequency.“ (D. Gabor, 1946, p. 429)

Page 15: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -15

Dennis Gábor (eigtl. Dénes Gábor) (* 5. Juni 1900 in Budapest, † 8. Februar 1979 in London) war ein ungarischer Physiker, der später die britische Staatsbürgerschaft annahm. Er absolvierte das Studium der Physik 1920 an der Technischen Universität von Budapest. Weitere Studien an der Technischen Hochschule Berlin-Charlottenburg folgten von 1921 bis 1924 mit dem Abschluss als Diplomphysiker. 1927 ging er zur Siemens & Halske AG (heute Siemens AG) in Berlin, wo er seine ersten Erfindungen (Hochdruck-Quecksilberdampflampe) machte. Als Folge der politischen Entwicklungen im Dritten Reich emigrierte er 1933 nach England und erhielt dort die britische Staatsbürgerschaft. In England war er für die Firma Thomson-Houston tätig. 1946 entwickelte er die Gabor-Transformation, eine örtlich eingeschränkte Variante der Fourier-Transformation, ursprünglich zur Lösung quantenmechanischer Probleme.

1947 entwickelte er das Prinzip der Holographie. Gábor trat 1949 in das Imperial College of Science and Technology in London ein, wo er 1958 Professor of Applied Electron Physics wurde. Gábor erhielt 1971 den Physik-Nobelpreis "für seine Erfindung und Entwicklung der holographischen Methode". Er meldete über 100 Patente an.

Erhalten geblieben ist auch Gábors wahrer Ausspruch: "Für die Mehrheit der Menschen ist Arbeit die einzige Zerstreuung, die sie auf Dauer aushalten können."

Gabor- und Wavelet-Transformation From Joseph de Fourier to Dennis Gabor

Page 16: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -16

Eine Fourier-Analyse über das gesamte Signal sagt zwar etwas über den gesamten Frequenzinhalt aus, nicht allerdings über die zeitlich veränderliche Charakteristik.

Abhilfe schafft die sogenannte Kurzzeitspektralanalyse.

Beispiel: Chirp-Signal: für )cos(][ 2nAnx oω= 51010 −×= πωo

0 100 200 300 400 500 600 700 800

-1

-0.5

0

0.5

1

Time index n

Am

plitu

de

Augenblicksfrequenz von x[n] ist 2ωon

Gabor- und Wavelet-Transformation From Joseph de Fourier to Dennis Gabor

Page 17: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -17

Prinzip

•  Aus der Folge x[n] werden mit einer Fensterfunktion w[n] Blöcke der Länge N (N = 2q) herausgeschnitten.

Zoom in

Zeitbereich :

Frame/ Block

überlappend

Gabor- und Wavelet-Transformation From Joseph de Fourier to Dennis Gabor

Page 18: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -18

0 100 200 300 400 500 600 700 800

-1

-0.5

0

0.5

1

Time index n

Am

plitu

de

0 50 100 150 200 -1 0 1

Time index n

Am

plitu

de

100 150 200 250 300 -1 0 1

Time index n

Am

plitu

de

300 350 400 450 500 -1 0 1

Time index n

Am

plitu

de

200 250 300 350 400 -1 0 1

Time index n

Am

plitu

de

Vier Blöcke des Chirp-Signals, die durch ein rechteckiges Fenster mit je 200 Punkten Länge herausgeschnitten wurden

Gabor- und Wavelet-Transformation From Joseph de Fourier to Dennis Gabor

Page 19: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -19

•  Für jeden Block wird die FFT berechnet und in der Regel der Betrag der DFT-Koeffizienten graphisch dargestellt. Man erhält für jeden Block die so genannte Kurzzeit-Fouriertransformierte (engl.: Short-time Fourier transform, STFT)

•  Für w[n] = 1 reduziert sich die STFT zur DTFT von x[n] •  Für w[n]=δ[0]=δm,0 reduziert sich die STFT auf die Zeitfunktion •  Die Signalblöcke können sich dabei – wie in der Darstellung – überlagern, um bei der Darstellung

zwischen den zeitlich aufeinander folgenden Spektren weiche Übergänge zu haben. •  XSTFT[k,n] ist eine Funktion von 2 Variables: dem Zeitindex n und dem Frequenzindex k •  XSTFT[k,n] ist periodisch in der Frequenz mit der halben Samplefrequenz. •  Die Darstellung |XSTFT[k,n]|, bzw. |XSTFT[k,n]|2 nennt man Spektrogramm •  Zur Darstellung des Spektrogramms benötigt man 3 Dimensionen

∑−

=

−⋅⋅−=1

0

/ 2][][],[N

m

NknjSTFT emwmnxknX π

wobei w[n] eine geignete Fensterfunktion darstellt.

∫ −−= τττω ωτdetxtX jSTFT )(*w)(),(

Gabor- und Wavelet-Transformation From Joseph de Fourier to Dennis Gabor

Page 20: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -20

Spektrogramm des Signals x(t)

Zeit- parameter

Frequenz- parameter

zu analysier-endes Signal

Fensterfunktion Signal um τ verschoben

Kern der Fourier-Transformation (Basisfunktion)

∫ −−= τττω ωτdetxtX jSTFT )(*w)(),(

Gabor- und Wavelet-Transformation From Joseph de Fourier to Dennis Gabor

Kurzzeit-Fouriertransformierte:

Page 21: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -21

Algorithmus zur Erstellung des Spektrogramms Wähle eine Fensterfunktion endlicher Länge. Die Fensterfunktion wird an den Signalanfang gelegt. Wichte das Signal mit der Fensterfunktion. Berechne die Fourier-Transformierte des gewichteten Signals und speichere das Ergebnis. Verschiebe die Signalfunktion um ein festes Intervall nach links. Gehe zu Punkt 3 zurück bis die Fensterfunktion den rechten Rand des Signals erreicht. Wir erhalten für jede Fensterposition ein anderes Spektrum.

•  Diese unterschiedlichen Spektren beinhalten somit die zu den einzelnen Zeitintervallen zugehörige spektrale Information. Dies ermöglicht uns eine gemeinsame Darstellung der Signalenergie über die Zeit und Frequenz.

Gabor- und Wavelet-Transformation From Joseph de Fourier to Dennis Gabor

Page 22: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -22

•  Meist wird der Betrag der STFT 2-dimensional gezeichnet mit den Achsen Frequenz und Zeit, wobei der Betrag als Graustufe oder farbkodiert eingezeichnet wird.

•  Beispiel: Plot des Betrags der STFT des Chirp-Signals mit für 20 000 Abtastpunkte:

)cos(][ 2nAnx oω=51010 −×= πωo

Zeit

Freq

uenz

0 5000 10000 15000 0 0.1 0.2 0.3 0.4 0.5

Die M-Form ergibt sich durch Aliasing!!

•  Jede Spalte gibt das aktuelle Spektrum (die DFT) des Signals zum betreffenden Zeitpunkt an.

•  Jedes einzelne Spektrum sieht in etwa so aus: 0 0.5π π 1.5π 2π 0 5

10 15 20

ω M

agni

tude

Gabor- und Wavelet-Transformation From Joseph de Fourier to Dennis Gabor

Page 23: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -23

Breitband-Spektrogramm Hohe Auflösung im Zeitbereich, niedrige Auflösung im Frequenzbereich.

!  Einzelne Glottisschläge sind gut sichtbar (die vertikale Linien).

!  Die Formanten (breite horizontale �Bänder�) sind gut zu erkennen. Sie sind charakteris-tisch für die Laute, insb. für Vokale.

Schmalband-Spektrogramm Hohe Auflösung im Frequenzbereich, niedrige Auflösung im Zeitbereich .

!  Grundfrequenz und einzelne Harmonische (schmale parallele “Bänder”) sind gut zu erkennen und können sehr genau bestimmt werden.

!  Formanten, d.h. Harmonische, die durch Resonanz eine maximale Intensität erreichen (Vokaltrakt) schwer zu erkennen.

!  Einzelne Glottisschläge nicht sichtbar.

Gabor- und Wavelet-Transformation From Joseph de Fourier to Dennis Gabor

Page 24: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -24

Man sieht die gegenseitige Abhängigkeit zwischen Zeit- und Frequenzauflösung Entweder erzielt man eine hohe Zeitauflösung auf Kosten einer eingeschränkten

spektralen Information, oder eine hohe Sektralauflösung wird mit einer Zeitverschmierung erkauft.

Für die Auflösung (im Sinne von Trennung zweier Signale) im Zeitbereich ΔT und im Frequenzbereich ΔF gilt:

ΔT·ΔF≈1

Die benötigte Fensterfunktion verbreitert die Auflösung zusätzlich. Eine Integration über die Frequenzvariable ergibt im allgemeinen nicht die Zeitfunktion Eine Integration über die Zeitvariable ergibt im allgemeinen nicht die Frequenzfunktion Eine hierzu verwandte Darstellung ist die so genannte Subband-Filterung. Anstatt von

der Zeitfunktion geht diese vom Spektrum aus und schneidet hieraus schmale Frequenzbereiche heraus, die sodann einzeln für sich in den Zeitbereich transformiert werden.

∑−

=

≠1

0

][],[N

kSTFT nxknX

∑−

=

≠1

0

][],[N

nSTFT kXknX

Gabor- und Wavelet-Transformation From Joseph de Fourier to Dennis Gabor

Page 25: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -25

hochfrequenter Reibelaut, rauschähnlich Stimmhafte Laute,

Glottisschläge gut sichtbar Pause

Verschlusslaut

Gabor- und Wavelet-Transformation From Joseph de Fourier to Dennis Gabor

‘side’

Page 26: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -26

‘she’ ‘shoe’

Gabor- und Wavelet-Transformation From Joseph de Fourier to Dennis Gabor

Page 27: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -27

Das Spektrogramm wird häufig in der Sprach- und Musikanalyse eingesetzt. Bei korrekter Anwendung entstehen keine Artefakte der Signalverarbeitung,

d.h. alle auftretenden Strukturen entsprechen Signalanteilen. Die Interpretation ist einfach.

Auflösung: Die Zeit- und Frequenzauflösung kann nicht gleichzeitig beliebig

hoch sein! (Heisenbergsche Unschärferelation, 1930) " Wir können die zeitliche Lage und zugehörige Frequenz nicht gleichzeitig exakt bestimmen. Wir können nur für ein endliches Zeitintervall ein zugehöriges Frequenzintervall angeben, in dem die Signalenergie konzentriert ist.

∫ −−= τττω ωτdetxtX jSTFT )(*w)(),(

∑−

=

−⋅⋅−=1

0

/ 2][][],[N

m

NknjSTFT emwmnxknX π

π41

≥Δ⋅Δ ft

Zeitauflösung, gibt den Mindest-abstand um zwei Signale zeitlich aufzulösen.

Frequenzauflösung, gibt den Mindestabstand um zwei Signale im Spektrum zu trennen

Gabor- und Wavelet-Transformation From Joseph de Fourier to Dennis Gabor

Page 28: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -28

Gabor- und Wavelet-Transformation Gabor-Transformation

Gabor-Transformation • quantum theory of information (1946)

frequency

time

1ωΔ2ωΔ

1tΔ 2tΔ

! Heisenberg�s uncertainty relation

πω

41

≥Δ⋅Δt

! Gabor�s logon of information with minimal area in information diagram, with variances !t, !!.

• minimum of uncertainty relation for

( )( ; ) cos sin ( ; )i te G t t i t G tω σ ω ω σ⋅ ⋅ = + ⋅

• full 2-dim. generalization of Gabor�s theory for 2-dimensional spatial filters by J.G. Daugman in 1985 ([2])

Page 29: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -29

D.Gabor (1946): Untersuchung der Eigenschaften lokaler (komplexer) Signalrepräsentationen

Tief- und Bandpaß!  Filter und ihre Eigenschaften (idealisiert)

Gabor-Transformation als Bandpaßfilter

!!"

#$$%

&− 2

2

2exp

21

σσπx

Tiefpaß Bandpaß Hochpaß

x ω

!!"

#$$%

&− 2

2

2exp σ

ω

!  Spektrum der 1-D Gauß-Funktion

Gabor- und Wavelet-Transformation Gabor-Transformation

Page 30: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -30

Differentiations- und Verschiebungstheorem

!  Ableitung(en) der Gauß-Funktion und Amplitudenspektrum

allgemein : beliebige Funktion, f(x)

( )xfx22

∂ ( )ωω F⋅− 2

x ω

Funktion : Gauß�sche Dichtefunktion, Gσ(x) = exp(-x2/2σ2)/√2πσ

( )xGx σ22 / ∂∂ ( )ωω σG

2−

σω

2max =

Gabor- und Wavelet-Transformation Gabor-Transformation

Page 31: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -31

( ) ( )( ) ( )( )

( ) ( )( )xhxhxfxxxfxx

oddeven , 0 , sin , cos

sincos

00

00

⋅=

⋅+=

ωω

ωω j

!  Verschiebung einer Funktion im Frequenzraum

allgemein: beliebige Funktion (1D)

( ) ( )xfx ⋅0exp ωj ( )0ωω −F

x

( ) ( )xGx σω ⋅0cos ( ) ( )xGx σω ⋅0sin

Hüllkurve = Gauß-Funktion

( ) ( )( )[

( ) ( )( )] ( )ωωωδωωδ

ωωδωωδ

F∗+−−+

++−=

00

0021

ω ω0 -ω0

(½) (½)

ω ω0

-ω0

(½)

(-½)

hier: Gauß�sche Dichtefunktion im Frequenzraum, ( )ωG

( ) ( )ωωωδ F∗−= 0

Gabor- und Wavelet-Transformation Gabor-Transformation

Page 32: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -32

Laplace

!  Filter und ihre Eigenschaften

2D Bandpaßfilter mit Orientierungsselektivität

( ) ( ) ( )

( )σσσ

σσσ

,21

,,,

2

22

2 x

xxx

!

!!!

Gyx

GGG yyxx

⋅##$

%&&'

( +−⋅−=

+=Δ

( )σ

ω2

max ±=x

( ) ( )ω!Gyxˆ22 ⋅+− ωω( )σ,x!GΔ

2rω

!  Spektrum

Gabor- und Wavelet-Transformation Gabor-Transformation

Page 33: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -33

Detektion orientierter Struktur (Texturen)Orientierte Strukturen im Frequenzraum

λ ωλπ=

2

Amplitudenspektrum

Amplitudenspektrum

Gabor- und Wavelet-Transformation Gabor-Transformation

Page 34: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -34

yω!  Spektrum eines Bandpaßfilters mit Orientierungsselektivität – Gabor-Filter

Spektrum orientierter Bandpaßfilter Laplace-Operator besitzt ein isotropes Spektrum, d.h. Strukturen einer bestimmten Ortsfrequenz, aber unterschiedlicher Vorzugsrichtungen können nicht differenziert werden !

σ

1.  Sektor (mit Orientierung Ψ)

2.  Gauß�sche Fensterfunktion Ψ

!  Abtastung des Ringes mit glatten Fensterfunktionen

θxω

yω Frequenz00 , yx ωω 0~ω!

( )σ

ω2

max ±=r

(= Laplace)

Gabor- und Wavelet-Transformation Gabor-Transformation

Page 35: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -35

Verschobene Gaussfunktionen und Ortsfilter in 2D

!  2D Gauss-Funktion und Fourier-Verschiebungstheorem (s.o.)es gilt:

( ) ( )( )xωjx!!!⋅⋅ 0expf ( )0ωω !!

−F

hier geg.: Spektrum der Gauss-Funktion im Frequenzraum, das um verschoben wurde (→ Gabor-Filter)

( )000 , yx ωω=ω!

( ) ( ) ( )[ ] !"

#$%

& ⋅−+−−=− 220200 2

1expˆ σωωωω yyxxG ωω !!

( ) ( )( ) !!"

#$$%

& +−

⋅⋅= 2

22

20 2exp

21

expσσπyx

Gabor xωjx!!!

( ) ( )xωjxω !!!!00 sincos +

Gabor- und Wavelet-Transformation Gabor-Transformation

Page 36: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -36

!  Gabor-Bandpass und seine RücktransformationParameter für ein gegebenes Spektrum( ω = 2πu, u = 1/λ )

Ψ

( )yxheven ,

( )yxhodd ,

cos

sin

Ψ

Ψ

Gabor- und Wavelet-Transformation Gabor-Transformation

Page 37: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -37

Gabor-Funktionen (cos / sin)

cos

sin

135°2 Zyklen

0°2 Zyklen

45°4 Zyklen

Gabor- und Wavelet-Transformation Gabor-Transformation

Page 38: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -38

even

odd

0° 45° 90° 135°

0° 45° 90° 135°

Beispiel für 2D Gabor-FilterungTypen: type ∈ {even = cos-Modulation, odd = sin-Modulation}Filter-Parameter: σ = 5.0 pixel; λ = 8 pixelOrientierungen: θ ∈ {0°, 45°, 90°, 135°}

Gabor- und Wavelet-Transformation Gabor-Transformation

Page 39: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -39

Generierung von Gabor-Funktionen (Gauß�sche Fensterfkt.)!  Parametrisierung – Frequenz-Selektivität und Tuning

•  λ : Tuning (max. Sensitivität, Wellenlängen-Selektivität)⇒ Frequenz in rad. :

•  β : Bandbreite (in Oktaven)

•  a : Weite des Amplitudenspektrums (Trägerfunktion im Frequenzraum)⇒ Bestimmung als Vielfaches von

: Standardabweichung des Gauß�schen Trägers im rad.-Frequenzraum default :

bb 2log2 =⇔= ββ

λπω /20 =ω

-π π

Nyquist Rate : π

σσ /1ˆ =

0.1=a

σωσωˆˆ

0

0

aab

+=

( ) ( )σωσωβ ˆlogˆlog 0202 aa −−+=

Gabor-Filter – Generierung und Eigenschaften

σ

σω ˆ0 a±ω

σ

Bandbreite des Bandpassfilters:

Gabor- und Wavelet-Transformation Gabor-Transformation

Page 40: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -40

!  Steuerung der Ortsfrequenzselektivität und Filter-Bandbreitegeg. : a,,0 βω

( )( )

( )( )11

121

0 −

+=

+=

bba

bba

ωπλ

σmit

σσ

λπ

ω

20

=

=

Ziel : automatische Bestimmung der zugehörigen Standardabweichung σ der Gauß�schen Hüllfunktion im Ortsbereich

π

Test auf Überschreitung der Nyquist-Rate (Aliasing):

14ˆ0 +

>⇒<+bba λπσω

σω ˆ0 a+

ω

Bedingung zur Erfüllung der Nyquist-Rate :

Gabor- und Wavelet-Transformation Gabor-Transformation

Page 41: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -41

Generierung mittelwertfreier Gabor-Filter (1D)Einordnung: Bandpass-Filter sollten Signalanteile niedriger Frequenzen unterdrücken,

z.B. auch diejenigen der Frequenz Null→ der Filter soll mittelwert-frei sein (= keine DC-Komponente) !

( ) ( ) ( )xxωx!!!!

σGGabor ⋅= 0cos cos

( ) ( ) ( )xxωx!!!!

σGGabor ⋅= 0sin sin

( ) ( )( )[ ] ( )ωωωωω !!!!!σδδ G

21

00 ∗++−

( ) ( )( )[ ] ( )ωωωωω !!!!!σδδ G

21

00 ∗+−−

Beobachtung:

!  ( ) ( ) 0sin 0 =⋅∫∞

∞−dxxGx σω

!  ( ) ( ) ( ) ( )∫∫∞∞

∞−⋅=⋅

0 00 cos2cos dxxGxdxxGx σσ ωω

Der sin-Filter, Gaborsin(x) , ist ein echter Bandpaß-Filter, d.h. die Antwort auf eine konstante Funktion (Mittelwert) ist stets Null

Der cos-Filter, Gaborcos(x) , liefert positive Antworten (!) auf eine konstante Funktion

Gabor- und Wavelet-Transformation Gabor-Transformation

Page 42: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -42

Analyse des cos-Filters

( ) ( ) ( )∫∫∞∞

⋅$$%

&''(

)−=⋅

0 02

2

0 0 cos2

exp22

cos2 dxxx

dxxGx ωσσπ

ω σ

!!"

#$$%

&−=

2exp

22 22

0σωσπ

( ) ( ) !"

#$%

&−=⋅∫∞

∞−

2200 2

1expcos σωω σ dxxGx

0ωω

0ω−

( ½ )( ½ )Fourier-Spektrum der cos-modulierten Gauss-Funktion

( ) ( )[ ] ( )ωωωδωωδ σG21

00 ∗++−

( ) ( ) !!"

#$$%

&!"

#$%

& +−+!"

#$%

& −−= 220

220 2

1exp

21

exp21

σωωσωω

!"

#$%

&− 2202

1exp21

σω

und somit gilt

Gabor- und Wavelet-Transformation Gabor-Transformation

Page 43: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -43

Kompensation – mittelwertfreier (DC-level free) Gabor-Filter, Gaborcos(x)

!  Ausgangssituation: Das Integral der cos-modulierten Gauss-Funktion ergibt sich zu (vgl. Ursprung in der Fourier-Ebene, ω = 0)

!  Spektrum:

( ) ( ) ( ) ( ) ( ) ( )( ) ( )xGAxxGAxGx σσσ ωω ⋅−=⋅−⋅ 0cos0cos 00

!  Korrektur der cos-modulierten Gauß-Funktion: Ziel ist es, das Integral der geraden Funktion cos(•) Gσ(x) so zu verändern, dass es Null und damit mittelwertfrei wird

( ) !"

#$%

&−== 2202

1exp0 σωωA

( ) ( )( ) ( ) ( ) ( )ωωδωωδωωδ σGA ˆ021

00 ∗%&

'()

* ⋅−++−( ) ( ) ( )00 AdxxGA =⋅∫∞

∞− σ

( -A(0) ) 0ω0ω−

( ½ )( ½ )

ω

( ) ( ) ( )0cos 0 AdxxGx =⋅∫∞

∞− σω

Gabor- und Wavelet-Transformation Gabor-Transformation

Page 44: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -44

Input image mit DC-komp. ohne DC-komp.

Beispiel für 2D Gabor-cos Filterung mit MittelwertkompensationTyp: type ∈ {even = cos-Modulation}Filter-Parameter: σ = 6.0 pixel; λ = 20 pixelOrientierung: θ = 90°

Gabor- und Wavelet-Transformation Gabor-Transformation

Page 45: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -45

SeparierbarkeitZiel: Berechnung der Faltungen der Gaborfilter

( ) ( )( ) ( ) !!

"

#$$%

& +−

⋅⋅)*+

=

=2

22

20sin

0cos

2exp

21

sincos

σσπyx

GaborGabor

xωxxωx!!!!!!

( ) ( ) ( )yGxGG σσσ ⋅=x!

Additionstheoreme: (Skalarprodukt )

( ) ( ) ( ) ( ) ( )( ) ( ) ( ) ( ) ( )yxyxyx

yxyxyx

yxyxyx

yxyxyx

000000

000000

sincoscossinsin

sinsincoscoscos

ωωωωωω

ωωωωωω

⋅+⋅=+

⋅−⋅=+

yx yx00

0 ωω +=⋅xω !!

mit Intensitätsfunktionen (Bilder) durch separierte Funktionen !

( ) ( ) ( ) ( )[ ] ( ) ( )( ) ( ) ( ) ( )[ ] ( ) ( )yGxGyxyx

yGxGyxyx

yxyx

yxyx

σσ

σσ

ωωωω

ωωωω

⋅⋅+⋅

⋅⋅−⋅0000

0000

sincoscossin

sinsincoscos

Repräsentation separierbarer Gabor-Filter Paare:

Gabor- und Wavelet-Transformation Gabor-Transformation

Page 46: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -46

Kaskade von 1-D Faltungen:

( ) ( ) ( )

( ) ( ) ( )yGyGy

yGyGy

y

y

y

y

σωσ

σωσ

ω

ω

,0

,0

sinsin

coscos

≡⋅

≡⋅

( )xGx σω ,cos

( )xGx σω ,sin

( )yGy σω ,cos

( )yGy σω ,sin

( )yGy σω ,cos

( )yGy σω ,sin

Σ

Σ

+

+

+

-

Abkürzungen :

1D-Faltungen in x-Richtung

1D-Faltungen in y-Richtung

*

* Bild

Bild

( ) ( ) ( )( ) ( ) ( )xGxGx

xGxGx

x

x

x

x

σωσ

σωσ

ω

ω

,0

,0

sinsin

coscos

≡⋅

≡⋅

Bild

**

*

*

*

*=

=

( )yxG ,cos σ

( )yxG ,sin σ

Gabor- und Wavelet-Transformation Gabor-Transformation

Page 47: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -47

„Kurzzeit�-FouriertransformationFensterfunktion und FouriertransformationAbtastung mit Fensterfunktionen konstanter Breite im Frequenzraum : σ = const.

Ortsbereich(cos-Modulation)

Frequenzbereich(realer Signalanteil)

0ω0ω−02ω− 02ω

( 1 )

( ½ ) ( ½ )( ½ )( ½ )σ

λππω /220 == u 0/2 ωπλ =⇒Frequenz :

Abtastung der Frequenzachse :

01 ωω ⋅= q 2 , =q

Gabor- und Wavelet-Transformation Gabor-Transformation

Page 48: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -48

Parametrisierung der FensterfunktionenDie Breite der Fensterfunktionen im Frequenzraum bleibt unabhängig vom Frequenz-Tuning konstant :

.1ˆ const==σ

σ

0qkkn =

Konsequenz: Die Breite der Fensterfunktion bleibt sowohl im Frequenz- als auch im Ortsbereich konstant, d.h. die Anzahl der Wellen unter der Fensterfunktion im Ortsbereich vervielfacht sich mit der Vervielfachung der Tuning-Frequenz

00λkd =

σπω

πσω

ˆ00

0aak ==

σad 2= Anzahl der Wellen (bei Erhöhung des Frequenz-Tunings) innerhalb der Fensterfunktion konstanter Breite :

0ωω qn =

.2 constad == σ

0

22ωπ

ωπ

λqkkkd n

n

nnn ===

0

02ωπk

=

Gabor- und Wavelet-Transformation Gabor-Transformation

Page 49: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -49

Konstruktionsprinzipien1.  Schema nach D. Gabor mit konstanter Hüllkurve:

Die lokale Bandbreite ist konstant ! (die Anzahl der Wellen innerhalb des Fensters nimmt entsprechend des Ortsfrequenz-Tunings zu !)

Gabor-Pyramiden

2.  Gabor-Wavelets:Die lokale Bandbreite ist umgekehrt proportional zur Ausdehnung der Gabor-Funktion (die Anzahl der Wellen innerhalb des Fensters bleibt konstant !)

Gabor- und Wavelet-Transformation Beyond Gabor

Page 50: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -50

Gabor- und Wavelet-Transformation Gabor-Transformation

Page 51: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -51

•  Die begrenzte Auflösung des Spektrogramms kann überwunden werden, indem unterschiedlich breite Fenster verwendet werden (J. Morlet1,2, ein Geologe, Ende 1970)

•  Unterschiedlich beite Fensterfunktionen lösen verschiedene Komponenten auf: •  Analyse hoher Frequenzen " Schmale Fenterfunktionen ergeben die beste

Zeitauflösung •  Analyse tiefer Frequenzen " Breite Fensterfunktionen ergeben eine gute

Frequenzauflösung •  Dieses Verfahren ist immer dann gut geeignet, wenn das zu analysierende Signal hauptsächlich

aus langsam variierenden Größen besteht und nur einzelne kurze hochfrequente Anteile enthält.

•  Die Heisenbergsche Unschärferelation gilt nach wie vor!!! •  Massive Kritik und Ablehnung durch Mathematiker aufgrund Mangel an mathematischer

Stringenz!!! •  Anfang der 1980er Jahre fromalisiert Grossman, ein theoretischer Physiker, das Verfahren und leitet

die inverse Transformation ab " Erste Wavelet-Transformation! •  Die Fensterfunktion nennt man heute das Wavelet

1P. Goupillaud, A. Grossmann und J. Morlet: Cycle-Octave and Related Transforms in Seismic Signal Analysis. Geoexploration, 23:85-102, 1984. 2A. Grossmann und J. Morlet: Decomposition of Functions Into Wavelets of Constant Shape, and Related Transforms. In: L. Streit (Herausgeber): Mathematics and Physics, Lectures on Recent Results. World Scientifc Publishing, Signapore, 1985.

Gabor- und Wavelet-Transformation Beyond Gabor

Page 52: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -52

Gabor- und Wavelet-Transformation Beyond Gabor

Beyond Gabor Wavelets (engl.), Ondelettes (franz.), Wellchen (dt.), ...

• general problem statement ([7])

f (t) ∈ L2(R) with finite energy || f ||2

:= f (t), t ∈! f (t)

2dt < ∞

−∞

∫%&'

('

)*'

+'with scalar product dttgtfgf )()(, ⋅>=< ∫

∞−

!)(ˆ)( tfF ∀≡ ωω

?),( tF ω ! particular frequency at particular time thru appropriate windowing

⇒ time–frequency analysis

• „A window function w(t) is a function in L2(R) such that both w and have rapid decay (i.e., w is well-localized in time, while is well-localized in frequency). Multiplying a signal by a window function before taking its Fourier transform has the effect of restricting the spectral information of the signal to the domain of influence of the window function.�

w

w

Page 53: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -53

Gabor- und Wavelet-Transformation Beyond Gabor

w(t)∈L2(!)• parameters of window function

,)(* 222 ∫

∞−

−= dttwtwt center radius ,)(*)(

21

2212 !

!"

#$$%

&−=Δ ∫

∞−

− dttwttww width wΔ2

localized spectral information of f in time window ]*,*[ ww tt Δ++Δ−+ ττ

∫∞

∞−

−−= dtetwtffT tiw ωτπ

ωτ )()(21))(,(

• windowed Fourier transform

and in frequency window ]*,*[ ˆˆ ww Δ++Δ−+ ωωωω

⇒ time-frequency window centered at with width and height and constant area

][][ …… ⋅*),*( ωωτ ++t wΔ2 w2Δ

ww ˆ4 ΔΔ

Page 54: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -54

Gabor- und Wavelet-Transformation Beyond Gabor

f (t)∈L2(!)

∫∞

∞−

Ψ Ψ= dtttfbaf ba )()(),)((W ,

• integral wavelet transform of

wavelet coefficients

!"#

$%& −

Ψ=Ψ−

abtatba 2

1

, )( where

wavelets with implicit scaling (father) function

with a,b∈!, a ≠ 0 and Ψ ∈L2(!) and Ψ(t)dt = 0

-∞

∫mother wavelet

localizes the spectrum of f(t) within time window and frequency window

]*,*[ ΨΨ Δ++Δ−+ abatabat]*,*[ ˆ

11ˆ

11Ψ

−−Ψ

−− Δ+Δ− aaaa ωω

⇒ variable time-frequency window (with centers t* and w* and radii ) with width 2a·ΔΨ (inversly proportional to center frequency a-1ω*) and height 2a-1· (directly proportional to center frequency) and constant area

ΨΔ ˆ

ΨΨ Δ⋅Δ ˆ4

ˆ and Ψ ΨΔ Δ

iff both and are admissible window functions Ψ Ψ

• case study: 2-dim. Gabor wavelets

Page 55: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -55

Gabor- und Wavelet-Transformation Beyond Gabor

(from: [1], p. 99)

Page 56: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -56

Gabor- und Wavelet-Transformation Beyond Gabor

ω

0 1t 2t 3t 4tt

after: Figure 5.1: Wavelet time frequency windows. (from: [7], p. 107)

Page 57: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -57

Gabor- und Wavelet-Transformation Beyond Gabor

Figure 4.9 from [Mallat, 1999]

Page 58: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -58

Gabor- und Wavelet-Transformation Beyond Gabor

(from: [1], p. 100f)

Page 59: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -59

Probleme bei der Generierung von Gabor-Filtern mit festen Fensterfunktionen!  Instabilitäten in den höchsten Frequenzen

Die Gauß�sche Fensterfunktion im Frequenzraum bleibt in ihrer Größe konstant – unabhängig von ihrer Verschiebung (Frequenz-Selektivität), d.h. die Modulationsfrequenz der Hüllkurve (im Ortsbereich) steigt an !

!  Die (Orientierungs-) Selektivität (bei 2D Gabor-Filtern) ist bei verschiedenen Frequenzen (Ortsfrequenz-Tuning) nicht konstantDie Anzahl der Orientierungen ist eine Funktion des Frequenz-Tunings, Δθ = f(ωtune)

Δθ = 30.0 Δθ = 18.0 Δθ = f(ωmax)

Gabor- und Wavelet-Transformation Beyond Gabor

Page 60: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -60

Gabor-WaveletsVariable Fensterbreite in Abhängigkeit des Frequenz-TuningsKonstantes Vielfaches der Wellenlänge unter der Hüllkurve, unabhängig vom Frequenz-Tuning : dn = k·λn , mit k = const.

Ortsbereich(cos-Modulation)

Frequenzbereich(realer Signalanteil)

0ω0ω−04ω− 04ω

Gabor- und Wavelet-Transformation Beyond Gabor

Page 61: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -61

Parametrisierung der FensterfunktionenDie Wellenzahl bleibt unabhängig vom Frequenz-Tuning konstant:

.constk =

Konsequenz: Die Breite der Fensterfunktion im Ortsbereich muß für höhere Tuning-Frequenzen proportional zu den kürzeren Wellenlängen abnehmen – die Anzahl der Wellen unter der Fensterfunktion bleibt konstant !

00 λkd =

0

000

σπω

πσω aak ==

00 2 σad = Konstante Anzahl der Wellen (bei Erhöhung des Frequenz-Tunings) innerhalb der Fensterfunktion :

0ωω qn =

000 2 λσ kad == nnn kad λσ == 2

kdd

n

n ==0

0

λλ πωσ

πωσ

2200=nn⇒

00 ˆˆ1σσσσ q

q nn =⇔=

Gabor- und Wavelet-Transformation Beyond Gabor

Page 62: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -62

Generierung von 2D-Filtern für eine gegebene Anzahl von OrientierungenBandpassfilter mit unterschiedlichem Ortsfrequenz-Tuning (innerer und äußerer Ring) sollen in eine feste Anzahl von Segmenten zerlegt werden, Δθ = const.

Δθ = const.

Gabor- und Wavelet-Transformation Beyond Gabor

Page 63: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -63

Gaborfilterenergie – Skala 1

Orientierung: 0° 30° 90°

Originalbild

Filterantworten bei Skala 1

Page 64: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -64

Gaborfilterenergie – Skala 2

Orientierung: 0° 30° 90°

Originalbild

Filterantworten bei Skala 2

Page 65: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -65

Gaborfilterenergie – Skala 4

Orientierung: 0° 30° 90°

Originalbild

Filterantworten bei Skala 4

Page 66: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -66

Gabor- und Wavelet-Transformation Wavelet Transform: First Summary

Wavelet Transform: First Summary • zoo of wavelets, e.g. Haar, Shannon, Meyer, Daubechies, Battle-Lemarié

wavelets

• variety of theoretical properties e.g. - wavelet basis and vector space decomposition - compactness of support - smoothness of wavelet function

. . . • construction of wavelets w.r.t. requirements from theory and practice

e.g. compactly supported biorthogonal wavelets for linear phase FIR (finite impulse response) subband filtering

• range of applications in multidimensional signal processing e.g. - denoising

- multiscale edge detection and representation - FIR subband filtering (for data compression)

- multiscale/multiresolution approximation of L2(!)

- multiresolution decomposition and reconstruction of functions in L2(!)

• discrete/fast wavelet transform

Page 67: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -67

Gabor- und Wavelet-Transformation Wavelet Transform: First Summary

(from: [3], pp. 403-423)

⇒ generalized uncertainty relation (Daugman, 1985) 2

161))()()(( π≥ΔΔΔΔ vuyx

Page 68: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -68

Gabor- und Wavelet-Transformation Wavelet Transform: First Summary

(from: [3], pp. 403-423)

Page 69: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -69

( )∫ "#

$%&

' −== ∗

txx dt

st

txs

sXsCWTτ

ψττ ψψ 1),(),(

Kontinuierliche Wavelet-Transformation des Signals x(t) berechnet mit dem Wavelet ψ(.)

Verschiebungs-parameter, Zeit

Dehnungsparameter, Frequenz

Das “Mutter-Wavelet” (mother wavelet). Alle Transformationskerne leiten sich aus diesem ab durch Verschiebung und / oder Dehnung ab

Normierungskonstante

zu analysierendes

Signal

s=Skalenfaktor= 1/Frequenz

∫ −= ττψτψ dtfxfftXWT

))((*)(),(

Manchmal findet man auch folgende Definition:

Gabor- und Wavelet-Transformation Wavelet Transform

Page 70: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -70

! Skalierung bedeutet einfach Dehnung oder Stauchung!

1 2 3 4 5 6

1

2

3

4

! Verschiebung meint eine Zeitverschiebung

2.5 5 7.5 10 12.5 15 17.5

-1

-0.5

0.5

1

Gabor- und Wavelet-Transformation Wavelet Transform

Page 71: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -71

Durch eine dyadische Unterteilung der Zeit-Frequenzebene ergibt sich ein sehr effizienter Algorithmus zur Berechnung der Diskreten Wavelet-Transformation:

•  Subband coding (Zerlegung in �Töne�, d.h. in Frequenzintervalle mit konstanter relativer Breite)

•  Die dyadische Frequenz-Zeiteinteilung und die Zerlegung in Intervalle gleicher relativer Breite kann durch eine Serie von aufeinander folgender Filter (�Hoch-� und �Tiefpass-Filter�) mit anschließendem Down-Sampling erreicht werden. (Das Down-Sampling eliminiert die Redundanz im Informationsgehalt nach den Filterstufen.)

Die diskrete Wavelet-Transformation wird sehr erfolgreich zur Datenkompression eingesetzt, die die allermeisten DFT-Koeffizienten sehr klein sind und daher ohne Auflösungsverlust weggelassen werden können. Für viele Anwendungen ist eine grobe Näherung nützlicher als die feinen Details

•  Für Datenkompression bei Bilder (JPEG2000) oder Musik (MPEG) •  Rauschunterdrückung, Analyse und Diagnose, Codierung, Quantisierung und

Kompression, Übertragung und Speicherung, Aufbereitung, Rekonstruktion und Synthese von Signalen.

Gabor- und Wavelet-Transformation Discrete Wavelet Transform

Page 72: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -72

Warum benötigen wir Datenkompression bei Bildern?

1280 Pixel

800 Pixel

1280 × 800 × 3 (RGB) = 3 Mb

Bildgröße eines kleinen digitalen Photos ohne Kompression:

Gabor- und Wavelet-Transformation Discrete Wavelet Transform

Page 73: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -73

Originalbild 3 Mb

JPEG2000 komprimiert 19 K bytes

•  Kompressionsverhältnis: > Faktor 150! •  Kein bemerkbarer Unterschied in der Bildqualität

Gabor- und Wavelet-Transformation Discrete Wavelet Transform

Page 74: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -74

JPEG (=FFT) JPEG2000 Original Bild

Kompressionsverhältnis: 50:1

Gabor- und Wavelet-Transformation Discrete Wavelet Transform

Page 75: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -75

G

H

2

2 G

H

2

2

2

2

G

H

+

2

2

G

H

+

x[n] x[n]

Zerlegung Rekonstruktion

~

~ ~

~

∑ +−=n

high kngnxky ]2[][][~

∑ +−=n

low knhnxky ]2[][][~

∑ +−⋅k

high kngky ]2[][

∑ +−⋅k

high kngky ]2[][

2-stufige DWT Zerlegung: Die Zerlegung kann solange fortgesetzt werden, solange noch Samples zum Down-Samplen vorhanden sind.

G

H

Half band Hochpassfilter

Half band Tiefpassfilter

2

2

Down-sampling

Up-sampling

Gabor- und Wavelet-Transformation Discrete Wavelet Transform

Page 76: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -76

Anzahl der Punkte: 512 B: 0 ~ π

g[n] h[n]

g[n] h[n]

g[n] h[n]

2

d1: Stufe 1 DWT Koeff.

Anzahl der Punkte: 256 B: 0 ~ π/2 Hz Anzahl der Punkte: 256

B: π/2 ~ π Hz

Anzahl der Punkte: 128 B: 0 ~ π /4 Hz

Anzahl der Punkte: 128 B: π/4 ~ π/2 Hz

d2: Stufe 2 DWT Koeff.

d3: Stufe 3 DWT Koeff.

…a3….

Anzahl der Punkte: 64 B: 0 ~ π/8 Hz

Anzahl der Punkte: 64 B: π/8 ~ π/4 Hz

2

2 2

2 2

|H(jω)|

ωπ/2 -π/2

|G(jω)|

ωπ -π π/2 -π/2

a2

a1

Koeffizienten der Approximation 3. Stufe

Gabor- und Wavelet-Transformation Discrete Wavelet Transform

Page 77: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -77

Beispiel für Wahl der Filterfunktion: Tiefpass-Filter: Gleitender Mittelwert:

•  y(n)= x(n)/2 + x(n-1)/2 # h(0)=1/2 und h(1)=1/2 Hochpass-Filter: Gleitende Differenz:

•  y(n)= x(n)/2 - x(n-1)/2 # h(0)=1/2 und h(1)=-1/2

Gabor- und Wavelet-Transformation Discrete Wavelet Transform

Page 78: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -78

Wavelet-Transformation: Skalogramm Short Time Fourier-Transformation: Spektrogramm

Frequenz

Zeit

Frequenz

Zeit

Gabor- und Wavelet-Transformation Wavelet Transform

Page 79: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -79

Wavelet-Transformation: Skalogramm

d2 d3

Zeit

Freq

uenz

Δt

Δf d1

Gabor- und Wavelet-Transformation Wavelet Transform

Page 80: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -80

Subbands bei Bildern

LL, LH, LL LL H,L LL, LH, LH LH L,H H,H

•  Der erste Buchstabe bezieht sich auf die horizontale Filterung, der zweite auf die vertikale. •  L,H bedeutet beispielsweise, dass horizontal ein Tiefpass-Filter und vertikal ein Hochpassfilter auf die Daten angewandt wurden.

Gabor- und Wavelet-Transformation Wavelet Transform

Page 81: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -81

Gabor- und Wavelet-Transformation Wavelet Transform

Page 82: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -82

Gabor- und Wavelet-Transformation Wavelet Transform

Page 83: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -83

Gabor- und Wavelet-Transformation Wavelet Transform

Page 84: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -84

Gabor- und Wavelet-Transformation Wavelet Transform

Page 85: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -85

Gabor- und Wavelet-Transformation Wavelet Transform

Page 86: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -86

Gabor- und Wavelet-Transformation Wavelet Transform

Page 87: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -87

Gabor- und Wavelet-Transformation Wavelet Transform

Page 88: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -88

Ingrid Daubechies4,5: •  diskrete Zeit und Skalenparameter in der

Wavelet-Transformation •  1986: Wavelet Rahmen •  1988: vollständige und orthonormale Basisfunktion

für Wavelets (Daubechies wavelets) •  zeigt: Freiheit in der Wahl der Basisfunktionen auf Kosten von Redundanz

4I. Daubechies: Orthonormal bases of compactly supported wavelets. Comm. Pure Appl. Math., 41(7):909-996, 1988. 5I. Daubechies: The Wavelet Transform, Time-Frequency Localization and Signal Analysis. IEEE Trans. Inform. Theory, 36(5):961-1005, 1990

Gabor- und Wavelet-Transformation Wavelet Transform

Page 89: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -89

Stephane Mallat6: •  Doktorarbeit 1988 bei Mayer über Multiresolution Analysis •  1989: Diskrete Wavelet Transformation: Schnelle Berechnung

der Wavelet-Transformation mit Hilfe von Filterbänken Zerlegung einer Funktion in dyadisch Spektralanteile,

Croisier, Esteban and Galand, 1976 (!) Martin Vetterli & Jelena Kovacevic

•  1986: Berechnung der Wavelet-Koeffizienten über Filterbänke •  1988: Vollständige Rekonstruktion der Signale durch Einsatz von FIR Filterbänke •  Subband coding •  1992: Mehrdimensionale Filterbänke

6S. G. Mallat: A Theory for Multiresolution Signal Decomposition: The Wavelet Representation. IEEE Trans. Patt. Anal. Mach. Intell., 11(7):674-693, July 1989.

Gabor- und Wavelet-Transformation Wavelet Transform

Page 90: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -90

Vergleich der Transformations-Kerne:

( ) ( ) ( )*aS a, t s t dt

−∞

τ = Ψ − τ ⋅ ⋅∫

a (t )Ψ −τ

i t / ae ⋅

i t / ae w(t )⋅ ⋅ − τ

1 taa− τ# $Ψ& '

( )

FOURIER

GABOR

WAVELETS

Gabor- und Wavelet-Transformation Wavelet Transform

Page 91: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -91

Wahl der Wavelet-Funktion: •  bisher freie Wahl der Wavelets

Haar Wavelet (1909)

-3 -2 -1 0 1 2 3

-1.0

-0.5

0.0

0.5

1.0

Ψ (t)

Gabor- und Wavelet-Transformation Wavelet Transform

Page 92: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -92

Daubechie Wavelet (4. Ordnung), 1987:

-1 0 1 2 3 4

-1.5

-1.0

-0.5

0.0

0.5

1.0

1.5

2.0 Ψ

(t)

t

Gabor- und Wavelet-Transformation Wavelet Transform

Page 93: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -93

Gerader Spline:

-1 0 1 2 3 -1.2

-1.0

-0.8

-0.6

-0.4

-0.2

0.0

0.2

0.4

0.6

Ψ (t)

t

( ) ( ) 22 t / 20 t 1 t e−Ψ = − ⋅

Mexican Hat (2. Ordnung)

21

/ 20

( 1)( )1( )2

m m

md ed

m

ηψ ηη

+−−

=

Γ +

Gabor- und Wavelet-Transformation Wavelet Transform

Page 94: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -94

Gabor- und Wavelet-Transformation Multiskalenanalyse

Multiskalenanalyse Die Wavelet-Transformation stellt eine Multiskalenrepräsentation des Signals

dar: Signalinformationen werden auf identische Weise für verschiedene Skalen berechnet.

Dieses Vorgehen ist auch bei anderen Operationen sinnvoll und verbreitet. Wird die Auflösung des Signals entsprechend der Frequenzauflösung über die variiert, spricht man von einer Multiskalen-Pyramide. Diese hat den Vorteil der Speicherplatzeffektivität, jedoch ist es schwieriger, Informationen von verschiedenen Skalen miteinander in Beziehung zu setzen.

Anwendungsbeispiele: Kantendetektion, Eckendetektion, und viele mehr...

Page 95: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -95

Gaußsche Glättung

0 0.7 1.4 Skala:

2.8 5.6 11.2

Page 96: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -96

Gaußscher Gradient

1.4 2.8 5.6 Skala:

1.4 2.8 5.6

x

y

Page 97: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -97

Gradientenbetrag

Original 0.7 1.4 Skala:

2.8 5.6 11.2

Page 98: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -98

Laplaceoperator von Gauß

Original 0.7 1.4 Skala:

2.8 5.6 11.2

Page 99: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -99

Kanten aus dem Gradienten (Canny-Operator)

Original 0.7 1.4 Skala:

2.8 5.6 11.2

Page 100: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -100

Kanten aus Nulldurchgängen des Laplacebildes (Marr/Hildreth bzw. Shen/Castan-Operator)

Original 0.7 1.4 Skala:

2.8 5.6 11.2

Page 101: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -101

Eckenstärke mit Rohr-Operator (Determinante des Strukturtensors)

Original 0.7 1.4 Skala:

2.8 5.6 11.2

Page 102: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -102

Eckendetektion mit Rohr-Operator (lokale Maxima der Operatorantwort)

Original 0.7 1.4 Skala:

2.8 5.6 11.2

Page 103: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -103

Gaußsche Glättung

Skala: original 1.4 5.6

Page 104: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -104

Gaußsche Pyramide

Skala: original

1/2

1/8

1/4

Page 105: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -105

Gaußscher Gradient

x

y

Skala: 1.4 2.8 5.6

Page 106: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -106

Gradientenbetrag

Skala: original 1.4 5.6

Page 107: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -107

Laplaceoperator von Gauß

Skala: original 1.4 5.6

Page 108: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -108

Kanten aus dem Gradienten (Canny-Operator)

Skala: original 1.4 5.6

Page 109: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -109

Kanten aus Nulldurchgängen des Laplacebildes (Marr/Hildreth bzw. Shen/Castan-Operator)

Skala: original 1.4 5.6

Page 110: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -110

Eckenstärke mit Rohr-Operator (Determinante des Strukturtensors)

Skala: original 1.4 5.6

Page 111: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -111

Eckendetektion mit Rohr-Operator (lokale Maxima der Operatorantwort)

Skala: original 1.4 5.6

Page 112: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -112

Gabor- und Wavelet-Transformation Literaturliste

Literaturliste [1] J.G. Daugman (1985) Representational issues and local filter models of two-

dimensional spatial visual encoding. in: D. Rose, V.G. Dobson (1985) Models of the Visual Cortex. Wiley, 96-107

[2] J.G. Daugman (1985) Uncertainty relation for resolution in space, spatial frequency and orientation optimized by two-dimensional visual cortical filters. J Opt Soc Amer A 2(7): 1160-1169

[3] J.G. Daugman (1990) An Information-Theoretic View of Analog Representation in Striate Cortex. in: E.L. Schwartz (Ed., 1990) Computational Neuroscience. The MIT Press, 403-423 (Gabor-Transformation, Sehsystem und Neuroinformatik)

[4] D. Gabor (1946) Theory of communication. Journal of the Institute of Electrical Engineers (London) 93 (III), 429-457 (Meilensteinpublikation)

[5] B.B. Hubbard (1996) The World According to Wavelets – The Story of a Mathematical Technique in the Making. Peters (leicht lesbare Einführung)

[6] S. Mallat (1998) A Wavelet Tour of Signal Processing. Academic Press (Standardwerk, insbesondere zu 2-D Multiskalenapproximation)

[7] L. Prasad, S.S. Iyengar (1997) Wavelet Analysis with Applications to Image Processing. CRC Press (fundierte theoretische Einführung)

Page 113: Gabor- und Wavelet-Transformation Multiskalenanalyse

Stelldinger, Multidimensionale und Multimodale Signale (MMS), Dept. Informatik, Universität Hamburg VII -113

Gabor- und Wavelet-Transformation Literaturliste

[8] F. Schröder, S. Wörz (2000) Theoretische und experimentelle Untersuchungen zur Anwendung der Wavelettransformation auf die Analyse digitaler Signalstrukturen. Universität Hamburg, FB Informatik, Diplomarbeit (Referenzdiplomarbeit)