Download - Nichtlineare Fisher-Diskriminanzanalyse
Nichtlineare Fisher-
DiskriminanzanalyseRaphael HoffmannPraktikumsbericht
Projektbetreuung durch Dr. Bernhard Sick
Universität Passau
2
Inhalt• Motivation• Lineare Fisher-Diskriminanzanalyse• Nichtlineare Fisher-
Diskriminanzanalyse• Implementierung• Experimente• Zusammenfassung
1
2
3
4
5
6
3
Inhalt• Motivation• Lineare Fisher-Diskriminanzanalyse• Nichtlineare Fisher-
Diskriminanzanalyse• Implementierung• Experimente• Zusammenfassung
1
2
3
4
5
6
4
Beispiel I
Motivation
Gewicht
Größe
Männer (blau)
Frauen (rot)
• Merkmalsreduktion• Klassifikation
I
F
5
Klassifikation mit Diskriminanzanalyse
Motivation
Vorgehensweise:1. Finde Gerade durch den Ursprung,
so dass Klassen auf Gerade gut getrennt sind2. Finde Decision Boundary db auf Gerade
g: w ¢ x = 0
w
IF
db
6
Alternative Klassifikationsverfahren
Motivation
• Perzeptron-Lernen• Lösung eines linearen
Ausgleichsproblems• Support Vector Machines
w
I
7
Inhalt• Motivation• Lineare Fisher-Diskriminanzanalyse• Nichtlineare Fisher-
Diskriminanzanalyse• Implementierung• Experimente• Zusammenfassung
1
2
3
4
5
6
8
Fisher-Kriterium
Lineare Fisher-Diskriminanzanalyse
Streuung zwischen den Klassen (erklärte Streuung)
Streuung innerhalb der Klassen (unerklärte Streuung)
Menge der Vektorender Klasse i
Mittelwert der Vektorender Klasse i
Mittelwert aller Vektoren
maximiere
9
Inhalt• Motivation• Lineare Fisher-Diskriminanzanalyse• Nichtlineare Fisher-
Diskriminanzanalyse• Implementierung• Experimente• Zusammenfassung
1
2
3
4
5
6
10
Beispiel II
Nichtlineare Fisher-Diskriminanzanalyse
Temperatur
Blutdruck
krank (blau)
gesund (rot)
I
11
Architektur-Übersicht
Eingabe-raum
I Nichtlineare Transformation
Lineare Fisher-
Diskriminanz-analyse
HRaum
Ausgabe-Raum
F
Nichtlineare Fisher-Diskriminanzanalyse
Beispiel
12
MLP-basierte Architektur (MLP-NLDA)
Nichtlineare Fisher-Diskriminanzanalyse
Nichtlineare Transformation
Lineare Fisher-Diskriminanzanalyse
Eingabe-raum
Bias
sigmoideAktivierung
lineareAktivierung
Bias
I
Ausgabe-Raum
F
13
RBF-basierte Architektur (RBF-NLDA)
Nichtlineare Fisher-Diskriminanzanalyse
Nichtlineare Transformation
Linear Fisher-Diskriminanzanalyse
Eingabe-raum
Bias
Radiale Basisfunktionen-Aktivierung
lineareAktivierung
I
Ausgabe-Raum
F
14
Kern-basierte Architektur (Kern-NLDA)
Nichtlineare Fisher-Diskriminanzanalyse
Eingabe-raum Raum
Lineare Fisher-Diskriminanzanalyse
NichtlineareTransformation
• Kernfunktion berechnet Skalarprodukt in einem anderen Raum
• Keine explizite Anwendung von notwendig
I HAusgabe-
Raum
F: I £ I ! R
15
Inhalt• Motivation• Lineare Fisher-Diskriminanzanalyse• Nichtlineare Fisher-
Diskriminanzanalyse• Implementierung• Experimente• Zusammenfassung
1
2
3
4
5
6
16
Implementierung im NNSIM
Implementierung
• Verschränkt: Berechnung des Fisher-Kriteriums und Gradientenabstieg
1. Setzen der Gewichte nach Fisher-Kriterium
3. Anpassung der Gewichte nach Gradientenaufstieg
2. Berechnung der Gradienten des Fisher-Kriteriums nach Gewichten
1. Setzen der Gewichte nach Fisher-Kriterium
17
Inhalt• Motivation• Lineare Fisher-Diskriminanzanalyse• Nichtlineare Fisher-
Diskriminanzanalyse• Implementierung• Experimente• Zusammenfassung
1
2
3
4
5
6
18
Experiment I
Experimente
• Wie gut eignen sich die Verfahren zur Nichtlinearen Diskriminanzanalyse zur Klassifikation?
19
Vergleich von Klassifikationsraten auf Standarddatensätzen
MLP RBF SVM0.004
90.005
20.024
00.028
10.022
90.040
2
Experimente
• Fehlerraten des Cancer3-Datensatzes
trainingerror
testerror
trainingerror
testerror
trainingerror
testerror
MLP-NLDA RBF-NLDA Kern-NLDA0.020
00.017
80.019
10.016
70.000
00.028
6
20
Experiment II
Experimente
• Wie sollte man eine lineare Separierung im Ausgaberaum bestimmen?
21
Lineare Separierung im Ausgabe-Raum
Mögliche Kriterien:• Euklidischer Abstand zu Klassenzentren• Maximum A Posteriori (MAP)• Klassifizierung durch lineare SVM
Experimente
?
FBeispiele
?
F
22
Lineare Separierung im Ausgabe-Raum
Experimente
• MAP erlaubt Berücksichtigung eines prior
Euklidisch MAP SVM0.031
10.024
40.029
30.020
10.030
60.022
9
trainingerror
testerror
trainingerror
testerror
trainingerror
testerror
Anmerkung:- Durchschnittswerte für Cancer1, Cancer2, Cancer3
23
Experiment III
Experimente
• Wie robust verhält sich Nichtlineare Diskriminanzanalyse bei unterschiedlichen Klassenstärken?
24
Robustheit bei unterschiedlichen Klassenstärken
Experimente
• Synthetische Daten mit hoher Überlappung• Variation der Klassenstärke der Exp.-Vert.
Normal-Verteilung (rot)
Exponential-Verteilung (blau)
25
Robustheit bei unterschiedlichen Klassenstärken
Experimente
Exp-gr. 10000 5000 2500 1000 100MLP 0.254
70.282
90.342
80.408
00.451
0MLP-NLDA 0.2526
0.2734
0.3142
0.3392
0.4169Anmerkungen:
- MLP mit target coding (0,...,0,1,0,...0)- MLP-NLDA mit MAP-Separierung und nicht-uniformen prior
• Analytische Ermittlung der Fehlerrate• Gleiche Berücksichtigung beider Klassen
26
Klassifikation bei unterschiedlichen Klassenstärken
Anpassungen des MLP-NLDA:1. MAP nimmt uniformen prior an2. Modifizierung der unerklärten
Streuung
Experimente
Division durch Klassengröße
max.
27
Experimente
Robustheit bei unterschiedlichen Klassenstärken
Exp-gr. 10000 5000 2500 1000 100MLP 0.254
70.282
90.342
80.408
00.451
0MLP-NLDA1
0.2526
0.2734
0.3142
0.3392
0.4169
MLP-NLDA2
0.2531
0.2551
0.2706
0.2876
0.3275
MLP-NLDA3
0.2524
0.2522
0.2533
0.2516
0.2563
Prior: Klassenstärke unerklärte Streuung: normal
Prior: uniform unerklärte Streuung: normal
Prior: uniform unerklärte Streuung: modifiziert
28
0.2
0.25
0.3
0.35
0.4
0.45
0.5
10000 5000 2500 1000 100
Robustheit bei unterschiedlichen Klassenstärken
Experimente
MLP
MLP-NLDA1
MLP-NLDA2
MLP-NLDA3
Prior: KlassenstärkenUnerklärte Streuung: normal
Prior: uniformUnerklärte Streuung: normal
Prior: uniformUnerklärte Streuung: modifiziert
29
Inhalt• Motivation• Lineare Fisher-Diskriminanzanalyse• Nichtlineare Fisher-
Diskriminanzanalyse• Implementierung• Experimente• Zusammenfassung
1
2
3
4
5
6
30
• Diskriminanzanalyse liefert Abbildung in einen niedriger dimensionalen Raum; diskriminierende Eigenschaften bleiben erhalten.
• Nichtlineare Diskriminanzanalyse wird erreicht durch Kombination einer nichtl. Transformation u. linearer Diskriminanza.
• Vorteil von Diskriminanzanalyse bei Klassifikationsaufgaben: Robustheit bei unterschiedlichen Klassengrößen
Zusammenfassung
31
• Vielen Dank für Ihre Aufmerksamkeit
Literatur:Carlos Santa Cruz und Jose R. Dorronsoro. A nonlinear
discriminant algorithm for feature extraction and data classification. IEEE Transactions on Neural Networks, 9:1370-1376, 1998
Ende