1SS 2005 5. Klassifikation und Approximation mit MLP

5. Klassifikation und Approximation durch ein

Multilayer Perzeptron (MLP)Jörg Krone, Ulrich Lehmann, Hans Brenig, Oliver Drölle

Output

Input

SS 20052

5. Klassifikation und Approximation mit MLP

Inhalt

a. Einfaches Perzeptron am Beispiel künstliches Auge

b. Klassifikationsleistung für Muster als Funktion der Layerzahl

c. Approximation von Kennlinien

d. Ergebnis der Approximation einer technischen Kennlinie

3SS 2005 5. Klassifikation und Approximation mit MLP

Einfaches Perzeptron am Beispiel künstliches Auge

Aufgabenstellung: Erkennung des Musters auf der Retina

4SS 2005 5. Klassifikation und Approximation mit MLP

Realisierung mit Perzeptron

• Erkennung des Musters auf der Retina

• Perzeptron: dreilagig

• Aktivierungsfunktion: binäre Funktion für Ebene 0 und 1. Eingabeschicht: binär (0,1)

5SS 2005 5. Klassifikation und Approximation mit MLP

Klassifikationsleistung für Muster als Funktion der Layerzahl

• durch die Erhöhung der Layerzahl lassen sich komplexere Figuren besser klassifizieren.

• durch die Verwendung von stetigen Aktivierungs-funktionen werden die Kanten geglättet

6SS 2005 5. Klassifikation und Approximation mit MLP

Approximation von Kennlinien

Aufgabenstellung: Das statische Verhalten eines technischen Systems, gegeben durch die Kennlinie ua = f(ue) soll gelernt werden

7SS 2005 5. Klassifikation und Approximation mit MLP

MLP für Approximation von Kennlinien

• Lernen und approximieren einer unbekannten Kennlinie

• Perzeptron: drei- oder vierlagig,

• Aktivierungsfunktion: Eingabeschicht: Identität (linear); Schicht 2 und 3: sigmoide Funktion; Ausgangsschicht: Identität (linear).

8SS 2005 5. Klassifikation und Approximation mit MLP

Schema der Approximationvon Kennlinien

• Nach dem Training wird die unbekannte Funktion (dicke schwarze Linie) durch die sigmoiden Funktionen der inneren Schichten (dünne Linien) stückweise approximiert

• die Anschmiegung an die vorgebenene Kennlinie erfolgt durch die Gewichtsänderung im Training

• je höher die Frequenz der Kennlinie, desto mehr Schichten sind erforderlich

Output

Input

9SS 2005 5. Klassifikation und Approximation mit MLP

Ergebnis der Approximation

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8

'data6.txt' using 1:2

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8

'data6.txt' using 1:3

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8

'data6.txt' using 1:5

Ausgangswerte

Nach 1000 Trainingsepochen

Nach 2000 Trainingsepochen

10SS 2005 5. Klassifikation und Approximation mit MLP

Bewertung der Approximationsleistung

• nach dem Training wird die unbekannte Funktion (rote Linie) durch die sigmoiden Funktionen der inneren Schichten (blaue Linie) stückweise approximiert und aufsummuiert vom Ausgangsneuron

• die Kennlinie wird nach etwa 2000 Trainings-epochen mit guter Näherung wiedergegeben

• alle Trainings-, Validierungs- und Testdaten wurden vor dem Training normiert

11SS 2005 5. Klassifikation und Approximation mit MLP

Fragen

Fragen Sie bitte!

12SS 2005 5. Klassifikation und Approximation mit MLP

Danke

Vielen Dank für Ihr Interesse!