probabilistic neural network
DESCRIPTION
Probabilistic Neural Network . Team 6 – Multimedia Engineering. Fakultät für Ingenieurwissenschaften Brodkorb , Karsten Liesche, Toni Wendel, Tom. 2. „The resulting network […] has the unique feature that the decision boundary - PowerPoint PPT PresentationTRANSCRIPT
Fakultät für IngenieurwissenschaftenBrodkorb, KarstenLiesche, ToniWendel, Tom
Team 6 – Multimedia Engineering
Probabilistic Neural Network
Team 6: Probabilistic Neural Networks 2
„The resulting network […] has the unique feature that the decision boundaryimplemented by the probabilistic neural network (PNN) asymptotically
approaches the Bayes optimal decision surface.“
Donald F. Specht (Lockheed Missiles & Space Company) - 1990
Team 6: Probabilistic Neural Networks
Inhaltsverzeichnis1 Probabilistic Neural Networks
… Grundlagen… Allgemeiner Aufbau… Mathematische Grundlagen… Der Glättungsparameter σ
2 Implementierung in Knime
3 Testdaten
4 Quellen
3
Team 6: Probabilistic Neural Networks
Grundlagen
4
Eigenschaften: Klassifizierer Nähert sich optimalem Bayes Klassifizierer an Berechnung anhand von Wahrscheinlichkeiten „Probabilistic“ NNs Unanfällig gegenüber Ausreißern Kurze Trainingszeit (klassisches PNN)
Voraussetzungen: Datensätze mit numerischen Attributen Menge mit (repräsentativen) Trainingsdaten Große Mengen an Speicher- und Rechenzeit nötig
Team 6: Probabilistic Neural Networks
Allgemeiner Aufbau
5
Input Layer Unbekannte Eingangsdaten
Pattern Layer Trainingsdaten in Populationen, Berechnung des Abstands
Summation Layer Bildung des durchschnittlichen Abstands je Population
Output Layer Klassifizierung
Team 6: Probabilistic Neural Networks
Mathematische Grundlagen
6
x Unbekannte Eingabegröße xik k-tes Beispiel der i-ten Population n Anzahl der Elemente einer Population σ Glättungsparameter p Länge der Merkmalsvektor
siehe Dokumentation
𝑔𝑖 ( �⃗� )= 1(2𝜋)𝑝 /2𝜎 𝑝𝑛𝑖
∑𝑘=1
𝑛 𝑖
𝑒−
‖�⃗�−�⃗�𝑘𝑖‖2
2𝜎2
Team 6: Probabilistic Neural Networks
Der Glättungsparameter σ (I)
7
Kleiner Wert für σ: Ausschläge in der Dichtefunktion
entsprechen den Positionender zugehörigen Trainingsdaten
Größerer Wert für σ: Stärkere Interpolation der Werte Werte nahe der Trainingsdaten:
ähnliche (geschätzte) Wahr-scheinlichkeiten wie Trainingsdaten
Noch größerer Wert für σ: Weitere Interpolation
Sehr großer Wert für σ: Gaußkurve unabhängig der realen Verteilung
Team 6: Probabilistic Neural Networks
Der Glättungsparameter σ (II)
8
Möglichkeiten zur Bestimmung: Freie Festlegung aufgrund von Erfahrung
Nutzung einer heuristischen Methode: Optimalen Wert innerhalb eines Intervalls suchen Intervall und Schrittweite verkleinern z.B. Jackknifing siehe Dokumentation
Team 6: Probabilistic Neural Networks
Inhaltsverzeichnis1 Probabilistic Neural Networks
2 Implementierung in Knime… Dynamic Decay Adjustment (DDA)- Algorithmus… Workflowaufbau
3 Testdaten
4 Quellen
9
Team 6: Probabilistic Neural Networks
Dynamic Decay Adjustment (I)
10
Konstruktives Training: Neue Neuronen werden bei Bedarf angelegt Bestimmung der Netztopologie während des Trainings
Schnelles Training: In der Regel weniger als 5 Durchläufe
Garantierte Konvergenz: Terminierung bei endlicher Anzahl von Trainingsdaten kann bewiesen
werden
Unkritische Parameter: Nur zwei manuelle Parameter einzustellen
Binärdaten führen zu schlechten Vorhersagen!
Team 6: Probabilistic Neural Networks
Dynamic Decay Adjustment (II)
11
Deutliche Klassifizierungszonen: Alle Trainingsdaten erfüllen folgende Eigenschaften
Alle korrekten Klassifikationen ≥ ϴ+
Alle falschen Klassifikationen ≤ ϴ- Muster in „area of conflict“ haben niedrige Klassenwahrscheinlichkeiten
Zwei Schwellwerte während des Trainings: ϴ+: Minimalwert für gewinnende Klasse (0 … 1) ϴ-: Maximalwert für nicht gewinnende Klasse (0 … 1) ϴ- ≤ ϴ+
Team 6: Probabilistic Neural Networks
Dynamic Decay Adjustment (III)
12
Erweiterungen zu PNNs: Individuelle Diagonalmatrix Σ für jeden Trainingssatz statt globales σ Alternativer Ansatz: Manuelle Festlegung der Struktur, Anpassung der
Parameter
Dynamic Decay Adjustment vereint Vorteile der Verfahren: Topologie des Netzes zur Laufzeit bestimmt Lokale Glättungsparameter σ
Gewichtungen für sämtliche Prototypen (abhängig von Topologie)𝑔𝑖 (�⃗� )=∑𝑘=1
𝑛𝑖
𝜋𝑘𝑖 𝑔𝑘
𝑖 ( �⃗� );𝜋𝑘𝑖 =
𝐴𝑘𝑖
∑𝑗=1
𝑛𝑖
𝐴 𝑗𝑖;∑𝑘=1
𝑛𝑖
𝜋𝑘𝑖 =1
𝑔𝑘𝑖 ( �⃗� )= 1
(2𝜋 )𝑝 /2 (σ𝑘𝑖 )𝑝𝑒−
‖�⃗�− �⃗�𝑘𝑖‖²
2 (σ𝑘𝑖 )2
Team 6: Probabilistic Neural Networks
Dynamic Decay Adjustment (IV)
13
Beispiel für DDA- Lernverfahren:
Berechnung: siehe Dokumentation
Team 6: Probabilistic Neural Networks
Workflowaufbau
14
File Reader: Liest Daten aus Eingabedatei (CSV-Format)
Partitioning: Aufteilung in Trainingsdaten (60%) und Testdaten (40%) Stratified Sampling: Beibehaltung der Klassenverteilung
PNN Learner (DDA): Training des Netzes, Einstellen von ϴ(-) und ϴ(+)
PNN Predictor: Vorhersage der Daten
Ergebnisse normalisiert: a posteriori Wahrscheinl. Summe aller Klassen = 1
Team 6: Probabilistic Neural Networks
Inhaltsverzeichnis1 Probabilistic Neural Networks
2 Implementierung in Knime
3 Testdaten… Vorverarbeitung… Auswertung
4 Quellen
15
Team 6: Probabilistic Neural Networks
Datenauswahl: Vollständige Datensätze gewählt (zum Vergleich mit MLP)
PNN = Euklidische Abstandsberechnung: Numerische Werte nötig Binärkodierung nominaler Werte
Normierung der Werte: 0 … 1 für Gleichgewichtung Individuelle Gewichtung möglich
Vorverarbeitung
16
Team 6: Probabilistic Neural Networks
C4.5: Entscheidungsbaum, Erweiterung von ID3 numerische Werte MLP: Multi Layer Perceptron kNN: k Nearest Neighbour (k = 3) Angegeben: Fehlerrate bei Klassifizierung der Testdaten in Prozent i.d.R.: geringer Einfluss von ϴ-/ϴ+ auf Klassifizierung, großer Einfluss auf
Netzgröße Ausnahme Kreditscoring: 20,5% Fehlerrate bei 0,2 / 0,4!
Auswertung
17
Datensatz Trainingsdaten/ Testdaten
C4.5 MLP kNN PNN ϴ-/ϴ+ Regeln
Reduzierungd. Netzgröße
Gehalt USA 320 / 214 35,05
33,18
36,45
31,78
0,05/0,1 203 36,6%
Kreditscoring
600 / 400 0 0 0 0,75 0,05/0,5 478 20,3%
Schwertlilien
90 / 60 3,33 5 0 0 0,45/0,65
10 88,88%
DMC 2007 30000 / 20000 23,645 22,665 23,13 22,615
0,2/0,4 3227 89,25%
Team 6: Probabilistic Neural Networks
Inhaltsverzeichnis1 Probabilistic Neural Networks
2 Implementierung in Knime
3 Testdaten
4 Quellen
18
Team 6: Probabilistic Neural Networks
QuellenCheung, Vincent; Cannons, Kevin: An Introduction to Probabilistic Neural
Networks. Winnipeg (Kanada), University of Manitoba, Electrical & Computer Engineering, Information Paper, 2002
Berthold, Michael R.; Diamond, Jay: Constructive Training of Probabilistic Neural Networks. Karlsruhe, University of Karlsruhe, Deparment of Computer Design and Fault Tolerance, Wissenschaftliches Paper, 1997
Specht, Donald F.: Probabilistic Neural Networks. In Neural Networks, Vol. 3. Oxford (England) und New York (USA): Pergamon Press plc, 1990, S. 109 – 118
19
Team 6: Probabilistic Neural Networks
Vielen Dank für Ihre Aufmerksamkeit!
20