gpa-779 application des réseaux de neurones et des systèmes experts cours #3 - 1 plan 2- domaines...

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 1

Plan2- Domaines d’application

Classification RegroupementApproximation PrédictionMémoire associativeOptimisation

Commande robotique3- Perceptron

Historique Reconnaissance de formes Neurone formel de McCulloch & Pitts Perceptron de Rosenblatt Adaline et madaline de Widrow-Hoff


Découverte

S. Haykin, Neural Networks: A Comprehensive Foundation, Prentice Hall, 2e édition, 1998 (1ère édition: IEEE Press). Approche ingénierie Classique dans le domaine Meilleure introduction aux

réseaux de neurones artificiels, selon un sondage.


Découverte

Hervé ABDI, Les réseaux de neurones, Presses Universitaires de Grenoble, 1994. Découvert à Paris, juillet

2002, 24€ Approche pédagogique Nombreux exemples numériques Perceptron : Rosenblatt et

multicouche, MA, Hopfield Appendice: calcul matriciel Appendice: programmes MATLAB

Chapitre 2

Domaines d’application


Principaux domaines d’application

1. Classification 2. Regroupement 3. Approximation 4. Prédiction 5. Optimisation de

parcours

6. Mémoire associative

7. Commande


2.1 ClassificationMontrer par l’exemple à reconnaître les catégories de formes présentées à l’entrée du réseau Perceptron de Rosenblatt Réseau à rétro-propagation du gradient d’erreur (perceptron multicouche)


Reconnaissance de chiffres


Sonar Travaux de Sejnowski & Gorman, 1988

Pré-traitement: TFD

Apprentissage: formes spectrales


2.2 ApproximationTransformer une forme d’entrée en une forme de sortie selon une fonction de transformation apprise par le réseau Réseau à rétro-propagation du gradient d’erreurs (perceptron multicouche)

Adaline-Madaline


Approximation de fonction transcendentale

n=10; K=21 31 param. à entraîner :–20 poids–11 polar.

y=0,8sinπx


Réseau Net Talk Sejnowski & Rosenberg

1986 But: Apprendre à prononcer un texte écrit avec l’aide d’un dictionnaire phonétique


Approximation complexe: conduite d’un véhicule motorisé

1217 unités

à gauche

à droite

route + claireou + foncée

= 256

= 960 (dans le bleu)


Approximation complexe: conduite de véhicule motorisé Projet développé à Carnegie-Mellon Apprentissage: 1200 images présentées 40 fois chacune. Les images représentent une grande diversité de courbes, d’intensité et de distortion. L’apprentissage dure ~30 min.

Résultats: Le meilleur à … ~5 km/hrs dans une route boisée.


2.3 PrédictionPrédire une valeur de sortie à partir d’une forme d’entrée

Indice Dow-Jones

Couche cachée: 20

14 indicateurs, dont: DJ précédent Or Bons du trésor


2.4 Compression Encodeur 8-3-8

transmis

Extractionde

primitivesClassification


2.5 Mémorisation associativeMémoriser plusieurs formes.En rappeler 1 à partir d’une forme partielle ou bruitée.

Réseau de Hopfield BAM, ABAM


Reconstruction d’images


2.6 OptimisationTrouver une bonne solution (pas nécessairement LA solution optimale) qui minimise une fonction de coût. Réseau récurrent de Hopfield Machine de Boltzmann


Voyageur de commerceUn vendeur doit établir un itinéraire de visite de 5 villes. Il doit partir de Boston et revenir à Boston à la fin de son itinéraire.

Chaque ville est visitée une et une seule fois

L’itinéraire doit être le plus court possible afin de minimiser les frais d’essence

La principale difficulté rencontrée avec ce type de problème est l’explosion combinatoire des solutions à évaluer.


Réseau de Hopfield Lignes villes Colonnes séquence de visite

Poids contraintes du problème à résoudre– 1 ville visitée 1 seule fois

– 1 étape 1 seule ville– Distance entre les villes

Activation du réseau minimisation du coût


2.7 RegroupementApprendre sans supervision à classer les données soumises au réseau.Les classes sont regroupées selon un critère de proximité des formes. 2 formes «semblables» vont activer une seule et même classe.Les réseaux de compétition forment la base : Gagnant emporte tout ART Kohonen, LVQ


Réseau ART pour la classification non-supervisée


ART: reconnaissance de lettres manuscrites

= 0,9

= 3 et plus nouvelle

catégorie

Chapitre 3

Le Perceptron

Réseaux de Neurones Application en Reconnaissance de Formes

d’après B. SolaimanDépt. Image & Traitement de l'Information

Ecole Nationale Supérieure des Télécommunications de Bretagne

Plan

1 Problématique de reconnaissance de formes

2 Développement d’une solution neuronale

3 Neurone formel - Perceptron, Madaline

Problématique de Reconnaissance de Formes

1

Espace d'entrée

XExtraction

desprimitives

Espace des primitives

YSystème

dedécision

Espace des décisions

D

z = u + v

.... .

...... ..... ... ...y1


Les primitives :

1 Les vecteurs propres

.... .

...... ..... ..

.. ...

x

y

i

j

z

z = x1 + y1 i j

x1

v

xi

j

z

u

V1

V2

V1 V2


2 Les primitives visuelles

….


3 Les vecteurs prototypes

z (x,y) z (d1,d2,d3)

... .. .

..

... ..

... .. .. .

..y

x

zP1

P2

P3

... .. .

..

... ..

... .. .. .

..d1

zd2d3

P1

P2

P3

... .. .

..

... . ... .

. .. ...

Développement d’une solution neuronale

2

Problème formel

Un ensemble de connaissances

Une base d’apprentissage

Case Based Reasoning

Problème formel : Reconnaissance de chiffres manuscrits

Connaissances : L’ensemble des chiffres (0, 1, … , 9),La structures des chiffres, Forme de représentation (images 16x16),Les primitives à utiliser,Les méthodes de pré-traitement utilisées,..

Une base d’apprentissage :

5, Chiffre « 5 »

?

Problème formel : Reconnaissance de pannes dans les cartes électroniques.

Connaissances : L’ensemble des pannes potentielles,Les mesures réalisables,

Une base d’apprentissage :

Carte + panne + Mesures associées


Démarche

1 Identifier les connaissances exploitables

2 Définir l’architecture neuronale adéquate :a. objectifs,b. nature de la base d’apprentissage

3 Définir la mémoire et l’algorithme d’apprentissage

4 Définir la stratégie de décision


Catégorisation des R.d.N en Reconnaissance de Formes

1 Les réseaux de neurones classifieurs

Extraction des primitives

Réseau de neurones classifieur

Espace d’objets



Réseau de neurones d’extraction de primitives


2Les réseaux de neurones extracteurs de primitives

Système de décision

Espace d’objets




3Les réseaux de neurones extracteurs de primitives/Classifieurs

Réseau d’extraction de primitives / classifieurs

Extraction des

primitives

Système de

décision

Espace d’objets

Espace des primitives (d’observations)


Neurone formel : Réseaux perceptron et

madaline3

Le neurone formel de McCulloch&Pitts

?.AND. .OR.

.XOR.

…....

Fonctions logiques

1

x1

wn

xn

wN

xN

y

Circuit à seuil

Combinateur linéaire adaptatif

yq

Modèle du neurone formel de McCulloch&Pitts 1943

€

y = X × WT = wnxn

n =1

N∑

⎩⎨⎧ >

=sinon. 1-

y si 1 yq

θ

Version circuit à seuil

w1

x1

wn

xn

wN

xN

y

Combinateur linéaire adaptatif

€

y = b + wnxn

n =1

N∑

1

b

Biais

Version somme biaisée

0wxwxb 2211 <++

w1=+1

x1

x2

w2=+1 ET

w1=+1

x1

x2

w2=+1 OU

x1 x2Sortie ET Sortie OU

-1 -1

-1 1

1 -1

1 1

-1 -1

-1

-1

1

1

1

1

Exemple

x1

x2

D +

D -

x1

x2

D +

D -

x3

Surface de décision 3Surface de décision 2

La fonction réalisée par un neurone formel :

La séparation linéaire

Exemple :

P Q PQ

1 1 +1

1 -1 -1

-1 1 -1

-1 -1 -1

Q

P

Y

1

w1

w2

b

PQP

Q

-

-

+

-

P

Q

-

-

+

-

Exemple (suite) :

La droite qui résoud le problème est donnée par :

où b = -1w1 = 1w2 = 1

0wxwxb 2211 <++

21

2

12 w

bx

w

wx −−=

le signe de b vérifie que :

Exercice :

P Q PQ

1 1 +1

1 -1 +1

-1 1 +1

-1 -1 -1

Q

P

Y

1

w1

w2

b

PQP

Q

+

-

+

+

Exercice (solution) :

P

Q

+

-

+

+

La droite qui résoud le problème est donnée par :

où b = 1w1 = 1w2 = 1

0wxwxb 2211 >++

21

2

12 w

bx

w

wx −−=

le signe de b vérifie que :

Le neurone sépare deux classes mais ne permet pas de les caractériser !

x1

x2

D+

D-

X

Y

C1

C2

x1

x2

s

S(X) = S(Y)

Apprentissage des poids synaptiques

Apprentissage ?1 deux classes C1 et C2

linéairement séparables

2

€

b+ wnxn

n =1

N∑ = 0

Surface de séparation :

3 Apprentissage

Base d’exemples

(Xk, d(k))

d(k) = {0,1} ou {-1,+1} Estimer wn et b

L’algorithme d’apprentissage de Rosenblatt , 1958

w1

x1(k)

wn

xn(k)

wN

xN(k)

y(k)

yq(k)

d(k)Algorithme

deRosenblattNouveaux

[w1, w2,…, wN] eq(k)

W (t+1) = W (t) + eq(k) Xk

Xk

W (t)

W(t+1)

x1x2

x3

W (t+1) = eq(k) Xk

Interprétation géométrique de l’algorithme de Rosenblatt

La modification de poids est proportionnelle à l’erreur et au vecteur d’entrée et est de même direction que ce dernier

initialisation aléatoire des poids synaptiques;

tant que CONDITION D’ARRÊT non vérifiée fairePour k = 1 jusqu'à k = K

faireprésenter la forme Xk à l'entrée;calculer yq(k);calculer eq(k);

Pour n = 0 jusqu'à n = N faireajustement des poids :

wn(t+1) = wn(t) + eq (k) xn(k)

Fin;

Fin;

Fin.

Le déroulement de l’algorithme d'apprentissage

Exemple :

P Q PQ

1 1 1

1 0 -1

0 1 -1

0 0 -1

Q

P

Net

1

w1

w2

b3

Out

d

Seuil à 0,2

Exemple (suite):

P Q b

1 1 1w1 w2 b

1 1 1

Initialisation des poids à 0

w1 w2 b

1 1 1

(0 0 0)

d

1

Calcul de la droite de séparation ±=++ bQwPw 21

P Q b

1 0 1w1 w2 b

-1 0 -1

w1 w2 b

0 1 0d

-1

Net Out

0 0

Net Out

2 1

… … …

Rosenblatt a démontré, 1960, la convergence de cetalgorithme pour la séparation de deux classes à condition qu'elles soient linéairement séparables.

Si eq(k) = 0 yq(k)= d(k)

W (k+1) = W (k) (i.e. pas de modification des poids synaptiques)

Exemple : = 0, d(k)= 1 y (k) = 0.0001 y (k) = 0.9999

eq(k) = 0

L’algorithme de Widrow-Hoff, 1960

w1

x1(k)

wn

xn(k)

wN

xN(k)

y(k)

yq(k)

d(k)

Algorithme de

Widrow-Hoff

Nouveaux[w1, w2,…, wN] e(k)

Minimiser l'erreur analogique quadratique moyenne : [d(k) - y(k)]2

W (t+1) = W (t) + e(k) Xk

C1

C2

C1

C2

C1

C2

Widrow-Hoff

C1

C2

C1

C2

C1

C2

RosenblattA p p r e n t i s s a g e

C2

C1

x2

x1

Marvin Minsky, 1969 Perceptrons, an introduction to computational geometry

Le problème du XOR

réseaux Madalinex2

x1

Z2

Z1

Solution « artificielle »

et si N > 3 ?Naissance de l’architecture multicouches

Y

X2

X1

1

1 1b1

v1

w11

w12

w21

w22

v2

b3

b2

Fausett, Prentice Hall, 1994

Exercice 2.7

P Q P•Q

1 1 1

1 -1 -1

-1 1 -1

-1 -1 -1Q

P

Y

1

w1

w2

b

P Q

P Q b

1 1 1

1 -1 1

-1 1 1

-1 -1 1

w1 w2 b

1 1 1

-1 1 -1

1 -1 -1

0 0 0

w1 w2 b

1 1 1

0 2 0

1 1 -1

1 1 -1

d

1

-1

-1

-1

Out

0

1

1

-1

Net

0

1

2

-3

Exercice 2.7 (suite)

P

Q

-

-

+

-

P

Q

-

-

+

-

P

Q

-

-

+

-

P + Q + 1 = 0 Q = 0 P + Q - 1 = 0

Étape 1 Étape 2 Étape 3

Fausett, Prentice Hall, 1994

Exercice 2.16

P Q P¬Q

1 1 0

1 0 1

0 1 0

0 0 0

22

4

1p1 ))p(dbw)p(Qw)p(P(E −++=∑

=

bw)p(Qw)p(P 21 ++

La règle d’apprentissage de l’ADALINE cherche à minimiser l’erreur quadratique totale :

où est la valeur « Net » et d est un élément de la table de vérité de P¬Q

Q

P

Net

1

w1

w2

b

Out

d


E = (w1 + w2)2 + (w1 – 1)2 + (w2)2

2 w1 + w2 – 1 = 0

-4 w2 + w2 – 1 = 0 ou w2 = -1/3

2(w1 + w2) + 2(w2) = 0

w1 + 2 w2 = 0 ou w1 = -2 w2

w1 = 2/3

2(w1 + w2) + 2(w1 – 1) = 0

Le AND NOT sans valeur de biais consiste à minimiser :

Il n’y a pas d’erreur pour la dernière ligne du tableau logique, peu importe les valeurs de poids synaptiques.

Les dérivées partielles en w1 et w2 permettent de trouver le minimum de E :


2(w1 + w2 + b) + 2(w1 – 1 + b) = 0

E = (w1 + w2 + b)2 + (w1 – 1 + b)2 + (w2 + b)2 + b2

2(w1 + w2 + b) + 2(w2 + b) = 0

2(w1 + w2 + b) + 2(w1 – 1 + b) + 2(w2 + b) + 2b = 0

2 w1 + w2 + 2b = 1

w1 + 2 w2 + 2b = 0

2 w1 + 2 w2 + 4b = 1{

w1 = 0.5 w2 = -0.5 b = 0.25

Le AND NOT avec valeurs de biais consiste à minimiser :

Les dérivées partielles en w1, w2 et b permettent de trouver le minimum de E :

gpa-779 application des réseaux de neurones et des systèmes experts cours #3 - 1 plan 2- domaines...

Documents

systmes experts cours

madaline page

commande page

neurones artificiels

hoff page

bleu page

domaines dapplication

formes spectrales page