gpa-779 application des réseaux de neurones et des systèmes experts cours #3 - 1 plan 2- domaines...

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 1

Plan2- Domaines d’application

Classification RegroupementApproximation PrédictionMémoire associativeOptimisation

Commande robotique3- Perceptron

Historique Reconnaissance de formes Neurone formel de McCulloch & Pitts Perceptron de Rosenblatt Adaline et madaline de Widrow-Hoff

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 2

Découverte

S. Haykin, Neural Networks: A Comprehensive Foundation, Prentice Hall, 2e édition, 1998 (1ère édition: IEEE Press). Approche ingénierie Classique dans le domaine Meilleure introduction aux

réseaux de neurones artificiels, selon un sondage.

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 3

Découverte

Hervé ABDI, Les réseaux de neurones, Presses Universitaires de Grenoble, 1994. Découvert à Paris, juillet

2002, 24€ Approche pédagogique Nombreux exemples numériques Perceptron : Rosenblatt et

multicouche, MA, Hopfield Appendice: calcul matriciel Appendice: programmes MATLAB

Chapitre 2

Domaines d’application

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 5

Principaux domaines d’application

1. Classification 2. Regroupement 3. Approximation 4. Prédiction 5. Optimisation de

parcours

6. Mémoire associative

7. Commande

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 6

2.1 ClassificationMontrer par l’exemple à reconnaître les catégories de formes présentées à l’entrée du réseau Perceptron de Rosenblatt Réseau à rétro-propagation du gradient d’erreur (perceptron multicouche)

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 7

Reconnaissance de chiffres

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 8

Sonar Travaux de Sejnowski & Gorman, 1988

Pré-traitement: TFD

Apprentissage: formes spectrales

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 9

2.2 ApproximationTransformer une forme d’entrée en une forme de sortie selon une fonction de transformation apprise par le réseau Réseau à rétro-propagation du gradient d’erreurs (perceptron multicouche)

Adaline-Madaline

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 10

Approximation de fonction transcendentale

n=10; K=21 31 param. à entraîner :–20 poids–11 polar.

y=0,8sinπx

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 11

Réseau Net Talk Sejnowski & Rosenberg

1986 But: Apprendre à prononcer un texte écrit avec l’aide d’un dictionnaire phonétique

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 12

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 13

Approximation complexe: conduite d’un véhicule motorisé

1217 unités

à gauche

à droite

route + claireou + foncée

= 256

= 960 (dans le bleu)

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 14

Approximation complexe: conduite de véhicule motorisé Projet développé à Carnegie-Mellon Apprentissage: 1200 images présentées 40 fois chacune. Les images représentent une grande diversité de courbes, d’intensité et de distortion. L’apprentissage dure ~30 min.

Résultats: Le meilleur à … ~5 km/hrs dans une route boisée.

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 15

2.3 PrédictionPrédire une valeur de sortie à partir d’une forme d’entrée

Indice Dow-Jones

Couche cachée: 20

14 indicateurs, dont: DJ précédent Or Bons du trésor

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 16

2.4 Compression Encodeur 8-3-8

transmis

Extractionde

primitivesClassification

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 17

2.5 Mémorisation associativeMémoriser plusieurs formes.En rappeler 1 à partir d’une forme partielle ou bruitée.

Réseau de Hopfield BAM, ABAM

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 18

Reconstruction d’images

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 19

2.6 OptimisationTrouver une bonne solution (pas nécessairement LA solution optimale) qui minimise une fonction de coût. Réseau récurrent de Hopfield Machine de Boltzmann

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 20

Voyageur de commerceUn vendeur doit établir un itinéraire de visite de 5 villes. Il doit partir de Boston et revenir à Boston à la fin de son itinéraire.

Chaque ville est visitée une et une seule fois

L’itinéraire doit être le plus court possible afin de minimiser les frais d’essence

La principale difficulté rencontrée avec ce type de problème est l’explosion combinatoire des solutions à évaluer.

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 21

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 22

Réseau de Hopfield Lignes villes Colonnes séquence de visite

Poids contraintes du problème à résoudre– 1 ville visitée 1 seule fois

– 1 étape 1 seule ville– Distance entre les villes

Activation du réseau minimisation du coût

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 23

2.7 RegroupementApprendre sans supervision à classer les données soumises au réseau.Les classes sont regroupées selon un critère de proximité des formes. 2 formes «semblables» vont activer une seule et même classe.Les réseaux de compétition forment la base : Gagnant emporte tout ART Kohonen, LVQ

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 24

Réseau ART pour la classification non-supervisée

GPA-779 Application des réseaux de neurones et des systèmes expertsCours #3 - 25

ART: reconnaissance de lettres manuscrites

= 0,9

= 3 et plus nouvelle

catégorie

Chapitre 3

Le Perceptron

Réseaux de Neurones Application en Reconnaissance de Formes

d’après B. SolaimanDépt. Image & Traitement de l'Information

Ecole Nationale Supérieure des Télécommunications de Bretagne

Plan

1 Problématique de reconnaissance de formes

2 Développement d’une solution neuronale

3 Neurone formel - Perceptron, Madaline

Problématique de Reconnaissance de Formes

1

Espace d'entrée

XExtraction

desprimitives

Espace des primitives

YSystème

dedécision

Espace des décisions

D

z = u + v

.... .

...... ..... ... ...y1

1 Problématique de reconnaissance de formes

Les primitives :

1 Les vecteurs propres

.... .

...... ..... ..

.. ...

x

y

i

j

z

z = x1 + y1 i j

x1

v

xi

j

z

u

V1

V2

V1 V2

1 Problématique de reconnaissance de formes

2 Les primitives visuelles

….

1 Problématique de reconnaissance de formes

3 Les vecteurs prototypes

z (x,y) z (d1,d2,d3)

... .. .

..

... ..

... .. .. .

..y

x

zP1

P2

P3

... .. .

..

... ..

... .. .. .

..d1

zd2d3

P1

P2

P3

... .. .

..

... . ... .

. .. ...

Développement d’une solution neuronale

2

Problème formel

Un ensemble de connaissances

Une base d’apprentissage

Case Based Reasoning

Problème formel : Reconnaissance de chiffres manuscrits

Connaissances : L’ensemble des chiffres (0, 1, … , 9),La structures des chiffres, Forme de représentation (images 16x16),Les primitives à utiliser,Les méthodes de pré-traitement utilisées,..

Une base d’apprentissage :

5, Chiffre « 5 »

?

Problème formel : Reconnaissance de pannes dans les cartes électroniques.

Connaissances : L’ensemble des pannes potentielles,Les mesures réalisables,

Une base d’apprentissage :

Carte + panne + Mesures associées

2 Développement d’une solution neuronale

Démarche

1 Identifier les connaissances exploitables

2 Définir l’architecture neuronale adéquate :a. objectifs,b. nature de la base d’apprentissage

3 Définir la mémoire et l’algorithme d’apprentissage

4 Définir la stratégie de décision

2 Développement d’une solution neuronale

Catégorisation des R.d.N en Reconnaissance de Formes

1 Les réseaux de neurones classifieurs

Extraction des primitives

Réseau de neurones classifieur

Espace d’objets

Espace des primitives

Espace des décisions

Réseau de neurones d’extraction de primitives

2 Développement d’une solution neuronale

2Les réseaux de neurones extracteurs de primitives

Système de décision

Espace d’objets

Espace des primitives

Espace des décisions

2 Développement d’une solution neuronale

3Les réseaux de neurones extracteurs de primitives/Classifieurs

Réseau d’extraction de primitives / classifieurs

Extraction des

primitives

Système de

décision

Espace d’objets

Espace des primitives (d’observations)

Espace des décisions

Neurone formel : Réseaux perceptron et

madaline3

Le neurone formel de McCulloch&Pitts

?.AND. .OR.

.XOR.

…....

Fonctions logiques

1

x1

wn

xn

wN

xN

y

Circuit à seuil

Combinateur linéaire adaptatif

yq

Modèle du neurone formel de McCulloch&Pitts 1943

€

y = X × WT = wnxn

n =1

N∑

⎩⎨⎧ >

=sinon. 1-

y si 1 yq

θ

Version circuit à seuil

w1

x1

wn

xn

wN

xN

y

Combinateur linéaire adaptatif

€

y = b + wnxn

n =1

N∑

1

b

Biais

Version somme biaisée

0wxwxb 2211 <++

w1=+1

x1

x2

w2=+1 ET

w1=+1

x1

x2

w2=+1 OU

x1 x2Sortie ET Sortie OU

-1 -1

-1 1

1 -1

1 1

-1 -1

-1

-1

1

1

1

1

Exemple

x1

x2

D +

D -

x1

x2

D +

D -

x3

Surface de décision 3Surface de décision 2

La fonction réalisée par un neurone formel :

La séparation linéaire

Exemple :

P Q PQ

1 1 +1

1 -1 -1

-1 1 -1

-1 -1 -1

Q

P

Y

1

w1

w2

b

PQP

Q

-

-

+

-

P

Q

-

-

+

-

Exemple (suite) :

La droite qui résoud le problème est donnée par :

où b = -1w1 = 1w2 = 1

0wxwxb 2211 <++

21

2

12 w

bx

w

wx −−=

le signe de b vérifie que :

Exercice :

P Q PQ

1 1 +1

1 -1 +1

-1 1 +1

-1 -1 -1

Q

P

Y

1

w1

w2

b

PQP

Q

+

-

+

+

Exercice (solution) :

P

Q

+

-

+

+

La droite qui résoud le problème est donnée par :

où b = 1w1 = 1w2 = 1

0wxwxb 2211 >++

21

2

12 w

bx

w

wx −−=

le signe de b vérifie que :

Le neurone sépare deux classes mais ne permet pas de les caractériser !

x1

x2

D+

D-

X

Y

C1

C2

x1

x2

s

S(X) = S(Y)

Apprentissage des poids synaptiques

Apprentissage ?1 deux classes C1 et C2

linéairement séparables

2

€

b+ wnxn

n =1

N∑ = 0

Surface de séparation :

3 Apprentissage

Base d’exemples

(Xk, d(k))

d(k) = {0,1} ou {-1,+1} Estimer wn et b

L’algorithme d’apprentissage de Rosenblatt , 1958

w1

x1(k)

wn

xn(k)

wN

xN(k)

y(k)

yq(k)

d(k)Algorithme

deRosenblattNouveaux

[w1, w2,…, wN] eq(k)

W (t+1) = W (t) + eq(k) Xk

Xk

W (t)

W(t+1)

x1x2

x3

W (t+1) = eq(k) Xk

Interprétation géométrique de l’algorithme de Rosenblatt

La modification de poids est proportionnelle à l’erreur et au vecteur d’entrée et est de même direction que ce dernier

initialisation aléatoire des poids synaptiques;

tant que CONDITION D’ARRÊT non vérifiée fairePour k = 1 jusqu'à k = K

faireprésenter la forme Xk à l'entrée;calculer yq(k);calculer eq(k);

Pour n = 0 jusqu'à n = N faireajustement des poids :

wn(t+1) = wn(t) + eq (k) xn(k)

Fin;

Fin;

Fin.

Le déroulement de l’algorithme d'apprentissage

Exemple :

P Q PQ

1 1 1

1 0 -1

0 1 -1

0 0 -1

Q

P

Net

1

w1

w2

b3

Out

d

Seuil à 0,2

Exemple (suite):

P Q b

1 1 1w1 w2 b

1 1 1

Initialisation des poids à 0

w1 w2 b

1 1 1

(0 0 0)

d

1

Calcul de la droite de séparation ±=++ bQwPw 21

P Q b

1 0 1w1 w2 b

-1 0 -1

w1 w2 b

0 1 0d

-1

Net Out

0 0

Net Out

2 1

… … …

Rosenblatt a démontré, 1960, la convergence de cetalgorithme pour la séparation de deux classes à condition qu'elles soient linéairement séparables.

Si eq(k) = 0 yq(k)= d(k)

W (k+1) = W (k) (i.e. pas de modification des poids synaptiques)

Exemple : = 0, d(k)= 1 y (k) = 0.0001 y (k) = 0.9999

eq(k) = 0

L’algorithme de Widrow-Hoff, 1960

w1

x1(k)

wn

xn(k)

wN

xN(k)

y(k)

yq(k)

d(k)

Algorithme de

Widrow-Hoff

Nouveaux[w1, w2,…, wN] e(k)

Minimiser l'erreur analogique quadratique moyenne : [d(k) - y(k)]2

W (t+1) = W (t) + e(k) Xk

C1

C2

C1

C2

C1

C2

Widrow-Hoff

C1

C2

C1

C2

C1

C2

RosenblattA p p r e n t i s s a g e

C2

C1

x2

x1

Marvin Minsky, 1969  Perceptrons, an introduction to computational geometry 

Le problème du XOR

réseaux Madalinex2

x1

Z2

Z1

Solution « artificielle »

et si N > 3 ?Naissance de l’architecture multicouches

Y

X2

X1

1

1 1b1

v1

w11

w12

w21

w22

v2

b3

b2

Fausett, Prentice Hall, 1994

Exercice 2.7

P Q P•Q

1 1 1

1 -1 -1

-1 1 -1

-1 -1 -1Q

P

Y

1

w1

w2

b

P Q

P Q b

1 1 1

1 -1 1

-1 1 1

-1 -1 1

w1 w2 b

1 1 1

-1 1 -1

1 -1 -1

0 0 0

w1 w2 b

1 1 1

0 2 0

1 1 -1

1 1 -1

d

1

-1

-1

-1

Out

0

1

1

-1

Net

0

1

2

-3

Exercice 2.7 (suite)

P

Q

-

-

+

-

P

Q

-

-

+

-

P

Q

-

-

+

-

P + Q + 1 = 0 Q = 0 P + Q - 1 = 0

Étape 1 Étape 2 Étape 3

Fausett, Prentice Hall, 1994

Exercice 2.16

P Q P¬Q

1 1 0

1 0 1

0 1 0

0 0 0

22

4

1p1 ))p(dbw)p(Qw)p(P(E −++=∑

=

bw)p(Qw)p(P 21 ++

La règle d’apprentissage de l’ADALINE cherche à minimiser l’erreur quadratique totale :

où est la valeur « Net » et d est un élément de la table de vérité de P¬Q

Q

P

Net

1

w1

w2

b

Out

d

Exercice 2.16 (suite)

E = (w1 + w2)2 + (w1 – 1)2 + (w2)2

2 w1 + w2 – 1 = 0

-4 w2 + w2 – 1 = 0 ou w2 = -1/3

2(w1 + w2) + 2(w2) = 0

w1 + 2 w2 = 0 ou w1 = -2 w2

w1 = 2/3

2(w1 + w2) + 2(w1 – 1) = 0

Le AND NOT sans valeur de biais consiste à minimiser :

Il n’y a pas d’erreur pour la dernière ligne du tableau logique, peu importe les valeurs de poids synaptiques.

Les dérivées partielles en w1 et w2 permettent de trouver le minimum de E :

Exercice 2.16 (suite)

2(w1 + w2 + b) + 2(w1 – 1 + b) = 0

E = (w1 + w2 + b)2 + (w1 – 1 + b)2 + (w2 + b)2 + b2

2(w1 + w2 + b) + 2(w2 + b) = 0

2(w1 + w2 + b) + 2(w1 – 1 + b) + 2(w2 + b) + 2b = 0

2 w1 + w2 + 2b = 1

w1 + 2 w2 + 2b = 0

2 w1 + 2 w2 + 4b = 1{

w1 = 0.5 w2 = -0.5 b = 0.25

Le AND NOT avec valeurs de biais consiste à minimiser :

Les dérivées partielles en w1, w2 et b permettent de trouver le minimum de E :