1 a. cornuéjols les réseaux connexionnistes les réseaux connexionnistes antoine cornuéjols...

1A. CornuéjolsLes réseaux connexionnistes

Les réseaux connexionnistes

Antoine Cornuéjols

(antoine.cornuejols@agroparistech.fr)

AgroParisTech

L.R.I., Université d’Orsay

1. Introduction

2. Le perceptron

3. Le perceptron multi-couches (PMC)

4. Apprentissage dans les PMC

5. Aspects calculatoires

6. Aspects méthodologiques de l’apprentissage

7. Applications

8. Développements et perspectives

9. Conclusions

1. Introduction

2. Le perceptron

7. Applications

9. Conclusions

Introduction : Pourquoi les réseaux de neurones ?

• Inspiration biologique

Le cerveau naturel : un modèle très séduisant

– Robuste et tolérant aux fautes

– Flexible. Facilement adaptable

– S’accommode d’informations incomplètes, incertaines, vagues, bruitées ...

– Massivement parallèle

– Capable d’apprentissage

Neurones

– ≈ 1011 neurones dans le cerveau humain

– ≈ 104 connexions (synapses + axones) / neurone

– Potentiel d’action / période réfractaire / neuro-transmetteurs

– Signaux excitateurs / inhibiteurs

Introduction : Pourquoi les réseaux de neurones ?

• Les attraits pratiques

Calculs parallélisables

Implantables directement sur circuits dédiés

Robustes et tolérants aux fautes (calculs et représentations distribués)

Algorithmes simples

D’emploi très général

• Les défauts

Opacité des “raisonnements”

Opacité des résultats

Historique (très rapide) Prémisses

– Mc Culloch & Pitts (1943) : 1er modèle de neurone formel.

Rapport neurone et calcul logique : base de l’intelligence artificielle.

– Règle de Hebb (1949) : apprentissage par renforcement du couplage synaptique

Premières réalisations

– ADALINE (Widrow-Hoff, 1960)

– PERCEPTRON (Rosenblatt, 1958-1962)

– Analyse de Minsky & Papert (1969)

Nouveaux modèles

– Kohonen (apprentissage compétitif), ...

– Hopfield (1982) (réseau bouclé)

– Perceptron Multi-Couches (1985)

Analyse et développements

– Théorie du contrôle, de la généralisation (Vapnik), ...

Les réseaux de neurones : Types de réseaux

• Interconnecté à boucles (e.g. réseau de Hopfield)

Fonctionnementen reconnaissance

Apprentissage ?

Modèles de base : le Perceptron Multi-Couches

• Topologie typique

Flot des signaux

Entrée : xk

Couche d'entrée Couche de sortieCouche cachée

Sortie : yk

Sortie désirée : uk

1. Introduction

2. Le perceptron

7. Applications

9. Conclusions

10A. CornuéjolsLes réseaux connexionnistesDiscrimination linéaire : le Perceptron

[Rosenblatt, 1957,1962]

Discrimination contre tous les autres

Discrimination entre deux classes

15A. CornuéjolsLes réseaux connexionnistesLe perceptron : critère de performance

• Critère d’optimisation (fonction d’erreur) : Nb total d’erreurs de classification : NON

Critère du Perceptron :

Car nous voulons pour toutes les formes d’apprentissage :

Proportionnel, pour toutes les formes mal classées, à la distance à la surface de

décision

Fonction continue et linéaire par morceaux

REmp(w) = − wTxj . uj

xj ∈M∑

wT x ≥ 0

< 0⎧ ⎨ ⎩

⇒ x ∈ ω1

⎧ ⎨ ⎩

L’apprentissage : Erreur quadratique

• Interprétation géométrique

ΦΤ ΦW −U( ) = 0

(ΦΤ Φ)WΤ = ΦΤ U

WΤ = Φ† U = (ΦΤ Φ)−1ΦΤ[ ]U

Φ† ≡ limε → 0

(ΦΤ Φ + εI)−1 ΦΤ

E(w) = 12

wjkφjl

j=0( inputs)

∑ − ukl

⎨ ⎪

⎩ ⎪

⎬ ⎪

⎭ ⎪k=1

(classes)

∑l=1

(exemples)

wik φil −

∑ ukl ⎧

⎨ ⎩

⎫ ⎬ ⎭l=1

∑ φ jl = 0

dérivation

soit :

Pseudo-inverse de Φ

Φ† Φ = I

d’où la solution :

• La solution directe : méthode de la pseudo-inverse

(seulement pour un réseau linéaire et une fonction d’erreur quadratique)

Apprentissage direct : méthode de la pseudo-inverse

• La méthode de la pseudo-inverse requiert

La connaissance de toutes les paires (xp,tp)

Une inversion de matrice (souvent mal-configurée)

• La solution directe : méthode de la pseudo-inverse

(seulement pour un réseau linéaire et une fonction d’erreur quadratique)

• Nécessité d’une méthode itérative sans inversion de matrice

Descente de gradient

22A. CornuéjolsLes réseaux connexionnistesLe perceptron : algorithme• Méthode d’exploration de H

Recherche par gradient

– Minimisation de la fonction d’erreur

– Principe : procédure d'apprentissage dans l'esprit de la règle de Hebb : ajouter à

chaque connexion quelque chose de proportionnel à l'entrée et à la sortie.

– Apprentissage seulement si erreur de classification

Algorithme :

si la forme est correctement classée : ne rien faire

sinon :

boucler sur les formes d’apprentissage jusqu’à critère d’arrêt

Convergence ?

w(t+1) = w(t) − η xi ui

23A. CornuéjolsLes réseaux connexionnistesLe perceptron : Illustration

• Justification de l’algorithme Réduction de l’erreur

−w(t+1)T(xj uj ) = −w(t+1)T(xj uj) − η (xj uj )T (xj uj ) < −w(t)T (xj uj )

24A. CornuéjolsLes réseaux connexionnistesLe perceptron : convergence et capacité mémoire

• Questions :

Qu’est-ce qui est apprenable ?

– Résultat de [Minsky & Papert,68] : séparatrices linéaires

Garantie de convergence ?

– Théorème de convergence du Perceptron [Rosenblatt,62]

Fiabilité de l’apprentissage et nombre d’exemples

– Combien faut-il d’exemples d’apprentissage pour avoir une certaine garantie

sur ce qui est appris ?

Capacité expressive : Séparations linéaires

1. Introduction

2. Le perceptron

7. Applications

9. Conclusions

Le Perceptron Multi-Couches : propagation

• Pour chaque neurone :

wjk : poidspoids de la connexion de la cellule j à la cellule k

ak : activationactivation de la cellule k

g : fonction d’activationfonction d’activation

g(a) = 1

1 + e−a

yl = g wjk φjj=0,d∑

⎝ ⎜

⎠ ⎟ = g(ak)

Fonction à base radiale

Fonction sigmoïde

Fonction à seuil

Fonction à rampe

Activation ai

Sortie zi

g’(a) = g(a)(1-g(a))

Le Perceptron Multi-Couches : exemple du XOR

Le PMC : puissance expressive

Exemple de réseau (simulateur JavaNNS)

QuickTime™ et undécompresseur TIFF (non compressé)sont requis pour visionner cette image.

1. Introduction

2. Le perceptron

7. Applications

9. Conclusions

Le PMC : l’apprentissage

• Trouver des poids permettant au réseau de réaliser une relation entrée-sortie spécifiée par des exemples de cette relation

(Toujours le problème de la généralisation)

• Apprentissage :

Minimiser la fonction de coût E(w,{xl,ul}) en fonction du paramètre w

Utiliser pour ceci une méthode de descente de gradient

(algorithme de rétro-propagation de gradient)

Principe inductif : On fait alors l’hypothèse que ce qui marche sur les exemples (minimisation du risque empirique), marche sur des données non vues (minimisation du risque réel)

Δwij ∝ −∂E ∂wij

• Interprétation géométrique

L’apprentissage : descente de gradient

• Apprentissage = recherche dans l’espace multidimensionnel des paramètres (poids synaptiques) en vue de minimiser la fonction de coût

• Quasi totalité des règles d’apprentissage pour les RNs

= méthode de descente de gradient

Solution optimale w* tq. :

wij(τ+1) = wij

(τ ) − η∂E∂wij w(τ )

E(τ+1) = E(τ ) −∇wE

∇E(w* ) = 0

∇ = ∂

, ...,∂

∂w N

⎣ ⎢

⎦ ⎥

Le Perceptron Multi-Couches : apprentissage

Objectif :

Algorithme (rétro-propagation de gradient) : descente de gradient

Algorithme itératif :

Cas hors-ligne (gradient total) :

Cas en-ligne (gradient stochastique) :

w( t ) = w(t−1) −η∇Ew(t)

wij (t) = wij (t−1)−η(t)1m

∂RE (xk ,w)∂wijk=1

wij (t) = wij (t−1)−η(t)∂RE(xk,w)

∂wij

RE(xk,w) = [tk−f (xk ,w)]2

w * = argminw

my(xl ; w) − u(xl )[ ]

Le Perceptron Multi-Couches : apprentissage

1. Présentation d’un exemple parmi l’ensemble d’apprentissage

Séquentielle, aléatoire, en fonction d’un critère donné

2. Calcul de l’état du réseau

3. Calcul de l’erreur = fct(sortie - sortie désirée) (e.g. = (yl - ul)2)

4. Calcul des gradients

Par l’algorithme de rétro-propagation de gradient

5. Modification des poids synaptiques

6. Critère d’arrêt

Sur l’erreur. Nombre de présentation d’exemples, ...

7. Retour en 1

PMC : La rétro-propagation de gradient

• Le problème : Détermination des responsabilités (“credit assignment problem”) Quelle connexion est responsable, et de combien, de l’erreur E ?

• Principe : Calculer l’erreur sur une connexion en fonction de l’erreur sur la couche suivante

• Deux étapes :

1. Evaluation des dérivées de l’erreur par rapport aux poids

2. Utilisation de ces dérivées pour calculer la modification de chaque poids

1. Evaluation de l’erreur Ej (ou E) due à chaque connexion :

Idée : calculer l’erreur sur la connexion wji en fonction de l’erreur après la cellule j

Pour les cellules de la couche de sortie :

Pour les cellules d’une couche cachée :

∂ El

∂ wij

δk = ∂ El

∂ ak = g'(ak)

∂ El

∂ yk = g' (ak)⋅ uk(xl) −yk( )

δj = ∂ El

∂ aj =

∂ El

∂ ak

∂ ak∂ ajk

∑ = δk

∂ ak∂ zj

∂ zj∂ ajk

∑ = g'(aj )⋅ wjk δkk∑

∂ El

∂ wij

= ∂ El

∂ aj ∂ aj∂ wij

= δj zi

ai : activation de la cellule i

zi : sortie de la cellule i

i : erreur attachée à la cellule i

wijji k

Cellule de sortieCellule cachée

wjkzjzi

• 2. Modification des poids

On suppose gradient à pas (constant ou non ): η(t)

Si apprentissage stochastique (après présentation de chaque exemple)

Si apprentissage total (après présentation de l’ensemble des exemples)

Δ wji = η (t)δ j ai

Δ wji = η (t) δ jn ai

Le PMC : passes avant et arrière (résumé)

ai(x) = wjxj

∑ +w0

yi(x) = g(ai(x))

ys(x) = wjsyjj=1

∑ys(x)

k neurones sur lacouche cachée

yi( x )

B i a i s

. . .y ( x )1

Le PMC : passes avant et arrière (résumé)

. . .x1 x2 x3 xd

w1 w2 w3wd

w0Biais

. . .y (x)1

δs = g'(as) (us−ys)

δj = g'(aj ) wjsδscellules scouchesuivante

wis(t+1) = wis(t) − η(t)δsai

wei(t+1) = wei(t) − η(t)δiae

• Efficacité en apprentissage

En O(w) pour chaque passe d’apprentissage, w = nb de poids

Il faut typiquement plusieurs centaines de passes (voir plus loin)

Il faut typiquement recommencer plusieurs dizaines de fois un apprentissage en

partant avec différentes initialisations des poids

• Efficacité en reconnaissance

Possibilité de temps réel

Analyse de la surface d’erreur

Applications : la discrimination

• 1 neurone de sortie

– Erreur quadratique

Probabilité [0,1]

– Critère entropique

• Exemple :

Mines cylindriques / roches(http://www.ics.uci.edu/mlearn/MLRepository.html)

x 1 x 2 x 3 x d

B i a i s

Applications : la discrimination multiclasse

• c-1 problèmes de discrimination

• 1 neurone de sortie

{0,1, …, c}

• n (≤ c) neurones de sortie

1 neurone / classe

Code correcteur d’erreur

Exemple :

Reconnaissance de caractères manuscrits

Reconnaissance de locuteurs

x 1 x 2 x 3 x d

yi( x )

B i a i s

. . .y ( x )1

Applications : optimisation multi-objectif

• cf [Tom Mitchell]

prédire à la fois la classe et la couleur

plutôt que la classe seulement.

PMC : Les applications• Automatique : identification et contrôle de processus

(e.g. Commande de robot)

• Traitement du signal (filtrage, compression de données, traitement de la parole (Identification du locuteur, ...)

• Traitement d’images, reconnaissance des formes (reconnaissance de l’écriture manuscrite, Lecture automatique des codes postaux (Zip codes, USA), ...)

• Prédiction (consommations d’eau, d’électricité, météorologie, bourse, ...)

• Diagnostic (industrie, médecine, science, ...)

Application aux codes postaux (Zip codes)

• [Le Cun et al., 1989, ...] (ATT Bell Labs : très forte équipe)

• ≈ 10000 exemples de chiffres manuscrits

• Segmentés et redimensionnés sur matrice 16 x 16

• Technique des poids partagés (“weight sharing”)

• Technique du optimal brain damage

• 99% de reconnaissance correcte (sur l’ensemble d’apprentissage)

• 9% de rejet (pour reconnaissance humaine)

La base de données

Application aux codes postaux (Zip codes)

Matrice 16 x 16 12 détecteursde traits (8 x 8)

12 détecteursde traits (4 x 4)

30 cellules

10 cellulesde sortie

Les erreurs commises

La régression

Un échec : QSAR

• Quantitative Structure Activity Relations

Prédire certaines propriétés de molécules (par exemple activité biologique) à partir de descriptions :- chimiques- géométriques- éléctriques

Rôle de la couche cachée

PMC : Analyse

• Rôle des cellules cachées

• Efficacité calculatoire

1. Introduction

2. Le perceptron

7. Applications

9. Conclusions

PMC : Mise en pratique (1)• Problèmes techniques :

comment améliorer la performance de l’algorithme

Le PMC en tant que méthode d’optimisation : variantes

• Ajout d’un moment

• Méthodes du 2° ordre

• Hessien

• Gradients conjugués

Heuristiques

• Apprentissage séquentiel vs en mode batch

• Choix de la fonction d’activation

• Normalisation des entrées

• Initialisation des poids

• Les gains d’apprentissage

PMC : La rétro-propagation de gradient (variantes)

• Ajout d’un moment

Δ wji (t +1) = − η∂ E

∂ w ji

+ α Δw ji(t)

Convergence

• Réglage du pas d’apprentissage : η

PMC : Problèmes de convergence

• Minimums locaux. “Ravins”. etc.

Ajout d’un terme de moment (inertie)

Conditionnement des variables

Bruiter les données d’apprentissage

Algorithme stochastique (vs. total)

Un pas de gradient variable (dans le temps et pour chaque cellule)

Utilisation de la dérivée seconde (Hessien). Gradient conjugué.

PMC : Problèmes de convergence (gradients variables)

• Gain adaptatif

si le gradient ne change pas de signe, sinon

Gain beaucoup plus faible en stochastique qu’en gradient total

Gain propre à chaque couche (e.g. 1 / (# entrées cellule)1/2 )

• Algorithmes plus complexes

Gradients conjugués

– Idée : Essayer de minimiser indépendamment sur chaque axe, en utilisant un

moment sur la direction de recherche

Méthodes de second ordre (Hessien)

Diminuent le nombre de pas mais augmentent le temps calcul.

1. Introduction

2. Le perceptron

7. Applications

9. Conclusions

Le sur-apprentissage

Le problème de la sélection de modèle

Contrôle de H : régularisation

• Principe : limiter l’expressivité de H

• Nouveau risque empirique :

• Exemples de régularisateurs utilisés :

– Contrôle de l’architecture du RN

– Contrôle des paramètres

• Soft-weight sharing

• Weight decay

• Réseaux à convolution

– Exemples bruités

Remp (α) = 1m

L(h(xl , α ),ul

∑ ) + λ Θ[h(. ,α )]Terme de pénalisation

Contrôle par limite de l’exploration effective de H

Généralisation : optimiser la structure d’un réseau

• Par croissance progressive

Cascade correlation [Fahlman,1990]

• Par élagage

Optimal brain damage [Le Cun,1990]

Optimal brain surgeon [Hassibi,1993]

• Règle de l’arrêt prématuré

Introduction de connaissances a priori

Invariances

• Exemples obtenus par transformation

Translation / rotation / dilatation

• Fonction de coût incorporant des dérivées (e.g. spatiales)

1. Introduction

2. Le perceptron

7. Applications

9. Conclusions

ANN Application Areas

• Classification

• Clustering

• Associative memory

• Control

• Function approximation

ANN Classifier systems

• Learning capability

• Statistical classifier systems

• Data driven

• Generalisation capability

• Handle and filter large input data

• Reconstruct noisy and incomplete patterns

• Classification rules not transparent

Applications for ANN Classifiers

• Pattern recognition

Industrial inspection

Fault diagnosis

Image recognition

Target recognition

Speech recognition

Natural language processing

• Character recognition

Handwriting recognition

Automatic text-to-speech conversion

Clustering with ANNs

• Fast parallel distributed processing

• Handle large input information

• Robust to noise and incomplete patterns

• Data driven

• Plasticity/Adaptation

• Visualisation of results

• Accuracy sometimes poor

ANN Clustering Applications

• Natural language processing

Document clustering

Document retrieval

Automatic query

• Image segmentation

• Data mining

Data set partitioning

Detection of emerging clusters

• Fuzzy partitioning

• Condition-action association

Associative ANN Memories

• Stimulus-response association

• Auto-associative memory

• Content addressable memory

• Fast parallel distributed processing

• Robust to noise and incomplete patterns

• Limited storage capability

Application of ANN Associative Memories

• Character recognition

• Handwriting recognition

• Noise filtering

• Data compression

• Information retrieval

ANN Control Systems

• Learning/adaptation capability

• Data driven

• Non-linear mapping

• Fast response

• Fault tolerance

• Reconstruct noisy and incomplete patterns

• Control rules not transparent

• Learning may be problematic

ANN Control Schemes

• ANN controller

• conventional controller + ANN for unknown or non-linear dynamics

• Indirect control schemes

ANN models direct plant dynamics

ANN models inverse plant dynamics

ANN Control Applications

• Non-linear process control Chemical reaction control

Industrial process control

Water treatment

Intensive care of patients

• Servo control Robot manipulators

Autonomous vehicles

Automotive control

• Dynamic system control Helicopter flight control

Underwater robot control

ANN Function Modelling

• ANN as universal function approximator

• Dynamic system modelling

• Learning capability

• Data driven

• Non-linear mapping

• Reconstruct noisy and incomplete inputs

ANN Modelling Applications

• Modelling of highly nonlinear industrial processes

• Financial market prediction

• Weather forecasts

• River flow prediction

• Fault/breakage prediction

• Monitoring of critically ill patients

Neural Network ApproachesALVINN - Autonomous Land Vehicle In a Neural Network

ALVINN

- Developed in 1993.

- Performs driving with Neural Networks.

- An intelligent VLSI image sensor for road following.

- Learns to filter out image details not relevant to driving.

Hidden layer

Output units

Input units

ALVINN

1. Introduction

2. Le perceptron

7. Applications

9. Conclusions

PMC à fonctions radiales (RBF)

• Définition

Couche cachée de cellules à fonction d’activation radiale (e.g. gaussienne)

– Idée : “paver” l’espace des entrées avec ces “champs récepteurs”

Couche de sortie : combinaison linéaire sur la couche cachée

• Propriétés

Approximateur universel ([Hartman et al.,90], ...)

Mais non parcimonieux (explosion combinatoire avec la taille des entrées)

Réservé aux problèmes de faible dimensionalité

Liens étroits avec les systèmes d’inférence floue et les réseaux neuro-flous

PMC à fonctions radiales (RBF) : apprentissage

• Paramètres à régler :

Nb de cellules cachées

Position des centres des champs récepteurs

Diamètre des champs récepteurs

Poids vers la couche de sortie (moyenne pondérée)

• Méthodes

Adaptation de la rétro-propagation (possible)

Détermination de chaque type de paramètres par une méthode propre (souvent plus efficace)

– Centres déterminés par méthodes de “clustering” (k-means, ...)

– Diamètres déterminés par optimisation des taux de recouvrement (PPV, ...)

– Poids par technique d’optimisation linéaire (calcul de pseudo-inverse, ...)

Les réseaux récurrents

• Tâches

Reconnaissance de séquence

E.g. reconnaître le mot correspondant à un signal vocal

Reproduction de séquence

E.g. poursuivre la séquence quand une séquence initiale a été fournie (ex: prévision de

consommation d’électricité)

Association temporelle

Production d’une séquence en réponse à la reconnaissance d’une autre séquence.

Time Delay Neural Networks (TDNNs)

Duplication des couches (artifice : pas vraiment récurrents)

Réseaux récurrents

Recurrent ANN Architectures

• Feedback connections

• Dynamic memory: y(t+1)=f(x(τ),y(τ),s(τ)) τ(t,t-1,...)

• Models : Jordan/Elman ANNs

Hopfield

Adaptive Resonance Theory (ART)

Sortie

Cachée

Contexte Entrée

Sortie

Cachée

Contexte

Sortie

Cachée

Contexte

EntréeSortie

Cachée

Contexte Entrée

(a) (b) (c)

• Problèmes

Notoirement difficiles à contrôler

– Dynamique chaotique

Mémoire du passé limitée

Paramètres supplémentaires

– Apprentissage mal compris

Une idée intrigante : le « reservoir computing »

• Idée :

Utiliser un réseau récurrent sans l’entraîner explicitement

Mais entraîner une seule couche de sortie

• Permet de rendre compte du temps

Séries temporelles

Une idée intrigante : le « reservoir computing »

• Semble prometteur :

Demande encore beaucoup de recherches

• Voir aussi

– Liquid State Machines

– Echo State Machines

– Backpropagation-Decorrelation

1. Introduction

2. Le perceptron

7. Applications

9. Conclusions

Conclusions• Limites

Apprentissage lent et difficile

Opacité

– Réseaux appris très difficile à interpréter

– Difficile d’utiliser de la connaissance a priori

Apprentissage incrémental difficile : « catastrophic forgetting »

• Avantages

Souvent de très bonnes performances en généralisation

ANN Summary

Artificial Neural Networks

Feedforward Recurrent

(Kohonen) (MLP, RBF)

Unsupervised Supervised

(ART) (Elman, Jordan,Hopfield)

Unsupervised Supervised

Sources documentaires• Ouvrages / articles

Dreyfus et. al (2001) : Réseaux de neurones. Méthodologie et applications. Eyrolles, 2001.

Bishop C. (06) : Neural networks for pattern recognition. Clarendon Press - Oxford, 1995.

Haykin (98) : Neural Networks. Prentice Hall, 1998.

Hertz, Krogh & Palmer (91) : Introduction to the theory of neural computation. Addison Wesley, 1991.

Thiria, Gascuel, Lechevallier & Canu (97) : Statistiques et méthodes neuronales. Dunod, 1997.

Vapnik (95) : The nature of statistical learning. Springer Verlag, 1995.

• Sites web

http://www.lps.ens.fr/~nadal/ (point d’entrée pour de nombreux sites)

1 a. cornuéjols les réseaux connexionnistes les réseaux connexionnistes antoine cornuéjols...

perceptron page

rseaux connexionnistes

rseaux connexionnistes

pseudoinverse page

conclusions page

gradient page

rsultats page

autres page

Documents

apprentissage par renforcement antoine cornuéjols...

architecture des réseaux Électriques

les réseaux

fondements de l’algorithmique des réseaux

lobbying & réseaux d'influences .ppt

1 réseaux industriels - modbus les réseaux industriels...

quelques contributions dans les réseaux de capteurs sans...

comprendre les réseaux cérébraux - inria

facebook et strategie réseaux sociaux

axe 8 : réseaux sociaux

1. les architectures de réseaux - espace pédagogique...

réseaux privés virtuelsver2 - univ-pau.fr

presentation réseaux sociaux scientifiques

atelier réseaux sociaux v f2

introduction aux réseaux - olivier dalle · introduction...

cours interconnexion et conception de réseaux … · jl...

dynamiser les réseaux documentaires

formation réseaux sociaux

réseaux couche physique

instruments d’évaluation des réseaux routiers