gretsi

Etienne Come

Diagnostic de systemes spatialement repartis,par modele generatif et methode a noyau.

Application au diagnostic des Circuits de Voie ferroviaires.

Etienne Come, Latifa Oukhellou, Patrice Aknin, Thierry Denoeux

[email protected]

Etienne Come () Modele generatif et RKCCA 12 septembre 2007 1 / 31

1 Problematique et ApplicationApplicationProblematique

2 Modele generatifExtraction de caracteristiquesHypothese ”lineaire gaussien”Apprentissage et inferenceConclusion

3 Pre-traitement non lineaire des variables d’entreesObjectifLe systeme de diagnostic completCCA et RKCCARegularisation et choix des hyperparametres

4 Resultats

5 Conclusion & perspective


Problematique et Application Application

Application

Le Circuit de Voie (CdV), fonctions :

I Controle commande des trains ;

I Presence / Absence d’un train sur un canton donne ;

I Transmission d’information Voie / Machine (LGV) : vitesse limite ...

! Circuit de Voie = organe vital pour la securite

Dysfonctionnement ⇒ Arret de l’exploitationNecessite d’un diagnostic le plus precoce possible pour eviter les pertesliees a un arret de l’exploitation.



Detail de la Constitution d’un CdV compense


Problematique et Application Problematique

Particularites des CdV

Particularites des CdV pour le diagnostic

I CdV = Systeme complexe constitue de differents sous-systemes(les condensateurs d’accord)

I Nb de sous systemes variable ' 15..25

I Dependances spatiales amont-aval

I Gravite ∝ resistance serie des condensateurs


Modele generatif Extraction de caracteristiques

Extraction de caracteristiques des signaux [Com06]

Parametrisation de chaque portion de signal (entre deux condensateurs)Utilisation de polynomes, coefficients regroupes dans differents vecteurs :cj , j ∈ {1, . . . , N}= ensembles des descripteurs associes a la j eme portions de signal

Exemple de signal reel et de signal parametre equivalent


Modele generatif Extraction de caracteristiques

Base de donnee pour l’apprentissage

Entree

C =

...

......

...c1

[× × × ×]c2

[× × × ×] · · ·cj

[× × × ×] · · ·cN

[× × × ×]...

......

...

1...i...

M

eme releve

Sortie

R =

...

......

...r1 r2 · · · rj · · · rN...

......

...

j eme portion

1...i...

M

eme releve


Modele generatif Hypothese ”lineaire gaussien”

Codage de la dependance spatiale amont-aval

Schema du modele generatif reliant les descripteurs du signal aux resistances


Modele generatif Apprentissage et inference

Apprentissage Supervise & Inference

Lois conditionnelles

Caracteristiques du signal connaissant les valeurs des resistances :

cj = f (r1, .., rj) +εj , ∀j ∈ {1, . . . , N}

!cj est multidimensionnel

f lineaire et ε gaussien⇒ Apprentissage Maximum de vraisemblance, Inference exacte




Ecriture globale

c = A.r + E , E ∼ N (0, ΣE ), (1)

avec c = [c1, c2, . . . , cN ]t , r = [r1, r2, . . . , rN ]t ,A une matrice triangulaire inferieure par bloc, ΣE une matrice diagonale.

Apprentissage

Maximum de vraisemblance :

I A = moindres carres

I diag(ΣE ) = variance empirique des residus




Inference

L’inference permet d’obtenir une distribution de probabilite sur lesresistances, conditionnellement au signal observe.

Maximum de vraisemblance

Si aucun a priori sur r n’est fixe, cette distribution est une loi normalemultivariee de moyenne r et de matrice de variance covariance Σr :

r = ctΣ−1E AΣr , ou Σr = (AtΣ−1

E A)−1 (2)

Lorsque les parametres A et ΣE ont ete appris, r est une estimation desresistances associee au signal c fourni en entree, .



Evaluation

Constitution de la base de donnee

• Simulation (Modele electrique [AOV03]) tirage aleatoire desresistances (multi-defauts) ;

• Insertion de bruit realiste (modele de bruit [SOCA07]) ;

• 5000 signaux (2500 apprentissage, 1000 validation, 1500 test).

Resultat globaux sur l’ensemble de test

EQM Corr coef

Lineaire Gaussien 0.1018 0.7699

Tab.: 1. Resultats sur signaux simules bruites



Analyse qualitative des resultats

Evolution r9 / r9 avec le modele generatif lineaire




Evolution de c9(4) = f (c9(4)) sur la base de validation


Modele generatif Conclusion

Conclusion sur l’approche generative

Avantages :

I Modelise bien le systeme a diagnostiquer,(prise en compte de toutes les independances conditionnelles)

I Apprentissage et inference facile avec l’hypothese lineaire

I Possibilite d’extraire des sous modelespour diagnostiquer des CdV de plus petites tailles

Problemes

! Relations non lineaires entre certaines variables


Pre-traitement non lineaire des variables d’entrees Objectif

Pre-traitement non lineaire des variables d’entrees

Objectif

Trouver de nouvelles variables si transformations non lineaires desvariables ci de correlations maximales avec une combinaison lineaire deleurs parents π i = {r1, ...ri}.

SolutionI La recherche de telles variables peut etre formalisee grace a l’Analyse

Canonique des Correlations (CCA) en utilisant l’astuce noyau(RKCCA).

I En utilisant un noyau non lineaire dans l’espace des ci et un noyaulineaire dans l’espace des parents π i = {r1, . . . , ri}.

I Necessite de resoudre N analyses canoniques des correlations.


Pre-traitement non lineaire des variables d’entrees Le systeme de diagnostic complet

Schema du systeme de diagnostic NL complet

Les si definissent un nouvel espace d’entree pour le modele lineaireprecedent.

Schema du modele generatif reliant les portions de signal aux resistances avecpre-traitement par RKCCA


Pre-traitement non lineaire des variables d’entrees CCA et RKCCA

Analyse Canonique des Correlations (CCA)

CCA

Recherche de deux transformations wx , wy :Une dans un espace d’entree x, une dans un espace de sortie y maximisantla correlation des donnees apres projection.

(wx , wy ) = arg maxwx ,wy

corr(wxtx, wy

ty) = arg maxwx ,wy

wxtxytwy√

wxtxxtwx wy

tyytwy

= arg maxwx ,wy

wxtCxy wy√

wxtCxx wx wy

tCyy wy

(3)



invariance / multiplication de wx , wy par un scalaire

⇒ contraindre les deux termes du denominateur a etre egaux a 1 :

(wx , wy ) = arg maxwx ,wy

wxtCxy wy (4)

sous contrainte : wxtCxx wx = 1 wy

tCy wy = 1

Resolution numerique du probleme

En posant le lagrangien et en calculant les derivees de celui-ci / (wx , wy )on peut se ramener a un probleme de valeurs propres generalise :(

0 Cxy

Cyx 0

) (wx

wy

)= λ

(0 Cxx

Cyy 0

) (wx

wy

)(5)

Un ensemble de solutions orthogonales peut donc etre obtenu en resolvantce probleme.



RKCCA (Regularized Kernel Canonical Correlation Analysis)

Meme principe mais en utilisant l’astuce noyaux [BCR05, STC04] :

< φ(xi );φ(xj) >= K (xi , xj)

Calcul direct du produit scalaire dans un espace de plus grande dimension.Recherche des directions qui maximisent la correlation des donnees maisdans les espaces induits par les deux noyaux.

! terme de regularisation :

Dimension des espaces induient par les noyaux et stabilite numerique



Passage au dual et introduction de la regularisation (τx , τy)

Passage au dual

(αx ,αy ) = arg maxαx ,αy

αtxKxKyαy (6)

sous contraintes : K 2xαx + τxKx = 1 K 2

yαy + τyKy = 1

Probleme de valeurs propres generalise

Comme en lineaire, ce probleme est associe a un probleme de valeurspropres generalise :(

0 KxKy

KyKx 0

) (αx

αy

)= λ

(0 K 2

x + τxKx

K 2y + τyKy 0

) (αx

αy

)

Calcul des directions canoniques

βx = Kx .αx , βy = Ky .αy



Application a notre probleme

Utilisation d’un noyau non lineaire dans l’espace des cj et d’un noyaulineaire dans l’espace des variables parentes π j = {r1, ...rj}Resolution de N problemes de valeurs propres generalise :(

0 Kcj(ΠjΠ

tj )

(ΠjΠtj )Kcj

0

) (αj

βj

)= λ

((1− τ)Kcj

2 + τKcj0

0 (ΠjΠtj )

2

) (αj

βj

),

ou Πj = {π j}1≤i≤M sur les M releves de la base d’apprentissage, Kcj estla matrice de Gram construite en utilisant un noyau K sur les donnees{cj}1≤i≤M .

Les variables pretraites sont ensuite calculees grace a :

sj = Kcj .αj (7)

Celles-ci dependent lineairement des variable d’interets {r1, ...rj} etpeuvent servir d’entrees au modele generatif decrit precedement.


Pre-traitement non lineaire des variables d’entrees Regularisation et choix des hyperparametres

Regularisation et choix des hyperparametres

Choix du type de noyau

Kp(ci, cj) = (< ci; cj > +r)d (8)

Kg (ci, cj) = exp

(||ci − cj||2

σ

)(9)

Ajustement des hyperparametres ( noyau et regularisation )

I Utilisation d’un ensemble de validation

I Mesure de la correlation entre les variables canoniques et les variablesexplicatives en utilisant cet ensemble

I Choix des parametres maximisant cette correlation

I Selection des variables finales : Ordonnancement suivant leurscorrelations, taille de l’espace d’entree = minimum de l’erreurquadratique moyenne globale (agregee sur toutes les resistances) surl’ensemble de validation


Resultats

Constitution de la base de donnee

• Simulation (Modele electrique [AOV03]) tirage aleatoire desresistances (multi-defauts) ;

• Insertion de bruit realiste (modele de bruit [SOCA07]) ;

• 5000 signaux (2500 apprentissage, 1000 validation, 1500 test).

Resultat globaux sur l’ensemble de test

EQM Corr coef

Lineaire Gaussien 0.1018 0.7699

RKCCA (noyau polynomial) 0.0139 0.9684

RKCCA (noyau gaussien) 0.0244 0.9415

Tab.: 2. Resultats sur signaux simules bruites


Resultats


Noyau lineaire Noyau polynomialEvolution de la resistance estimee en fonction de la resistance reelle pour le 9eme

condensateur


Resultats


Sans pretraitement Avec pretraitementEvolution de c9(4) = f (c9(4)) sur la base de validation et de s9(1) = f (s9(1))


Conclusion & perspective

ConclusionI La solution proposee fournit de bons resultats sur la base de donnees,

I Noyau polynomial legerement meilleur,= relation non lineaire assez simple.

Perspective

I Extension au cadre partiellement supervise pour integrer des donneesreelles.

Soutien

Ces travaux associent l’UTC, la SNCF et l’INRETS avec le soutient del’ANR-PREDIT dans le cadre du projet DIAGHIST.


Bibliographie

P. Aknin, L. Oukhellou, and F. Vilette.

Track circuit diagnosis by automatic analysis of inspection car measurements.WCRR, 2003.

T. De Bie, N. Cristianini, and R. Rosipal.

Eigenproblems in pattern recognition.In E. Bayro-Corrochano, editor, Handbook of Geometric Computing : Applications in Pattern Recognition, ComputerVision, Neuralcomputing, and Robotics, pages 129–170. Springer-Verlag, Heidelberg, 2005.

C. Bishop.

Pattern Recognition and Machine Learning.Springer, 2006.

E. Come.

Regression et modele de melange pour le debruitage de signaux.In Rencontre Inter Associations, La classification et ses applications. Rencontre Inter Associations, 2006.

B. Magnus, L. Tomas, and K. Hans.

A unified approach to pca, pls, mlr and cca.Technical report, Computer Vision Laboratory, Linkoping University, 1992.

L. Oukhellou, P. Aknin, and E. Delechelle.

Infrastructure system diagnosis using empirical mode decomposition and hilbert transform.ICASSP’06 Toulouse, 2006.

Allou Same, Latifa Oukhellou, Etienne Come, and Patrice Aknin.

Mixture-model-based signal denoising.Advances in Data Analysis and Classification, 1(1) :39–51, March 2007.

J. Shawe-Taylor and N. Cristianini.

Kernel Methods for Pattern Analysis.Cambridge University Press, June 2004.


Bibliographie

Passage au dual

Soit Xφ1 = φ1(xi ) et Yφ2 = φ2(yi ), i = 1...Mles donnees projetees dans le feature space.En introduisant αt

x = X tφ1

wx et αty = Y t

φ2wy et en substituant dans le

probleme primal 4 nous obtenons :

(αx ,αy ) = arg maxαx ,αy

αtxXφ1X

tφ1

Yφ2Ytφ2

αy (10)

= arg maxαx ,αy

αtxKxKyαy (11)

sous contraintes : K 2xαx = 1 K 2

yαy = 1

ou Kx , Ky sont les matrices de Gram associees aux donnees X, Y enutilisant respectivement le noyau φ1 et le noyau φ2


gretsi

Technology

condensateursetienne

resistancesetienne come

releveetienne come mode

generatif extraction

generatif apprentissage

generatif hypothe

application applicationdetail

diagnostici cdv