analyse d’image pour l’asservissement d’une camera embarqu´ ee … · 2014. 10. 5. ·...
TRANSCRIPT
Analyse d’image pour l’asservissement d’unecamera embarquee dans un drone
Benoıt Louvat
Gipsa-lab
Le 5 fevrier 2008
1
Introduction
Introduction
Commande Drone
Commande Tourelle
Information vidéo
2
Introduction
Objectifs
Objectifs :
1 Suivre des objets selectionnes par un utilisateur en temps reelSuivre l’objet dans l’imageControler la tourelle automatiquement pour garder l’objet dansl’image
Asservissement visuel = 2 themes de recherche
Analyse de sequence d’images : vision
Automatique : commande
2 Proposer un plus grand couplage entre la vision et la commande.
3
Introduction
Plan de l’expose
1 ContexteContexte scientifiqueContexte experimental
2 Tache de suiviEstimation de la position de l’objet
Notre contexteAlgorithme de suivi de cible proposeResultats en laboratoire
Loi de commande pour le suivi d’objet au solBoucle interneBoucle externe
Resultats en conditions reelles pour une tache de suivi
3 Commande par sur-echantillonnage
4 Amelioration de la precision
5 Conclusions et perspectives
4
Contexte
Plan
1 ContexteContexte scientifiqueContexte experimental
2 Tache de suiviEstimation de la position de l’objet
Notre contexteAlgorithme de suivi de cible proposeResultats en laboratoire
Loi de commande pour le suivi d’objet au solBoucle interneBoucle externe
Resultats en conditions reelles pour une tache de suivi
3 Commande par sur-echantillonnage
4 Amelioration de la precision
5 Conclusions et perspectives
5
Contexte Contexte scientifique
Plan
1 ContexteContexte scientifiqueContexte experimental
2 Tache de suiviEstimation de la position de l’objet
Notre contexteAlgorithme de suivi de cible proposeResultats en laboratoire
Loi de commande pour le suivi d’objet au solBoucle interneBoucle externe
Resultats en conditions reelles pour une tache de suivi
3 Commande par sur-echantillonnage
4 Amelioration de la precision
5 Conclusions et perspectives
6
Contexte Contexte scientifique
Les differents types d’asservissement visuel
Criteres definis dans [Sanderson1980], [Corke1996]
Mesure de l’erreur entre la position desiree et couranteLieu du controle des articulations du robot
Criteres Controle direct Controle indirect
Mesure 2DAsservissement visuel 2D Asservissement visuel 2Ddirect indirect
Mesure 3DAsservissement visuel 3D Asservissement visuel 3Ddirect indirect
Mesure hybride Asservissement visuel hybride :
Mesure2D/3D : asservissement 2D1/2 [Malis98]
Mesure de vitesse : asservissement d2Ddt [Cretual98]
7
Contexte Contexte scientifique
Asservissement visuel 2D/3D directAsservissement 2D
R c
Erreur mesuree dans le planimage
Asservissement 3D
R c
R o
Erreur mesuree dans l’espacecartesien
8
Contexte Contexte scientifique
Asservissement visuel 2D/3D directAsservissement 2D
Asservissement 3D
Calcul des articulations du robot dans le correcteur visuel
8
Contexte Contexte scientifique
Asservissement visuel 2D/3D indirectAsservissement 2D
Asservissement 3D
Calcul des articulations avec le correcteur interne du robot
9
Contexte Contexte experimental
Plan
1 ContexteContexte scientifiqueContexte experimental
2 Tache de suiviEstimation de la position de l’objet
Notre contexteAlgorithme de suivi de cible proposeResultats en laboratoire
Loi de commande pour le suivi d’objet au solBoucle interneBoucle externe
Resultats en conditions reelles pour une tache de suivi
3 Commande par sur-echantillonnage
4 Amelioration de la precision
5 Conclusions et perspectives
10
Contexte Contexte experimental
Drone et tourelle
Ensemble d’emission analogique de video a 2,4GHzModem radio pour la liaison de donnees de controle de latourelleUne tourelle commandable en pan et tilt
11
Contexte Contexte experimental
Station au sol
La reception analogique de la videoUn PC dedie au traitement des images en temps reel et a lacommandeUne liaison modem radio vers la tourelle pour le controle du suivides cibles
12
Tache de suivi
Plan
1 ContexteContexte scientifiqueContexte experimental
2 Tache de suiviEstimation de la position de l’objet
Notre contexteAlgorithme de suivi de cible proposeResultats en laboratoire
Loi de commande pour le suivi d’objet au solBoucle interneBoucle externe
Resultats en conditions reelles pour une tache de suivi
3 Commande par sur-echantillonnage
4 Amelioration de la precision
5 Conclusions et perspectives
13
Tache de suivi
Tache de suiviObjectif : Suivre des objets fixes et quelconques au sol avec commeunique capteur une camera
Estimer la position de l’objet dans l’imageDeplacer la tourelle pour garder l’objet au centre de l’image
Contraintes supplementaires
Simplicite du systeme⇒ Possibilite de production a grande echelle
Genericite⇒ Facilement portable a d’autres systemes similaires
Systeme embarque⇒ Capteurs peu precis, puissance de calcul, poids...
Solution a bas cout⇒ Compensation des imperfections mecaniques au
niveau logiciel
14
Tache de suivi
Choix du type d’asservissement
Asservissement visuel direct/indirect
Robot tres simplePuissance de calcul importante au sol versus embarque
⇒ Asservissement direct
Asservissement visuel 2D, 3D, hybride
Pas de connaissance a priori des objets a suivreEnvironnement changeant⇒ Asservissement 2D ou d2D
dt
Objectif = centrer et maintenir centre l’objet dans l’image⇒ Asservissement 2D
15
Tache de suivi
Asservissement visuel 2D direct
Tourelle Caméra Analyse d'imageCorrecteur visuelTransmission sans l Transmission sans l
16
Tache de suivi Estimation de la position de l’objet
Plan
1 ContexteContexte scientifiqueContexte experimental
2 Tache de suiviEstimation de la position de l’objet
Notre contexteAlgorithme de suivi de cible proposeResultats en laboratoire
Loi de commande pour le suivi d’objet au solBoucle interneBoucle externe
Resultats en conditions reelles pour une tache de suivi
3 Commande par sur-echantillonnage
4 Amelioration de la precision
5 Conclusions et perspectives
17
Tache de suivi Estimation de la position de l’objet
Asservissement visuel 2D
Tourelle Caméra Analyse d'imageCorrecteur visuelTransmission sans l Transmission sans l
18
Tache de suivi Estimation de la position de l’objet
Exemples d’images filmees
19
Tache de suivi Estimation de la position de l’objet
Contraintes inherentes a notre systeme
Le suivi d’un objet a priori quelconque et non connu a l’avance
La qualite fluctuante des images filmeesLa precision afin de suivre des objets de petite tailleLa possibilite d’estimer de grands deplacements inter-imageLe temps de calcul pour pouvoir l’inclure dans la boucled’asservissement
20
Tache de suivi Estimation de la position de l’objet
Contraintes inherentes a notre systeme
Le suivi d’un objet a priori quelconque et non connu a l’avanceLa qualite fluctuante des images filmees
La precision afin de suivre des objets de petite tailleLa possibilite d’estimer de grands deplacements inter-imageLe temps de calcul pour pouvoir l’inclure dans la boucled’asservissement
20
Tache de suivi Estimation de la position de l’objet
Contraintes inherentes a notre systeme
Le suivi d’un objet a priori quelconque et non connu a l’avanceLa qualite fluctuante des images filmeesLa precision afin de suivre des objets de petite taille
La possibilite d’estimer de grands deplacements inter-imageLe temps de calcul pour pouvoir l’inclure dans la boucled’asservissement
20
Tache de suivi Estimation de la position de l’objet
Contraintes inherentes a notre systeme
Le suivi d’un objet a priori quelconque et non connu a l’avanceLa qualite fluctuante des images filmeesLa precision afin de suivre des objets de petite tailleLa possibilite d’estimer de grands deplacements inter-imageLe temps de calcul pour pouvoir l’inclure dans la boucled’asservissement
20
Tache de suivi Estimation de la position de l’objet
Contraintes inherentes a notre systeme
Le suivi d’un objet a priori quelconque et non connu a l’avanceLa qualite fluctuante des images filmeesLa precision afin de suivre des objets de petite tailleLa possibilite d’estimer de grands deplacements inter-imageLe temps de calcul pour pouvoir l’inclure dans la boucled’asservissement
20
Tache de suivi Estimation de la position de l’objet
Simplifications et difficultes liees a notre systeme
1 Simplifications liees au contexte particulier :L’altitude de vol du drone⇒
Images representent un plan 2DOccultations negligeables
Pas d’ombre portee, ni de transparence, ni de reflexion
2 Difficultes liees au contexte particulier :Changement de pose graduel de l’objet suiviConservation de l’intensite lumineuse pas toujours verifieeLes roues de l’avion provoquent un mouvement parasite.
21
Tache de suivi Estimation de la position de l’objet
Methodes existantes possibles
Suivi de points→ KLT [Kanade Lucas 1992]
Suivi de droites→ Xvision [Hager 1996]
Suivi de blocs→ Block-matching [Gyaouriva 2003]
Estimation de mouvement global, modeles demouvement (affine, projective...) → RMRm [Obodez1995]
Mise en correspondance de points invariants→SIFT [Lowe 2004]
22
Tache de suivi Estimation de la position de l’objet
Methodes existantes possibles
Suivi de points→ KLT [Kanade Lucas 1992]
Suivi de droites→ Xvision [Hager 1996]
Suivi de blocs→ Block-matching [Gyaouriva 2003]
Estimation de mouvement global, modeles demouvement (affine, projective...) → RMRm[Obodez 1995]
Mise en correspondance de points invariants→SIFT [Lowe 2004]
22
Tache de suivi Estimation de la position de l’objet
Avantages/inconvenients dans notre contexte
Avantages/Inconvenients
Avantage Algorithme KLT
RapidePrecis
Inconvenient Algorithme KLT
Non robuste auxproblemes de perturbation
Avantage algorithme RMR
Robuste aux problemesde pertubation et auxgrands deplacements
Inconvenient Algorithme RMR
LentManque de precision
Approche proposee
=⇒ Combinaison des deux algorithmesEstimation globale (RMR) suivie d’une estimation locale (KLT)
23
Tache de suivi Estimation de la position de l’objet
Resume de KLT et RMR
KLT RMR
Extraction et suivi de point Estimation d’un modele de mouve-ment global
Algorithmes iteratifs
algorithme de Newton-Raphston algorithme des moindres carresponderes iteres
Algorithmes utilisant une estimation pyramidalePr
ojec
tion
de l'
initi
alis
atio
n
24
Tache de suivi Estimation de la position de l’objet
Resume de KLT et RMR
KLT RMRAlgorithmes utilisant une estimation pyramidale
Proj
ectio
n de
l'in
itial
isat
ion
24
Tache de suivi Estimation de la position de l’objet
Caracteristiques generales
Estimation globale/locale de la position de l’objet :
1 Estimation globale du mouvement→ RMR
Modeles de mouvement
Modele translationel : estimation rapide, modele peu precis
Modele affine : bon compromis temps de calcul, precision
Modele homographique : estimation lente, modele plus realiste maisresultat equivalent au modele affine [Landais2003]
2 Raffinement local de la position de l’objet d’interet→ KLT
25
Tache de suivi Estimation de la position de l’objet
Caracteristiques generales
Estimation globale/locale de la position de l’objet :
1 Estimation globale du mouvement→ RMR
Modeles de mouvement
Modele translationel : estimation rapide, modele peu precis
Modele affine vx = a1 + a2xi + a3yi
vy = a4 + a5xi + a6yi
Modele homographique : estimation lente, modele plus realiste maisresultat equivalent au modele affine [Landais2003]
2 Raffinement local de la position de l’objet d’interet→ KLT
25
Tache de suivi Estimation de la position de l’objet
Caracteristiques generales
Estimation globale/locale de la position de l’objet :
1 Estimation globale du mouvement→ RMR
Modeles de mouvement
Modele translationel : estimation rapide, modele peu precis
Modele affine vx = a1 + a2xi + a3yi
vy = a4 + a5xi + a6yi
Modele homographique : estimation lente, modele plus realiste maisresultat equivalent au modele affine [Landais2003]
2 Raffinement local de la position de l’objet d’interet→ KLT
25
Tache de suivi Estimation de la position de l’objet
Algorithme propose
Extraction de primitives points +
Initialisatioin du support d'estimation globale
Estimation du mouvement global
Prédiction de la position des points
Recherche des points dans la nouvelle image
Vérications des points : - Convergence de Newton-Raphson
- Diérence d'intensité entre les deux fenêtre de calcul - Test si amat de points
Nombre de points > 0
Extraction de nouveaux points en fonction du mouvement global
1er image
oui
non
Image suivante
Image suivante
26
Tache de suivi Estimation de la position de l’objet
Validation de notre approche
Tests sur des sequences avec des images reelles et un mouvementde synthese:
Extraction de 12 points sur la maison
27
Tache de suivi Estimation de la position de l’objet
Caracteristiques recherchees pour l’algorithmepropose
Caracteristiques :
Erreur d’estimation du deplacement faibleNombre de points conserves superieur par rapport a KLTNombre d’iterations moyen faible pour KLTRobuste aux grands deplacementsRobuste aux phenomenes de perturbation de l’imageTemps de calcul court
28
Tache de suivi Estimation de la position de l’objet
Structures de test
KLT
Erreur KLT
nb_niveau_pyr_klt
nb_iter_KLT
0
Test KLT
RMRm
Erreur RMR
nb_niveau_pyr_RMRm
nb_iter_RMRm
0
Test RMR
RMRm KLT
Erreur algo proposé
nb_niveau_pyr_kltnb_niveau_pyr_RMRm
nb_iter_RMRm nb_iter_KLT
0
Test Algorithme proposé
Legende pour les tests
exemples : RMR(6,10),KLT(2,10)algorithme(nb niveau pyr,nb iter max)
29
Tache de suivi Estimation de la position de l’objet
Erreur d’estimation
Caracteristiques recherchees
Erreur d’estimation du deplacement faible et grands deplacements
0 10 20 30 40 50 60 70−10
0
10
20
30
40
50
amplitude du déplacement
erre
ur e
n x
erreur estimation
0 10 20 30 40 50 60 70−10
0
10
20
30
40
50
amplitude du déplacement
erre
ur e
n y
algorithme KLT (2,10)algorithme proposéalgorithme RMRm (6,10)
Amelioration de l’erreur de l’estimation
30
Tache de suivi Estimation de la position de l’objet
Nombre de points suivis
Caracteristique recherchee
Nombre de points conserves superieur par rapport a KLT
0 10 20 30 40 50 600
5
10
15
amplitude du déplacement
nom
bre
de p
oint
s
Nombre de points suivis
algorithme KLT (2,10)algorithme proposé
Plus grand nombre de points conserves
31
Tache de suivi Estimation de la position de l’objet
Nombre d’iterations moyen
Caracteristique recherchee
Nombre d’iterations moyen moindre
0 10 20 30 40 50 600
1
2
3
4
5
6
7
8
9
10
amplitude du déplacement
moy
iter
iteration moyenne pour KLT par suivi
algorithme KLT (2,10)algorithme proposé
Moins d’iteration moyenne
32
Tache de suivi Estimation de la position de l’objet
Caracteristiques recherchees
Erreur d’estimation du deplacement faibleNombre de points conserves superieurNombre d’iteration moyen moindreRobuste aux grands deplacementsRobuste aux phenomenes de perturbation de l’imageTemps de calcul court
33
Tache de suivi Estimation de la position de l’objet
Caracteristiques recherchees
Erreur d’estimation du deplacement faibleNombre de points conserves superieurNombre d’iteration moyen moindreRobuste aux grands deplacementsRobuste aux phenomenes de perturbation de l’imageTemps de calcul court
Solution
Estimateur robuste de RMR→ resultat en conditions reelles
33
Tache de suivi Estimation de la position de l’objet
Caracteristiques recherchees
Erreur d’estimation du deplacement faibleNombre de points conserves superieurNombre d’iteration moyen moindreRobuste aux grands deplacementsRobuste aux phenomenes de perturbation de l’imageTemps de calcul court
ProblemeRMR(6,10) trop lent
SolutionDiminuer nb iter RMR et nb niveau pyr RMR→ RMR(4,2)
33
Tache de suivi Estimation de la position de l’objet
Erreur d’estimation
Caracteristique recherchee
Diminuer le temps de calcul
0 10 20 30 40 50 60 70−10
0
10
20
30
40
50
amplitude du deplacement
erre
ur e
n x
erreur estimation
0 10 20 30 40 50 60 70−10
0
10
20
30
40
50
amplitude du déplacement
erre
ur e
n y
algorithme KLT (3,10)algorithme proposéalgorithme RMRm (4,2)
Bonne estimation jusqu’a 45 pixels
Diminution du temps de calcul
34
Tache de suivi Estimation de la position de l’objet
Temps de calcul en conditions reelles
Algorithme CadenceKLT (3,10) 25+ img/sRMRm (6,10) 12-14 img/sAlgorithme propose (RMRm(4,2),KLT(3,10)) 17-20 img/s
Reglages choisis :
RMRm 4 niveaux de pyramide et 2 iterations maximalesKLT 3 niveaux de pyramide et 10 iterations maximales
35
Tache de suivi Loi de commande pour le suivi d’objet au sol
Plan
1 ContexteContexte scientifiqueContexte experimental
2 Tache de suiviEstimation de la position de l’objet
Notre contexteAlgorithme de suivi de cible proposeResultats en laboratoire
Loi de commande pour le suivi d’objet au solBoucle interneBoucle externe
Resultats en conditions reelles pour une tache de suivi
3 Commande par sur-echantillonnage
4 Amelioration de la precision
5 Conclusions et perspectives
36
Tache de suivi Loi de commande pour le suivi d’objet au sol
Commande de l’asservissement visuel
Tourelle Caméra Analyse d'imageCorrecteur visuelTransmission sans l Transmission sans l
37
Tache de suivi Loi de commande pour le suivi d’objet au sol
Loi de commande
Systeme tourelle
Tourelle d’origine prevue pour un pilotage manuelDynamique trop lente pour realiser notre tacheManque de precision
Nouvelle tourelleCapteurs, actionneurs recuperes de la tourelle d’origineElectronique reconcue : 2 micro-controleursAsservissement des moteurs en vitesse⇒ boucle interne
Correcteur visuelAsservissement en position dans l’image⇒ boucle externe
38
Tache de suivi Loi de commande pour le suivi d’objet au sol
Loi de commande = double boucle fermee
Analyse d'imageTransmission sans l
Boucle externe
Boucle interne
Centre de l'image
Transmission sans l
Correcteur visuel
39
Tache de suivi Loi de commande pour le suivi d’objet au sol
Identification des moteurs
M(p)U
Observateurvitesse de sortieestimée
position angulaireestimée
ω K
pα
Choix du modele
1 constante mecanique
1 constante electrique
2 constantes complexes (elasticite des courroies)
Difficultes
Non-linearites : frottements mecaniques, quantification, jeux, ...
Absence de mesure de la vitesse
Probleme de butees mecaniques
40
Tache de suivi Loi de commande pour le suivi d’objet au sol
Identification des moteurs
M(p)U
Observateurvitesse de sortieestimée
position angulaireestimée
ω K
pα
Choix du modele
1 constante mecanique
1 constante electrique← negligeable
2 constantes complexes (elasticite des courroies)← negligeable
→ pan : 21+0.0204p
Modele retenu : M(p) = ωu = G
1+τp
→ tilt : 21+0.0272p
40
Tache de suivi Loi de commande pour le suivi d’objet au sol
Boucle interne : regulation en vitesse
Moteur Potentiomètre vitessede sortie
position mesurée
Observateurvitesse de sortieestimée
PIconsignevitesse
erreur
Regler la dynamiqueReduire par 2 le temps de reponse de la boucle ouverteBoucle interne beaucoup plus rapide que boucle externeTemps de reponse a 10 ms
Observateur pour estimer la vitesseControleur PIEmbarquee sur le drone
41
Tache de suivi Loi de commande pour le suivi d’objet au sol
Architecture des micro-controleurs
UART SMB
MC1
UART SMB
MC2
Modem
consignes reçues sur 8 bits
Transmission des consignes
MLI
Contrôle caméra (focus, zoom...) sur 8bits Boucle interne de
commande
Transmission des consignes
Moteurs pan et tilt
Potentiomètres
CAN
42
Tache de suivi Loi de commande pour le suivi d’objet au sol
Boucle externe : regulation en position
Solution simple et classique en asservissement visuel 2D
boucle interne
algorithme d'estimation globale/locale
proportionnele
Gain :
s
Regulation de la position de l’objet au centre de l’image :s∗ = (0,0)
erreur a minimiser : e = (s − s∗) = s
Loi de commande :(
ΩxΩy
)= −λL−1s
Retard⇒ systeme instable
43
Tache de suivi Loi de commande pour le suivi d’objet au sol
Compensation du retard
Moteur pan
0.6 0.65 0.7 0.75 0.8 0.85 0.9 0.95 1 1.05 1.1
0
5
10
15
20
25
30
35
40
temps
dépl
acem
ent e
n pi
xels
ConsigneRéponse
Moteur pan
Moteur tilt
0.6 0.65 0.7 0.75 0.8 0.85 0.9 0.95 1 1.05 1.1
0
5
10
15
20
25
30
35
40
temps
dépl
acem
ent e
n pi
xels
ConsigneRéponse
Moteur tilt
retard constant : τc (electronique, transmission)
retard variable : τv (analyse d’image)
Approximation de la position (Taylor 2eme ordre)
s(t + τc + τv ) = s(t) + ∂s∂t (τc + τv ) + ∂2s
∂t2 (τc + τv )2
44
Tache de suivi Loi de commande pour le suivi d’objet au sol
Compensation du retard
Moteur pan
0.6 0.65 0.7 0.75 0.8 0.85 0.9 0.95 1 1.05 1.1
0
5
10
15
20
25
30
35
40
temps
dépl
acem
ent e
n pi
xels
ConsigneRéponse
Moteur pan
Moteur tilt
0.6 0.65 0.7 0.75 0.8 0.85 0.9 0.95 1 1.05 1.1
0
5
10
15
20
25
30
35
40
temps
dépl
acem
ent e
n pi
xels
ConsigneRéponse
Moteur tilt
retard constant : τc (electronique, transmission)
retard variable : τv (analyse d’image)
Loi de commande„Ωx
Ωy
«= −λL−1s(t + τc + τv )
44
Tache de suivi Loi de commande pour le suivi d’objet au sol
Loi de commande = double boucle fermee
Analyse d'imageTransmission sans l
Boucle externe
Boucle interne
Centre de l'image
Transmission sans l
45
Tache de suivi Resultats en conditions reelles pour une tache de suivi
Plan
1 ContexteContexte scientifiqueContexte experimental
2 Tache de suiviEstimation de la position de l’objet
Notre contexteAlgorithme de suivi de cible proposeResultats en laboratoire
Loi de commande pour le suivi d’objet au solBoucle interneBoucle externe
Resultats en conditions reelles pour une tache de suivi
3 Commande par sur-echantillonnage
4 Amelioration de la precision
5 Conclusions et perspectives
46
Tache de suivi Resultats en conditions reelles pour une tache de suivi
Suivi d’un croisement
Vol sans suivi Vol avec suivi
47
Tache de suivi Resultats en conditions reelles pour une tache de suivi
Suivi d’une maison
Vol sans suivi Vol avec suivi
48
Tache de suivi Resultats en conditions reelles pour une tache de suivi
Robustesse aux perturbations
49
Commande par sur-echantillonnage
Plan
1 ContexteContexte scientifiqueContexte experimental
2 Tache de suiviEstimation de la position de l’objet
Notre contexteAlgorithme de suivi de cible proposeResultats en laboratoire
Loi de commande pour le suivi d’objet au solBoucle interneBoucle externe
Resultats en conditions reelles pour une tache de suivi
3 Commande par sur-echantillonnage
4 Amelioration de la precision
5 Conclusions et perspectives
50
Commande par sur-echantillonnage
Idee de la commande par sur-echantillonnage
Objectif : Ameliorer le temps de reponse de la boucle externe
Asservissement classique Asservissement visuel classique
Mesure
Observateur
Capteur
Estimation
Commande
Mesure
Analyse d'image
Capteur
Estimation
Commande
Estimation envoyee a chaqueiteration
Estimation envoyee a la conver-gence
Idee : Envoyer a la commande des estimations intermediaires del’analyse d’image
51
Commande par sur-echantillonnage
Principe de la commande par sur-echantillonnage
Asservissement classique
Algorithme d'analyse d'image
Commande
Nouvelle Image
Asservissement sur-echantillonne
Algorithme d'analyse d'image
Commande
Nouvelle Image
52
Commande par sur-echantillonnage
Principe de la commande par sur-echantillonnage
Asservissement classique
Algorithme d'analyse d'image
Commande
Asservissement sur-echantillonne
Algorithme d'analyse d'image
Commande
52
Commande par sur-echantillonnage
Principe de la commande par sur-echantillonnage
Asservissement classique
Algorithme d'analyse d'image
Commande
Asservissement sur-echantillonne
Algorithme d'analyse d'image
Commande
52
Commande par sur-echantillonnage
Principe de la commande par sur-echantillonnage
Asservissement classique
Algorithme d'analyse d'image
Commande
Asservissement sur-echantillonne
Algorithme d'analyse d'image
Commande
52
Commande par sur-echantillonnage
Principe de la commande par sur-echantillonnage
Asservissement classique
Algorithme d'analyse d'image
Commande
Nouvelle Image
Asservissement sur-echantillonne
Algorithme d'analyse d'image
Commande
Nouvelle Image
52
Commande par sur-echantillonnage
Commande sur-echantillonnee avec notre algorithme
P(x,y) P(x,y)
I(kT) I((k+1)T)
kT (k+1)TδkT+i
t
Pyramide RMR Pyramide KLT
Niveau 3
Niveau 2
Niveau 1
Niveau 1
Niveau 0
Niveau 0
Consigne boucle interne
60 ms 17 img/s
53
Commande par sur-echantillonnage
Commande sur-echantillonnee avec notre algorithme
P(x,y) P(x,y)
I(kT) I((k+1)T)
kT (k+1)TδkT+i
t
Pyramide RMR Pyramide KLT
Niveau 3
Niveau 2
Niveau 1
Niveau 1
Niveau 0
Niveau 0
Consigne boucle interne
60 ms 17 img/s
53
Commande par sur-echantillonnage
Commande sur-echantillonnee avec notre algorithme
P(x,y) P(x,y)
I(kT) I((k+1)T)
kT (k+1)TδkT+i
t
Pyramide RMR Pyramide KLT
Niveau 3
Niveau 2
Niveau 1
Niveau 1
Niveau 0
Niveau 0
Consigne boucle interne
60 ms 17 img/s
53
Commande par sur-echantillonnage
Commande sur-echantillonnee avec notre algorithme
P(x,y) P(x,y)
I(kT) I((k+1)T)
kT (k+1)TδkT+i
t
Pyramide RMR Pyramide KLT
Niveau 3
Niveau 2
Niveau 1
Niveau 1
Niveau 0
Niveau 0
Consigne boucle interne
60 ms 17 img/s
53
Commande par sur-echantillonnage
Commande sur-echantillonnee avec notre algorithme
P(x,y) P(x,y)
I(kT) I((k+1)T)
kT (k+1)TδkT+i
t
Pyramide RMR Pyramide KLT
Niveau 3
Niveau 2
Niveau 1
Niveau 1
Niveau 0
Niveau 0
Consigne boucle interne
60 ms 17 img/s
→ Pas d’echantillonnage δ de la boucle de vision variable
53
Commande par sur-echantillonnage
Commande sur-echantillonnee avec notre algorithme
Saturation du buffer du micro-controleur→ trop de consignes
P(x,y) P(x,y)
I(kT) I((k+1)T)
kT (k+1)TδkT+i
t
Pyramide RMR Pyramide KLT
Niveau 3
Niveau 2
Niveau 1
Niveau 1
Niveau 0
Niveau 0
Consigne boucle interne
60 ms 17 img/s
53
Commande par sur-echantillonnage
Commande sur-echantillonnee avec notre algorithme
Saturation du buffer du micro-controleur→ trop de consignes
P(x,y) P(x,y)
I(kT) I((k+1)T)
kT (k+1)TδkT+i
t
Pyramide RMR Pyramide KLT
Niveau 3
Niveau 2
Niveau 1
Niveau 1
Niveau 0
Niveau 0
Consigne boucle interne
60 ms 17 img/s
53
Commande par sur-echantillonnage
Choix des consignes en pratique
Envoi d'une commande
Initialisation des paramètres constants
Envoi d'une commande
Envoi d'une commande
Itérations Newtown-Raphston
Itérations Newtown-Raphston
Recherche des points caractéristiques
Itérations IRLS
Itérations IRLS
Itérations IRLS
Itérations IRLS
Itérations IRLS17ms
22ms
19ms
54
Commande par sur-echantillonnage
Formalisme de la commande par sur-echantillonnage
Formalisme de la dynamique de l’algorithme d’analyse d’image :
Analyse d’image classique : pkT = R(pkT , IkT )
Analyse d’image sur-echantillonnee : pkT+(i+1)δ = R(pkT+iδ, IkT )
Avec :T : cadence d’analyseδ: pas d’iteration (considere constant pour simplifier les no-
tations)R: dynamique du systemeIk T : image a t = kTpkT+iδ: position estimee de l’objet a l’instant t = kT + iδ
Difference avec un observateur classique
Observateur : pkT+(i+1)δ = R(pkT+iδ, IkT+iδ)
Analyse d’image sur-echantillonnee : pkT+(i+1)δ = R(pkT+iδ, IkT)
55
Commande par sur-echantillonnage
Procedure de testTest avec le systeme reel demonte de l’avion
Meme comportement de la commande que lors d’un volMesurer le temps de reponse :
Temps pour centrer l’objet dans l’imageDeplacement mesure par l’algorithme d’analyse d’image
Point initial
Cible
échelon en x
éche
lon
en y
56
Commande par sur-echantillonnage
Resultats : comparaison classique/sur-echantillonne
Caracteristique recherchee
Plus grande reactivite
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.60
10
20
30
40
50
60
temps
dé
pla
ce
me
nt e
n p
ixe
ls
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.60
10
20
30
40
50
60
temps
dé
pla
ce
me
nt e
n p
ixe
ls
consigneréponse avec upsamplingréponse sans upsampling
moteurtilt
moteur pan
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8−60
−50
−40
−30
−20
−10
0
10
tps
dé
pla
ce
me
nt
en
x
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8−80
−70
−60
−50
−40
−30
−20
−10
0
10
tps
dé
pla
ce
me
nt
y
consigneréponse sans upsamplingréponse avec upsampling
Moteur pan
Moteur tilt
Commande par sur-echantillonnage toujours plus rapide (gain de 200ms)
57
Commande par sur-echantillonnage
Resultats avec differentes cadences d’analyse
Caracteristique recherchee
Augmenter le temps de l’analyse d’image sans perdre de reactivite
0 0.5 1 1.50
10
20
30
40
50
60
temps
dépl
acem
ent e
n pi
xels
0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.60
10
20
30
40
50
60
moteur tilt
temps
consigneréponse avec upsampling 14img/sréponse sans upsampling 15 img/sréponse avec upsampling 12.5 img/s
moteur pan
Commande par sur-echantillonnage toujours plus rapide meme avec unecadence de la boucle externe plus faible
58
Amelioration de la precision
Plan
1 ContexteContexte scientifiqueContexte experimental
2 Tache de suiviEstimation de la position de l’objet
Notre contexteAlgorithme de suivi de cible proposeResultats en laboratoire
Loi de commande pour le suivi d’objet au solBoucle interneBoucle externe
Resultats en conditions reelles pour une tache de suivi
3 Commande par sur-echantillonnage
4 Amelioration de la precision
5 Conclusions et perspectives
59
Amelioration de la precision
Amelioration de la precision
Probleme de precision : non-linearitesfrottementsquantificationjeux....
0 5 10 15 20 25 30−2.8
−1.9
−0.9
0
0.9
1.9
2.8
temps
tens
ion
tension d’entréeposition mesurée
Frottements
60
Amelioration de la precision
Amelioration de la precision
Probleme de precision : non-linearitesfrottementsquantificationjeux....
Proposition d’un autre correcteur visuel
Eliminer l’erreur statiqueEliminer l’erreur de traınage
⇒ developpement d’un correcteur LQR (Regulateur LineaireQuadratique)
60
Amelioration de la precision
Conception du correcteur LQR
Principe : Minimisation de la fonction de cout :
J(xo,u) =
∫ +∞
0x(t)T Qx(t) + u(t)T Ru(t)dt
Dans le cas lineaire sans contrainte : retour d’etat u = −Kx
Reglages du LQR
Choix du LQR d’ordre 4 :Action derivee : stabiliser le systemeAction proportionnelle : accelerer le systemeAction integrale : eliminer l’erreur statiqueAction double integrale : eliminer l’erreur de traınage
Ponderation de la matrice Q et R de facon a privilegier :Action integraleAction proportionnelle
61
Amelioration de la precision
Resultats avec le systeme reel : echelon de consigne
Caracteristique recherchee
Erreur statique nulle
0 1 2 3 4 5 60
5
10
15
20
25
30
35
tps
dépl
acem
ent e
n x
0 1 2 3 4 5 6−50
−40
−30
−20
−10
0
10
tps
dépl
acem
ent y
comparaison
consigneréponse avec LQRréponse avec proportionel
Erreur statique eliminee
62
Amelioration de la precision
Resultats avec le systeme reel : poursuite
Caracteristique recherchee
Erreur de traınage nulle
0 0.5 1 1.5 2 2.5
−20
−10
0
10
20
30
temps
err
eu
r x
0 0.5 1 1.5 2 2.5−30
−20
−10
0
10
temps
err
eu
r y
poursuite avec contrôleur proportionnel
erreur en pan et tilt
Correcteur proportionnel
0 0.5 1 1.5 2 2.5 3 3.5 4 4.5
−30
−20
−10
0
10
20
30
temps
err
eu
r x
0 0.5 1 1.5 2 2.5 3 3.5 4 4.5−30
−20
−10
0
10
20
30
tempse
rre
ur
y
poursuite avec contrôleur LQR
erreur pan et tilt
Correcteur LQR
Erreur de traınage eliminee
63
Conclusions et perspectives
Plan
1 ContexteContexte scientifiqueContexte experimental
2 Tache de suiviEstimation de la position de l’objet
Notre contexteAlgorithme de suivi de cible proposeResultats en laboratoire
Loi de commande pour le suivi d’objet au solBoucle interneBoucle externe
Resultats en conditions reelles pour une tache de suivi
3 Commande par sur-echantillonnage
4 Amelioration de la precision
5 Conclusions et perspectives
64
Conclusions et perspectives
Conclusions
Analyse de sequence d’image
Algorithme d’estimation globale/locale
PrecisRobuste aux perturbationsRobuste aux grandes amplitudesRapide
Commande
Prise en compte de la dynamique du manipulateur
Nouvelle commande par sur-echantillonnage :
Amelioration de la reactivite de la boucle de visionPossibilite d’utiliser des algorithmes d’analyse d’images plus lentssans perdre en reactivite
Correcteur LQR :
Amelioration de la precision par rapport aux non-linearitesElimination de l’erreur de traınage
65
Conclusions et perspectives
Perspectives
Approches en partie developpees
Utilisation de points invariants (SIFT) :Ameliorer la robustesse aux perturbationsRetrouver des objets perdus
Adapter le correcteur LQR a la commande sur-echantillonneeAller du LQR a la commande predictive : ajout de contraintes(visibilite, saturation...)
Perspectives plus lointaines
Exploration et reconstruction panoramique...Utiliser le zoom dans la tache de suiviSuivre des objets mobilesCentrale d’attitude pour le drone
66
Conclusions et perspectives
Merci...
67