extremal human curves: a new human body shape and pose descriptor
Post on 23-Feb-2016
49 Views
Preview:
DESCRIPTION
TRANSCRIPT
Extremal Human Curves: a New Human Body Shape and Pose Descriptor
Réalisé parRim SLAMA
Encadré par Hazem WANNOUS
Mohamed DAOUDI
Plan
• Introduction• Etat de l’art• Approche proposée: EHC
• Descripteur statique• Descripteur Temporel
• Résultats et Evaluation• Recherche de pose par contenu• Identification de trames similaires dans les vidéos
• Conclusion et perspectives
2
Introduction - Context et motivation
• Amélioration des méthodes d’acquisition de corps humains: statique et dynamique
• Présence de multiple BD de vidéos 3D de corps humain en mouvement synthétiques (animation) et réelles (système multi-vue)
• Applications potentielles• Compression • Reconnaissance d’action • Concaténation de vidéo• Indexation de vidéo
3
Introduction - Problématique4
Observations• Vidéo 3D = séquence maillages fermés / différentes poses
o Variation de poseo Changement de connectivité du maillageo Déformation surfacique : vêtements, cheveux
Questions• Comment représenter le corps humain dans chaque trame ?• Comment représenter une séquence de trame ?• Comment comparer 2 trames ? • Comment comparer 2 séquences ?• Quelles sont les bases existantes de vidéos 3D et leurs qualités ?
Représentation Propriétés Descripteur Comparaison Dynamique Base
SqueletteCheng Chen
[Computer Graphics 2010]
Description de la pose Joints +
bones
Eucl. Dist.orientations ou
coordonnées des jointures
***** MoCap
FormePeng Huang[IJCV2010 ]
[3DPVT2010]
Descripteur de forme HistogrammeSI/SD/SH/SH
Eucl. Dist. Filtre de temps
i3dPost
Structure topologiqueTony Tung
[Pami 2012]
Structure articulé du corps
Reeb graph multi résolution
Différence entre les nœuds du RG
Filtre de temps
i3dPost
Représentation spectralePeng Huang
[3DPVT2010]
Binding free MDS distance of de Hausdorff
Filtre de temps
i3dPost
Etat de l'art5
Etat de l’art - Représentation du corps humain6
Représentation• Invariante aux déformations géométriques: Rotation et translation• Invariante aux déformations élastiques:
Compression\étirement• Résistante aux changement de topologie• Résistante aux changement de connectivité • Description de la forme et de la pose à la fois
Métrique de similarité
Squelette:Histogramme: Reeb graph
MDS:
Connaissance de la Relation entre les jointures
Pas assez discriminant pour distinguer différentes poses
Plus bas taux de reconnaissance
8
preprocessing
Feature Extraction
Curve Extraction
Elastic Shape analysis framework
Elastic matching of Extremal Curves
séquence
Approche proposée – Descripteur de pose et de forme
Convolution with a time filter T(Nt)
Similarity Scores(pi ,qj)
Temporal similarity : ST
pi
qj
Extraction des points caractéristiques9
• Points de références:o Sommets « caractéristiques»;o Sommets « les plus éloignés»
• Distances géodésiques ³ :o Invariance affine et isométrique;o Algorithme de Dijikstra.
Å =• Méthode: (*)
o v1, v2 2 S : sommets les plus distants ;o f1(v) =³ (v, v1), f2(v) =³ (v, v2) 8 v 2 S ;o F = F1 \ F2 (F1,F2 : extrema de
f1, f2).
• Propriétés :o Invariance aux transformation géométriqueso Invariance aux changement de pose
[(*) J.Tierny et al. 3DPVT 06]
Extraction des courbes
Chemin géodésique : • Invariance affine et isométrique• Faible invariance par rapport à la pose
• Courbe ¯ = chemin géodésique entre 2 extrémités
• 5 extrémités 10 courbes géodésiques
• Représentation• Collection de courbes = {¯ n}n=1:10• Sélection de meilleur combinaison
10
Pourquoi cette représentation?
1- Courbes entre extrémités : information sur la pose
2- Comparer 2 maillages • Comparer leur courbes • Mesure de similarité : Espace de courbes
11
Mesure de similaritéCadre Riemannien d’analyse des courbes
12
[Joshi et al. IEEE CVPR 2007] [ ] ( ) ( ( )) / (3),q t Oq t O SO
SRVF
Translation Mise à l’échelle Rotation Paramétrisatio
n
[(*) S. Joshi CVPR07]
Mesure de similaritéCadre Riemannien d’analyse des courbes
13
α(τ)
Φ=<q1,q2>
Cercle
Géodésique
Distance géodésique entre
où
Chemin géodésique
Descripteur statiqueWalk (Per1)
Walk (Per1) Walk (Per2)
Matrice de confusion: similarité Inter-personnes
Trame requête
4 Minimas locaux8 Minimas locaux
Courbe de similarité
15
Query frame
Descripteur temporel
Convolution avec le filtre de temps!
16
Walk (Per1)
Walk (Per1) Walk (Per2)
Protocole d’éxpérimentation (1)
DB
Query
Results
1. S=0.21 2. S=0.25 3. S=0.27 4. S=0.29
Dataset:18 Poses
338 models
Recherche de pose par contenu
RésultatsCourbes Rappel/Précision
NN(%) 1st Tier(%) 2ns tier(%) E-mesure(%)
SI 23,2 13,0 20,9 15,3
SD 54,4 40,1 60,0 33,9
SH 80,7 72,3 90,6 44,49
ECD 10Curves
94,8 92,2 98,4 46,8
ECD 5Curves 98,2 94,4 0.994 0.562
Matrice de confusion
18
26/08/201020th International Conference on Pattern Recognition (ICPR), Istanbul, Turkey, August 2010
3D video
Walk
Dancing
i3dPost:Synthetic DB :
• 14 poeple • 28 motions
Protocole d’éxpérimentation (2)
Identification de trames similaires
20
Courbes ROC
Protocole d’éxpérimentation (2)
EHC_T
• 3ieme meilleur performance• aMGRGT sensible aux changement de topologie• SHRT couteuse en temps de calcul
Conclusion et perspectives
Conclusion
• Descripteur de pose et de forme: • Recherche de pose par contenu • Filtrage temporel similarité dans les vidéos 3D
limites :• Forte dépendance au chemin géodésique• Sensibilité au bruit
Perspectives• Comparaison entre séquences de vidéos: actions similaires
• Reconnaissance d’action : analyse des déformations des courbes dans le temps
23
Publications
Rim Slama, Hazem Wannous, Mohamed Daoudi, Extremal Human Curves: a New
Human Body Shape and Pose Descriptor, IEEE Automatic Face and Gesture Recognition FG 2013 Shanghai en Chine du 22 au 26 avril 2013. (Accepted)
Hassen Drira, Rim Slama, Boulbaba Ben Amor, Mohamed Daoudi, Srivastava Anuj."Une nouvelle approche de reconnaissance de visages 3D partiellement occultés". RFIA 2012, Lille.
H. Drira, B. Ben Amor, A. Srivastava, M. Daoudi and R. Slama, 3D Face Recognition Under Expressions, Occlusions and Pose Variations. TPAMI. (Minor Revision).
28
Corps Humain ?
Avec vêtements
Sans vêtements
Différentes formes différentes poses
Analyse du mouvement du corps1. Reconnaissance de l’action2. Indexation des vidéos3. Compression4. Concaténation des vidéos
Analyse des déformations surfaciques du corps humain1. Trasfert de mouvement2. Animation3. Création des espace de pose et espace de forme
26/08/201020th International Conference on
Pattern Recognition (ICPR), Istanbul, Turkey, August 2010
26/08/201020th International Conference on Pattern Recognition (ICPR), Istanbul, Turkey, August 2010
26/08/201020th International Conference on
Pattern Recognition (ICPR), Istanbul, Turkey, August 2010
26/08/201020th International Conference on
Pattern Recognition (ICPR), Istanbul, Turkey, August 2010
Sélection des courbes en statique
Courbe ROC 14x28 utilisant 5 ourbes et 10 courbes
26/08/201020th International Conference on
Pattern Recognition (ICPR), Istanbul, Turkey, August 2010
26/08/201020th International Conference on
Pattern Recognition (ICPR), Istanbul, Turkey, August 2010
Courbe ROC 14x28 utilisantStat et Temp Nt=4
26/08/201020th International Conference on
Pattern Recognition (ICPR), Istanbul, Turkey, August 2010
Nt=2
26/08/201020th International Conference on
Pattern Recognition (ICPR), Istanbul, Turkey, August 2010
26/08/201020th International Conference on
Pattern Recognition (ICPR), Istanbul, Turkey, August 2010
CtCp Cv
= 0,5x+ 0,5x
= Distance euclidienne entre xi’ et yi’
My computation of Temporal Ground truth for jigna in the action: run circle left
Temporal Ground truth for jigna in the action: run circle lefas presented in IJCV 2010 http://cvssp-data.eps.surrey.ac.uk/Personal/AdrianHilton/Publications_files/huang10ijcv_final_1.pdf (Page 10)
Ct
26/08/201020th International Conference on
Pattern Recognition (ICPR), Istanbul, Turkey, August 2010
Temporal Ground truth for jigna in the action: run circle lefAs presented in IJCV 2010
http://cvssp-data.eps.surrey.ac.uk/Personal/AdrianHilton/Publications_files/huang10ijcv_final_1.pdf (Page 10)
26/08/201020th International Conference on
Pattern Recognition (ICPR), Istanbul, Turkey, August 2010
26/08/201020th International Conference on
Pattern Recognition (ICPR), Istanbul, Turkey, August 2010
26/08/201020th International Conference on
Pattern Recognition (ICPR), Istanbul, Turkey, August 2010
26/08/201020th International Conference on
Pattern Recognition (ICPR), Istanbul, Turkey, August 2010
26/08/201020th International Conference on
Pattern Recognition (ICPR), Istanbul, Turkey, August 2010
Temporal Nt=1
1-specificity
sens
itivi
ty
26/08/201020th International Conference on
Pattern Recognition (ICPR), Istanbul, Turkey, August 2010
Temporal Nt=2
26/08/201020th International Conference on
Pattern Recognition (ICPR), Istanbul, Turkey, August 2010
Temporal Nt=3
26/08/201020th International Conference on
Pattern Recognition (ICPR), Istanbul, Turkey, August 2010
Temporal Nt=4
Vogue
1-specificity
sens
itivi
ty
1-specificity
Faint
1-specificity
sens
itivi
ty
Shot arm
1-specificity
sens
itivi
ty
Rock and roll
Complex motions
26/08/201020th International Conference on
Pattern Recognition (ICPR), Istanbul, Turkey, August 2010
Vogue
1-specificity
sens
itivi
ty
Rock and roll
1-specificity
sens
itivi
ty
top related