les techniques danimation faciale sébastien morel - limsi cnrs introduction applications...

Les Techniques d’Animation Faciale

Sébastien Morel - LIMSI CNRS

IntroductionApplications

Communication Jeux vidéo E-learning, E-commerce, … Médecine (autisme) Aide pour les applications informatiques



Plan Etat de l’art

InterpolationPseudo-musclesSystèmes de paramétrisation

MPEG4 pour l’animation faciale

Thèse : Stéphane Garchery MiraLab 2004

XFace : Open source librairie

Proposition de modèle

Bibliographie



InterpolationPrincipe

Eq. KeyframingCoefficient d’interpolation fonction du tempsLinéaire, bi-linéaire, par région

AvantagesSimplicitéComplexité réduite

InconvénientsNécessite une base d’expressions clef

importanteImpossibilité de créer une expression non

définieTopologie fixe



Pseudo-musclesPrincipe

Introduit par F. Parke, Water3 Représentations (effets, forces) :

Splines

Déformations lisses et flexibles, continuitéContrôle par un nombre réduit de pointsAdapté aux surfaces crevassées

FFD Free form Deformation

Manipulation par points de contrôle, contient l’objetRFFD, rational : facteur de pondérationPeu précis, pas d’effets de peau



Principe RBF Rational Basis Function

Avec Un petit nombre de point caractéristique on en déduit l’ensemble des points du modèleDéformation lisse sur les régions (proche MPEG4)Indépendant de la topologie

Avantages Animation par points de contrôle Continuité des modèles Précision et réalisme

Inconvénients Complexe Forte dépendance au modèle à animer

Pseudo-muscles



Simulation de muscles

Exemple



Systèmes de paramétrisationPrincipePrincipe

2 systèmes adaptés à la simulation des muscles :FACS (Facial Action Coding System) -

EkmanBasé sur une analyse anatomique46 Action Units => peuvent être combinéesPeu intuitif, pas d’action directe sur la peau

MPA (Minimal Perceptible Action) - ThalmannBasé sur les action perceptibles des musclesInclue le contrôle des yeux et de la rotation de la têteFaible nombre de déformationsBeaucoup de paramètres pour décrire une animation

Autre système :MPEG4



MPEG4 pour l’animation facialePrincipes de base

Topologie du visage, expression neutre : Polygonal MeshFDP (Facial Definition Parameter), zone de

déformation, poids sur les vertex associésFAP (Facial Animation Parameter), émotion, visème

FAPU (Facial Animation Parameter Unit)FAT (Facial Animation Table)FIT (Face Interpolation Technique)

Géométrie

SémantiqueFDP

AnimationFIT

FAP FAT

Commande = Flux de FAPs

Vertex Déplacement



Exemple

MPEG4 pour l’animation faciale



Thèse : Stéphane Garchery MiraLab 2004

DescriptionApplications autonomes, Web, PDARendu réalisteCompatible MPEG4Algorithme de déformation basé sur les FAT,

MorphTargetInterpolation linéaire par morceau sur les FAPs

AvantagesDétermination automatique des zones d’influence par

triangulationInfluence de plusieurs points de contrôle sur les vertexProduction automatique des FATGénération de FAPs par traking optique et vidéo ou

par un système TTS->FAPs



XFace : Open source librairieXFaceSDK Open source Multi-plateformeLibrairies prêtes à animer en MPEG4

XFaceEditorConfiguration des mesh au format MPEG4. VRML

XFacePlayerEntrée : TCP/IP flux de FAPsSortie : Animation & TTS

XFaceClientGénère animation en APML



TTS

VirChor + MPEG4Decoder

ScriptAPML, VHML

Visèmes

Emotions

Emotionmood

Personality

Synchronization

Prerequirement

Mesh + texture (Poser) VRML

FDP+FAT+FIT (XFaceEd)

Virchor XML

Proposition de modèle



Fin



Bibliographie

A Survey of Facial Modeling and Animation TechniquesJun-yong Noh, Ulrich NeumannIntegrated Media Systems Center, University of Southern Californiahttp://graphics.usc.edu/cgit/pdf/papers/survey.pdf

Waters 1987

Real-time animation of realistic virtual humansPrem Kalra, Nadia Magnenat Thalmann, Laurent Moccozet, Gael SannierMIRALab, CUI, University of Geneva

Expressive Visual Speech using Geometric Muscle FunctionsJames D. Edge and Steve MaddockDepartment of Computer Science, University of Sheffield

Web-enabled Speech Driven Facial AnimationMing Ouhyoung, I-Chen Lin , David S.D. Lee,Communication and Multimedia Laboratory, National Taiwan University



BibliographieXface: MPEG4 Based Open Source Toolkit for 3D Facial AnimationKoray BalcıITCirst, Cognitive and Communication Technologies Division

Spacetime Constraints for Viseme-based Synthesis of Visual SpeechJames D. Edge and Steve MaddockDepartment of Computer Science, University of Sheffield

Towards a generic talking headM. Bérar(1), G. Bailly(1), M. Chabanas(2), F. Elisei(1), M. Odisio(1) & Y. Pahan(2)

Institut de la Communication Parlée (ICP), UMR CNRS

A SOLUTION FOR MODEL-INDEPENDENT ANIMATION OF MPEG-4 FACESRoberto Pockaj, Maurizio Costa, Fabio Lavagetto, Carlo BracciniDIST – University of Genova

Using MPEG-4 parameters for calibrating/animating talking headsC.Bonamico, C.Braccini, M.Costa, F.Lavagetto, R.Pockaj

DIST, University of Genova



BibliographieVirtual Talking Heads for Tele-education ApplicationsCarlo Bonamico and Fabio LavagettoThe Department of Informatics, System Science and Telematics - University of Genova

The use of emotionally expressive avatars in Collaborative Virtual EnvironmentsMarc Fabri, David MooreISLE Research Group, School of Computing

PicToon: A Personalized Image-based Cartoon SystemHong Chen, Nan-Ning Zheng, Lin Liang,Yan Li, Ying-Qing Xu, Heung-Yeung ShumMicrosoft Research, Asia

FEATURE POINT BASED MESH DEFORMATION APPLIED TO MPEG-4 FACIAL ANIMATIONSumedha Kshirsagar, Stephane Garchery, Nadia Magnenat-ThalmannMIRALab, CUI University of Geneva

les techniques danimation faciale sébastien morel - limsi cnrs introduction applications...

Documents

animation techniques

mpeg4 page

lanimation faciale page

modle page

peau page

lanimation faciale thse

muscles exemple page

lanimation faciale principes