adverse conditions improve distinguishability of auditory ... · j. diard — lpnc-cnrs adverse...
TRANSCRIPT
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Adverse conditions improve distinguishability of auditory, motor and perceptuo-motor theories of speech perception: an exploratory Bayesian modeling study C. Moulin-Frier(1,2), R. Laurent(1,3), P. Bessière(3,4), J.-L. Schwartz(1), J. Diard(2)
(1) GIPSA-Lab, Département Parole et Cognition (ICP), UMR 5216 CNRS - Université de Grenoble (2) LPNC, UMR 5105 CNRS - Université de Grenoble (3) LIG, UMR 5217 CNRS - Université de Grenoble (4) LPPA, UMR 7152 CNRS - Collège de France, Paris
8 Décembre 2011 http://diard.wordpress.com/ [email protected]
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Nature des représentations et traitements dans la communication parlée ?
2
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Situation de communication parlée : objectif
3
Locuteur Auditeur
Objet OS Objet OL
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Modèle conceptuel de la situation de communication parlée
4
Locuteur Auditeur
Objet OS
Geste articulatoire M
Stimulus acoustique S
Objet OL
Succès de la communication CEnv
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Modèle conceptuel de la situation de communication parlée
5
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Dimensions • Objets de communication O
– Ensemble d’objets symboliques
• Espace articulatoire M – 7 degrés de liberté – TB TD LH LP J Apex Lar
• Espace acoustique S – Formants : pics de fréq. – F1 F2 F3
• Validation de la comm. C – Variable booléenne
6
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Hypothèse de travail : internalisation par l’agent du modèle de la
situation de communication
7
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Modèle conceptuel d’agent communicant
8
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Questions • Transformer le modèle conceptuel en modèle
computationnel ?
• Faire le lien entre le modèle computationnel d’agent communicant et les théories existantes ?
• Utiliser le modèle computationnel pour comparer les théories ?
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Contribution • Transformer le modèle conceptuel en modèle
computationnel ? – Modèle bayésien d’agents communicants
• Faire le lien entre le modèle computationnel d’agent communicant et les théories existantes ? – Théories de la perception et de la production de la parole – Réalisation des théories S, M, et SM par le modèle bayésien
• Utiliser le modèle computationnel pour comparer les théories ? – Théorème d’indistinguabilité en conditions parfaites – Comparaison des modèles en conditions dégradées – Distinguabilité bayésienne des modèles
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Plan
– Modèle bayésien d’agents communicants
– Théories de la perception et de la production de la parole – Réalisation des théories S, M, et SM par le modèle bayésien
– Théorème d’indistinguabilité en conditions parfaites – Comparaison des modèles en conditions dégradées – Distinguabilité bayésienne des modèles
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Modèle bayésien πAg
12
P (OSAg MAg SAg OL
Ag CAg)
= P (OSAg)P (MAg | OS
Ag)P (SAg | MAg)P (OLAg | SAg)P (CAg | OS
Ag OLAg)
uniforme U(OS)
système moteur
lien sensori- moteur
système auditif
loi Dirac δOS=OL(CAg)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Réalisation de tâches de production et de perception
• Production de la parole – Inférences de la forme P(M | O)
• Perception de la parole – Inférences de la forme P(O | S)
13
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Tâches de perception P(O | S)
• Objet d’intérêt : OL
– – Processus purement acoustique
• Objet d’intérêt : OS
–
– Connaissances motrices mises en jeu 14
P (OLAg | SAg)
P (OSAg | SAg)
=!
MAg
P (MAg | OSAg)P (SAg | MAg)
P (OSAg MAg SAg OL
Ag CAg)
= P (OSAg)P (MAg | OS
Ag)P (SAg | MAg)
P (OLAg | SAg)P (CAg | OS
Ag OLAg)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
15
Réalisation de tâches de production et de perception
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Plan
– Modèle bayésien d’agents communicants
– Théories de la perception et de la production de la parole – Réalisation des théories S, M, et SM par le modèle bayésien
– Théorème d’indistinguabilité en conditions parfaites – Comparaison des modèles en conditions dégradées – Distinguabilité bayésienne des modèles
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Théorie motrice de production
• Phonologie articulatoire (Browman & Goldstein, 89)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Théorie auditive de production
• Référentiel auditif pour la planification des gestes articulatoires (Guenther et al., 98)
– Cible acoustique • Equivalence motrice
– Expériences Bite block (Savariaux et al., 99)
– Le /r/ américain est acoustique – …
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Théories motrices de la perception
• Coarticulation (Liberman & Mattingly, 85) – /d/ en contexte /i/ différent acoustiquement
du /d/ en contexte /u/
19
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
20
Tableau théories
(thèse Moulin-Fier, 2011) (thèse Laurent, 201x)
(Moulin-Frier et al., in press)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Plan
– Théories de la perception et de la production de la parole
– Modèle bayésien d’agents communicants – Modèles S, M et SM de la communication
– Théorème d’indistinguabilité en conditions parfaites – Comparaison des modèles en conditions dégradées – Distinguabilité bayésienne des modèles
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
• Apprentissage supervisé par Master – OS
Master tiré aléatoirement selon P(OSMaster)
– Génération de MMaster selon P(MMaster | OSMaster)
– Propagation dans l’environnement : SAg selon P(SAg | MMaster)
– Transfert sans erreur de OSMaster en OL
Ag
• Réalise
22
P (OLAg | SAg) !
!
MMaster
P (MMaster | OSMaster)P (SAg | MMaster)
Modèle auditif P(OL
Ag | SAg)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
• Théorème – des conditions parfaites de communication impliquent une
indistinguabilité des modèles moteurs et auditifs de perception • Preuve
– Modèle auditif
– H1 : l’apprenant a un modèle parfait de la transformation articulatori-acoustique
– H2 : l’apprenant et le maitre ont le même modèle de production
– modèle sensoriel S = modèle moteur M
23
P (OLAg | SAg) !
!
MMaster
P (MMaster | OSMaster)P (SAg | MMaster)
P (MAg | OSAg) = P (MMaster | OS
Master)
P (SAg | MAg) = P (SAg | MMaster)
P (OLAg | SAg) !
!
MAg
P (MAg | OSAg)P (SAg | MAg)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Sortir de l’indistinguabilité • Modèles acoustiques et moteurs de perception
distinguables lorsque – Pouvoir d’expression du modèle auditif – H2 faux
• Prototypes moteurs ≠ entre Master et Ag • Accents, idiosyncrasies de prononciation
– Autre scénario d’apprentissage (thèse Moulin-Frier, 11) – H1 faux
• « Mauvais » modèle direct P(SAg | MAg) • Bruit différent pendant l’apprentissage et le test
24
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
• 2 objets O+ et O-
• Système moteur – Variable motrice M monodimensionnelle
25
P (OSAg MAg SAg OL
Ag CAg)
= P (OSAg)P (MAg | OS
Ag)P (SAg | MAg)
P (OLAg | SAg)P (CAg | OS
Ag OLAg)
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
• Transformations articulatori-acoustiques – P(SAg | MMaster)
bruit de l’environnement – P(SAg | MAg)
modèle de l’agent du bruit de l’environnement
• Gaussiennes centrées sur la sigmoïde
26
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Bruit de l’environnement σEnv (ajouté entre l’apprentissage et le test)
27
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
28
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Trajectoires monodimensionnelles dans un simulateur réaliste
29
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
Résumé • Modèle bayésien d’agents communicants
– Unifie les théories auditives, motrices et sensorimotrices de la communication parlée
• Théorème d’indistinguabilité – En condition parfaites, les cadres théoriques ne peuvent être
distingués
• Simulation des modèles dans des conditions dégradées – Prédiction expérimentale : conditions pour observer des
différences entre modèles
30
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
En cours : simulations syllabes • O = {/ba/ /bi/ /bu/ /da/ /di/ /du/ /ga/ /gi/ /gu/} • MV = TB x TD x LH, |MV| = 253
• MC = TB x TD x LH x J x Apex, |MC| = 255
• SV = F1 x F2
• SC = F2 x F3
31
€
OAgL
€
SAgV
€
MAgV
€
OAgS
€
MAgC
€
SAgC
J. Diard — LPNC-CNRS Adverse conditions improve distinguishability of…
En cours : distinguabilité bayésienne des modèles
32
P (D | x y M1 M2 !1 !2) =!(P (M = M1 ! = !1 | x y)! P (M = M2 ! = !2 | x y))2
J. Diard — LPNC-CNRS Modélisation Bayésienne de l'interaction entre perception et action
Merci de votre attention !
Questions ?