Interfaces multimodales et
géomatique : état des lieux
Frédéric Hubert, Ph.D.
Département des sciences géomatiques
Université Laval
Géomatique 2009
21 octobre 2009
Plan de la présentation
• Contexte actuel
• Les modes de communication
• Les interfaces multimodales par l’exemple
• Les interfaces multimodales géospatiales
• Open source et normes
• Intérêts de recherche
Aujourd’hui …
• La façon la plus commune pour interagir avec des systèmes
informatisés se concentre sur l’usage exclusif de :
Écran
Clavier
Souris
Aujourd’hui …
• Engouement pour des nouvelles technologies (matérielles)
offertes au grand public
– Téléphones intelligents
HTC Diamond
Apple iPhone
T-Mobile G1
Aujourd’hui …
• Engouement pour des nouvelles technologies (matérielles)
offertes au grand public
– Téléphones intelligents
– Nintendo Wii
Source: www.driver-dimension.com
Aujourd’hui …
• Engouement pour des nouvelles technologies (matérielles)
offertes au grand public
– Téléphones intelligents
– Nintendo Wii
– GPS mobile / embarqué
Ce ne sont pas juste des gadgets !
En arrière de ces technologies …
des modes de communication
• Les cinq sens comme point
de départ
• + des formes d’interaction :
– Geste
– Parole
• Modes de communication :
• visuel
• sonore
• tactile
• gestuel
• olfactif (?)
• gustatif (?)
• cérébral (?)
• Types de modes
• en entrée (saisie)
• et en sortie (restitution)
Les modes de communication :
Le mode visuel & composants
• Les écrans (sortie)
• Les vidéoprojecteurs (sortie)
• Lunettes Réalité Virtuelles (sortie)
• ~ Eye Tracking (entrée)
Les modes de communication :
Le mode sonore & composants
• Hauts-parleurs, casques (sortie)
• Microphone (entrée)
Les modes de communication :
Le mode tactile & composants
• Clavier (entrée)
• Manettes, volant (entrée et sortie)
• Écrans tactiles (entrée et sortie)
HP TouchSmart
Les modes de communication :
Le mode gestuel & composants
• Capture du mouvement du corps ou
du visage
– Souris, Caméra (entrée)
– Wiimote (entrée et sortie),
– Wii Balance Board (entrée)
– Gants haptiques (entrée)
Les modes de communication :
Les modes olfactif et gustatif
MicroScent
Food simulator
Les interfaces multimodales
• Usage simultanée ou alternée de modes ou modalités de
communication entre l’homme et la machine afin de :
– Rendre plus intuitive l’interaction et l’expression pour l’humain,
– Diminuer l’ambiguïté liée à l’usage de certaines modalités de
communication (ex. la parole),
– Offrir un support pour les personnes ayant des déficiences.
• Intérêts :
Augmenter et améliorer l’utilisabilité et l’accessibilité des
systèmes informatisés.
Interaction adaptable, flexible, coopérative et plus naturelle
Technologies de plus en plus matures
Les interfaces multimodales :
Architecture simplifiée
Fusion
Fission
Serveurs
de données
Les interfaces multimodales :
Multi-modalité en entrée (1/2)
• Usage courant d’un écran, un clavier et une souris.
• Exemple : Ouvrir le gestionnaire des tâches de Windows
• Deux modes de communication
offerts pour réaliser la même chose :
– Souris
– Clavier
Les interfaces multimodales :
Multi-modalité en entrée (2/2)
• Usage d’un microphone
avec un écran tactile.
• Deux informations distinctes qui se
complètent (quasiment) en même temps
par :
1. parole avec microphone
2. pointer avec écran tactile
Fusion des deux informations
Les interfaces multimodales :
Multi-modalité en sortie
• Exemple : Réception d’un appel sur un téléphone cellulaire.
• On peut alors recevoir la même information en même temps
(simultané) par :
– Sonnerie du téléphone (mode sonore)
– Affichage sur l’écran d’un nouvel appel (mode visuel)
– Vibration du téléphone (mode tactile)
Fission simultané ou non
Les interfaces multimodales :
Exemple … le plus ancien
Le simulateur Sensorama
Cinéma immersif
datant des années 60 avec :
- projecteur d’images
stéréoscopiques
- son
- Air soufflé avec odeurs
(pizzas, jasmin, …)
- siège vibrant
Les interfaces multimodales :
Exemple … Apple iPhone
Écran
tactile
Microphone
Caméra
Boutons
Écran
Haut-parleur
Vibration
Source: www.driver-dimension.com
Les interfaces multimodales :
Exemple … afficheur interactif portable
Les interfaces multimodales
géospatiales
• Une définition :
« Les interfaces multimodales géospatiales sont des
solutions d’interfaces homme-machine qui visent à combiner,
de manière simultanée ou alternée, des modes de
communication impliquant l’usage, direct ou indirect, de
l’information géographique dans le but d’améliorer
l’utilisabilité et l’accessibilité des données géospatiales au
travers de systèmes informatisés. »
• GeoMMI : Geospatial MultiModal Interface
GeoMMI - Le plus connu
• Les GPS mobile/embarqués dans les voitures
– Microphone (entrée)
– écran tactile (entrée/sortie)
– Haut-parleurs (sortie)
• Pour saisir une information de
destination, il est possible
d’utiliser :
– Commande vocale
– Ou écran tactile
• La restitution d’informations : visuelle et/ou sonore
GeoMMI – Vieille interface
• Une des plus anciennes interfaces multimodales
géospatiales
– Caméra
– Microphone
– Écran
Système « Put-that-there » de Bolt, 1980
GeoMMI - Edward Tse, Ph.D.
• Utilisation de microphones, caméras,
vidéoprojecteur, souris
– Geste et parole
http://edwardhtse.googlepages.com/areasofcreativity
GeoMMI – Interfaces tactiles
• Microsoft Surface– http://www.microsoft.com/surface/
GeoMMI – Perspective Pixel
• Comme dans le film Minority Report– http://www.perceptivepixel.com/
GeoMMI – Nasa World Wind
http://ifgiweb.uni-muenster.de/~j_scho09/world-wind-
touch/Home.html
http://www.youtube.com/watch?v=riFw0kKoinU&feature
=player_embedded
• Nasa World Wind + interfaces multimodales• http://www.dfki.de/web
• (à gauche) Écran tactile seul
• (à droite) Écran tactile + Wii balance board
GeoMMI – Cubtile 3D
• Le cubtile 3D = navigation 3D
– L’entreprise immersion (www.immersion.fr)
GeoMMI – CoMPASS
• CoMPASS (TabletPC + Voix)
http://www.csi.ucd.ie/staff/mbertolotto/home/
GeoMMI – Groupe Immerse
• Pour les personnes avec des déficiences physiques
– Groupe de recherche de Dan Jacobson (Calgary)
GeoMMI – Groupe GeoVISTA
• DAVE_G (début des années 2000)
– Parole, eye tracking, gestes, …
– Gestion de risque, geocollaboration
GeoMMI – Réalité Augmentée
• Métro de Paris sur iPhone– http://www.metroparisiphone.com/
GeoMMI – Réalité Augmentée
avec iPhone
GeoMMI … dans le Futur
Hologrammes
http://gl.ict.usc.edu/Research/
3DDisplay/
http://siftables.com/
Siftables Cerveau !
OpenInterface
• Le projet OpenInterface (www.openinterface.org/)
– Solution open source de plateforme d’aide à la création et au
déploiement d’interfaces multimodales
– Exemples :
• Navigation avec Google Earth (Microphone + capteur SHAKE)
OpenInterface
– Autres Exemples de navigation:
• Iphone + wiimote
• Table augmentée ou table tactile + Voix
Normes internationales
• Groupe de travail sur les interaction multimodales
– http://www.w3.org/2002/mmi/
– http://www.w3.org/2009/05/mmi-charter.html
• Objectifs :
– Étendre le Web avec de multiples modes de communication
– N’importe qui, n’importe où, n’importe quand, peu importe l’interface,
• Normalisation
– EMMA : Extensible Multimodal Annotation Markup Language (
Recommandation)
– Multimodal Architecture (Draft)
Le laboratoire REGARD
• Matériel obtenu via FCI
– 5 Téléphones mobiles (iPhone + Nokia)
– 10 PDA PalmOne Tungten et PDA HP
– 1 Écran 3D avec projecteurs
– 1 Écran auto stéréoscopique 40’’ Synthagram
– 3 Lunettes de réalité augmentée i-glasses PC 3D HR
– Clusters de PC
– 1 Stylet ST3 Polhemus
– 3 Souris 6 degrés de liberté Magellan (HP)
– 9 gant P5 glove (Virtual realities inc.)
– 2 Caméras numérique
– PC portables et PC desktop
– …
GeoMMI – Le projet GéoÉduc3D
http://geoeduc3d.scg.ulaval.ca
• Réalité augmentée, mobilité, données 3D, jeux, éducation
• Objectifs :
– Proposer des jeux interactifs éducatifs, s'appuyant sur les
technologies géospatiales et explorant des questions thématiques
auxquelles le jeune public des adolescents est sensible : les
changements climatiques; le développement durable.
– Concevoir et mettre en œuvre un ensemble d’outils d'apprentissage
innovants qui vont permettre d'enrichir - « augmenter » - l'expérience
(i.e. l'apprentissage ludique) du joueur en rendant le jeu plus
immersif, réactif, interactif.
• Différents chercheurs, différents domaines (géomatique,
éducation, réalité augmentée), différents partenaires :
Le projet GéoÉduc3D
Exemples de travaux
iPhone
(caméra + écran tactile)
Par Vincent Thomas, maîtriseCapture de mouvement
(doigt bleu ou vert) + caméra
Intérêts de recherche
• Potentiel énorme d’utiliser des interfaces multimodales en
géomatique
– Aider les utilisateurs à spécifier leurs besoins en information
géographique
– Rendre plus utilisable et intuitif les systèmes géospatiaux
– Personnalisation des données spatiales, mais aussi des interactions
– Mettre en place un dialogue homme-machine
• Actuellement, des étudiants travaillent en particulier sur
l’iPhone :
– Élodie EDOH-ALOVE (maîtrise) : Étude du contexte spatial sur des
dispositifs mobiles, tel que l’iPhone, pour des jeux éducatifs en tenant
compte de l’aspect réalité augmentée dans le projet GéoÉduc3D
– Belko Diallo (doctorat - codirecteur) : Géo-décision en mobilité
Intérêts de recherche
• Belko Diallo (doctorat - codirecteur) : Géo-décision en mobilité
Conclusion
• Nouvelles connaissances sur les interfaces
multimodales.
• Découverte des interfaces multimodales
géospatiales.
• Exploitation de telles interfaces au Département des
sciences géomatiques de l’Université Laval.
• Potentiel des interfaces multimodales pour la
géomatique pour l’avenir !
Merci de votre attention
QUESTIONS ?
http://frederic-hubert.scg.ulaval.ca