3 - conception d'une application de rv › ~bouyer › rvsi › rvsi - cours 3.pdfcf. patron de...
TRANSCRIPT
![Page 1: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/1.jpg)
3 - CONCEPTION D'UNE APPLICATION DE RV
RVSI – Fondements de la RV
www.ensiie.fr/~bouyer/
![Page 2: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/2.jpg)
OBJECTIF 1
Savoir décrire et analyser une application existante
![Page 3: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/3.jpg)
RVSI 2018 – REALITE VIRTUELLE
Exemple
Windows Mixed Reality Motion Controllers
![Page 4: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/4.jpg)
RVSI 2018 – REALITE VIRTUELLE
Exemple
Leap Motion Cat Explorer
![Page 5: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/5.jpg)
S'exercer à la conception Savoir décrire des interactions à développer dans une future application
OBJECTIF 2
![Page 6: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/6.jpg)
PRINCIPES DE CONCEPTION
& DEVELOPPEMENT
![Page 7: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/7.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Conception centrée utilisateur
J. Veytizou, G. Thomann, F. Villeneuve. Un produit universel pour une interface sur mesure. Colloque Jeunes Chercheurs et Jeunes Chercheuses, Jun 2013, France.
![Page 8: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/8.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Analyse des besoins
•Quelle activité/objectif dans l'environnement virtuel•Explorer, visiter
•Observer, comprendre, analyser
•Reproduire, se former, manipuler
•Se divertir
•Quel comportement/bénéfice attendu du système
•Quel profil utilisateur•Capacités sensori-motrices, nombre, expertise, préférences
•Quelles contraintes (techniques, usage…)
•Analyse de l'activité existante (non RV) essentielle•Quelle part conserver en réel ? Quelle part virtualiser ?
![Page 9: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/9.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Description formelle des interactions
•Tâches de base•Contrôle, Sélection, Manipulation, Navigation
•Spécificités & contraintes liées aux besoins
•Actions de l'utilisateur => Conséquences dans l'EV•Commandes à réaliser (entrées, inputs…)
•Feedbacks visuels, audio, haptiques…
•Succession de tâches et donc d'actions•Relations de temps, espace, dépendances…
•Activations/désactivations
•En cas de simultanéité vérifier la compatibilité
![Page 10: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/10.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Description formelle des interactions
•Données spatiales•Position/Orientation => Translation/Rotation => Vitesses => Accélérations
•⚠ Données spatiales toujours par rapport à des repères•Ex : capteur, monde réel, monde virtuel (logiciels), objet parent, autre objet…
•DDL selon interface disponible et utilisation souhaitée
•Tête, main…
•Boutons et axes analogiques
•Valeurs numériques textuelle ou choix préétablis (menu…)
•Geste •De la main, des x doigts, bi-manuel
•Posture du corps, mouvement, marche
•Oral/Ecrit
Commandes disponibles
![Page 11: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/11.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Interfaces
•En théorie, interfaces devraient servir les interactions et être choisies après la conception
•En pratique, sont souvent des contraintes de l'application : approche techno-centrée
•Ne doivent pas être le point de départ de la conception
•Ne doivent pas aller à l'encontre des besoins
•Ex : HMD vs. Ecran(s)
![Page 12: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/12.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Tests itératifs !
•La RV et les I3D sont intrinsèquement liées à la notion d'expérience utilisateur (UX)
•Tout choix de conception/développement influe sur l'utilisabilité de l'application et la perception des informations
•Tests avec les utilisateurs finaux ou des participants représentatifs : vous n'êtes pas les utilisateurs !
•Les évaluations scientifiques sont également courantes
Tests !
![Page 13: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/13.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Développement itératif
•Base simplifiée de l’environnement virtuel •Echelles ⚠
•Organisation spatiale des éléments, repères ⚠
•Comportements obligatoires
•Interactions de base pour chaque tâche : se concentrer sur l'essentiel•Maitrise des interfaces : forces et faiblesses
•Prototypes
•Itérations
•Amélioration du programme•Architecture, modularité, indépendance matérielle…
•Comportement complet
•Gestion des données métier
•Raffinement des techniques•Feedbacks sensoriels
•Guides virtuels
•…
![Page 14: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/14.jpg)
TECHNIQUES D’INTERACTIONS
![Page 15: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/15.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Technique d’interaction
•= Ensemble identifié de commandes, d’objets et de feedbacks pour réaliser un type de tâche
•Il existe plusieurs techniques « classiques » et beaucoup d'adaptations
•Cf. patron de conception (design pattern)•Décrivent des solutions standard pour répondre à des problèmes récurrents d'architecture et de conception des logiciels.
•Indépendants du langage de programmation
•+ ou – adaptées au contexte et aux besoins
![Page 16: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/16.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Techniques de sélection
•Désignation par l'utilisateur d’un objet ou d’un ensemble d’objets
•Critères de choix de la technique•Position relative de la cible (distance, direction…)
•Taille de la cible (ratio /distance)
•Densité des obstacles ou des distracteurs, occultations
•Nombre de cibles
•Tâche suivante
•…
Principes
![Page 17: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/17.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Techniques de sélection
•La plus classique
•Inspirée par la sélection réelle
•Contrôle de la position d’un objet virtuel (« main »)
•Le premier objet qui se trouve en intersection avec la main peut être sélectionné
•Validation de la sélection
•Confirmation de la sélection
Main virtuelle simple
Objet
virtuel
Main
virtuelle
![Page 18: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/18.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Techniques de sélection
•Commandes•Déplacement de la main virtuelle avec 3 données numériques
•Déplacement de la main réelle
•Rotation de la main virtuelle par 3 données numériques
•Rotation de la main réelle
•Validation de la sélection•Fermeture de la main, bouton, timer…
Main virtuelle simple
•Rendus visuels•Main virtuelle
•Main, cube, pistolet…
•Animée, rigide
•Confirmation de l'objet en cours de sélection
•Boîte englobante, couleur…
•Rendu sonore•Confirmation de la sélection validée
•bip…
![Page 19: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/19.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Techniques de sélection
•Métaphore du pointage du doigt
•Contrôle d’un laser (evt. attaché à une main virtuelle)
•Le premier objet qui se trouve en intersection avec le rayon peut être sélectionné
•Validation de la sélection
•Confirmation de la sélection
Ray-casting Objet virtuel
sélectionné
Main
virtuelle
Pointeur laser
virtuel
[Bowman et al. 1997]
![Page 20: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/20.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Techniques de sélection
•Commandes•Orientation du rayon avec 2 données numériques
•pointage de la direction par la main…
•Translation de l'origine du rayon par 3 données numériques (opt.)
•Validation de la sélection•bouton, timer…
Ray-casting
•Rendus visuels•Origine du rayon (opt.)
•main virtuelle, baguette, flèche…
•Rayon laser virtuel
•Confirmation de l'objet en cours de sélection
•boîte englobante, couleur…
•Rendu sonore•Confirmation de la sélection validée
•bip…
![Page 21: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/21.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Techniques de sélection
•Pointeur 3D + ray casting pour sélectionner un objet
Ray-casting
[Advanced Virtual Prototyping Group N.Murray, 2002]
Métaphore de montrer avec le doigt
![Page 22: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/22.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Techniques de sélection
•Main virtuelle simple•Naturel et précis
•Peu rapide pour les objets lointains
Comparaison
•Raycasting•Rapide pour les objets lointains
•Potentiellement imprécis
•Problème des masquages
![Page 23: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/23.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Techniques de sélection
•Nombreux travaux
•Variations, combinaisons•Ex : Go-go (Arm-extension)
•Usage de l'haptique•Guide attractif…
Position main réelle
[Ivan Poupyrev, IS Lab, Hiroshima University, Japan]
Position main virtuelle
![Page 24: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/24.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Techniques de manipulation
•Liée à la sélection•Un objet doit être sélectionné avant de le manipuler
•La plupart des techniques de sélection peuvent être utilisées pour la manipulation
•Critères de choix•Type des paramètres d'objets à modifier
•Distance et direction du déplacement
•Précision requise, contraintes…
Principes
![Page 25: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/25.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Techniques de navigation
•Fournir au système les informations permettant d'effectuer un déplacement de point de vue
•Fournir à l'utilisateur les informations permettant la représentation spatiale
Principes
Navigation
Début du mouvement
Indiquer la position
Indiquer l’orientation
Fin du mouvement
Position
Vitesse
Accélération
Spécifier la cible
Spécifier le chemin
Spécifier en continu
![Page 26: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/26.jpg)
RVSI 2018 – REALITE VIRTUELLE
Techniques de navigation
•Proposez des interactions possibles avec tous types d'interfaces pour naviguer dans un monde virtuel plan, c’est-à-dire fournir à une caméra virtuelle :
•Une position 2d
•Une orientation 2d
Exercice
![Page 27: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/27.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Techniques de navigation
•Téléportation•Proche contrôle d'application/sélection
•Mouvement automatique•Rail
Contrôle ponctuel ou limité
![Page 28: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/28.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Techniques de navigation
•Couplage du point de vue avec les mouvements de la main•"Scène dans la main" : modifie la position/orientation de la scène virtuelle
•"Caméra dans la main" : modifie la position/orientation de la caméra sur la scène virtuelle
•"Conduite de véhicule"
•Carte (map-based travel) ou Monde en miniature
•Gestes de la main (grabbing the air)
•Couplage du point de vue avec les mouvements de la tête•Mode le plus proche de la navigation naturelle : intuitif et égocentrique
•Peut être contraignant et/ou inconfortable
Contrôle à tout moment
![Page 29: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/29.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Techniques de navigation
•Facilité d’apprentissage/d’utilisation
•Confort
•Vitesse
•Précision
•Conscience spatiale•Connaissance de l’utilisateur de sa position et de son orientation dans l’environnement virtuel pendant et après la navigation
•Capacité de l’utilisateur à collecter des informations pendant le voyage
•Présence
Critères de choix [Bowman 97]
![Page 30: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/30.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Techniques de contrôle d'application
•Contrôler le système
•Choisir et paramétrer la tâche en cours
•Gérer la succession des tâches•Machine à états
•Boutons
•Avec commande explicite ou implicite
Principes
![Page 31: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/31.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Techniques de contrôle
•Techniques souvent liées aux 3 autres tâches
•Utilisation directe des interfaces (boutons…)
•Menu/widget 3D ou 2D => sélection
•Commande vocale
•Gestes explicites
[Liang]
[Shaw et Green]
[Robertson]
[Hinz]
[Gorilla Exhibit menu, Bowman et Hodges]
[Wloka]
![Page 32: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/32.jpg)
Comprendre et ajouter des feedbacks et des guides virtuels
OBJECTIF 3
![Page 33: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/33.jpg)
IMPACT DES RENDUS & FEEDBACKS
SUR L'UX
![Page 34: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/34.jpg)
RVSI 2018 – REALITE VIRTUELLE
![Page 35: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/35.jpg)
RVSI 2018 – REALITE VIRTUELLE
![Page 36: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/36.jpg)
RVSI 2018 – REALITE VIRTUELLE
![Page 37: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/37.jpg)
RVSI 2018 – REALITE VIRTUELLE
![Page 38: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/38.jpg)
RVSI 2018 – REALITE VIRTUELLE
Ne pas toucher les cubes bleus
![Page 39: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/39.jpg)
RVSI 2018 – REALITE VIRTUELLE
![Page 40: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/40.jpg)
RVSI 2018 – REALITE VIRTUELLE
![Page 41: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/41.jpg)
RVSI 2018 – REALITE VIRTUELLE
Navigation ?
![Page 42: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/42.jpg)
RVSI 2018 – REALITE VIRTUELLE
Sélection ?
![Page 43: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/43.jpg)
RVSI 2018 – REALITE VIRTUELLE
Manipulation ?
![Page 44: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/44.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Notion d'affordance
•En ergonomie : capacité d’un objet à suggérer sa propre utilisation, intuitif
•=> en RV utiliser l'apparence des objets pour que l'utilisateur ne réfléchisse pas à la manière de les manipuler
Learning Theories Knowledgebase (2010, February). Affordance Theory (Gibson) from http://www.learning-theories.com/affordance-theory-gibson.html
![Page 45: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/45.jpg)
OUTILS VISUELS
![Page 46: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/46.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Conception visuelle
•Types d'outils•Caméra(s)
•Objets 3D : métier, interactions, décors…
•GUI : texte, menus…
•Indications diverses : symboles…
•Avatars
•Lumières
•Effets modificateurs•Matériaux : couleur, transparence, texture, shader
•Mesh, niveau de détail
•Particule, animations…
•Propriétés physiques ou comportementales : collisions, gravité, destruction…
[SGI]
![Page 47: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/47.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Ex. : Avatars
Facebook Spaceshttps://www.youtube.com/watch?v=FUlIg1yFya8
![Page 48: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/48.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Localisation spatiale
•Où positionner les feedbacks (quand il y a le choix) ?
•L’utilisateur doit pouvoir les percevoir•Tout court
•Dans son champ de vision ?
•Correctement •Ex. distance d’affichage de l’UI dans un HMD
•Il doit savoir qu’ils sont là
•Il doit les comprendre•Savoir avec quelles données ils sont en relation
![Page 49: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/49.jpg)
OUTILS AUDIO
![Page 50: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/50.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Conception sonore
•Sources sonores dans la scène•Son simple ou complexe
•Propriétés•Volume, durée, fréquence, timbre
•Spatialisation•Position, orientation, vitesse, effets environnementaux…
![Page 51: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/51.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Outils audio
•Sons ou motifs musicaux
•Connus, enregistrés et utilisés pour accompagner des événements
•Correspondance avec l’information à transmettre•Causale
•Ex : son de frottement pour déplacement d’un objet
•Métaphorique•Ex : bruit de porte qui se ferme pour la fermeture d’une application
•Arbitraire•Ne peut être compris que par expérience ou apprentissage
•Ex : 'bip' simple lorsque l’utilisateur à réussi à atteindre une cible
Icône auditive / Earcon
![Page 52: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/52.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Outils audio
•Earcons•Motifs musicaux
•Abstraits et arbitraires : reconnaissables par apprentissage de leur rythme, de leur hauteur et de leur volume
•Message vocal•Soit diffusion d’enregistrements vocaux, soit génération informatique
•Utile pour communiquer des informations linguistiques et/ou sémantiquement complexes à représenter via une autre rendu
•Musique, sons d'ambiance
![Page 53: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/53.jpg)
OUTILS HAPTIQUES
![Page 54: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/54.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Conception haptique
•Forces & couples•Direction, intensité, profil, durée…
•Éventuellement vibrations•Intensité, fréquence…
•Similaire au signal audio
![Page 55: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/55.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Interaction haptique directe
•Transmettre les forces liées •aux efforts physiques des objets entre eux (collisions, frottements, déformations…)
•à leurs propriétés (poids, inertie, texture…)
•en fonction de la position de l'effecteur
•Moteur physique nécessaire (détection de collisions)
•Exemple : méthode des pénalités
x
xkf
![Page 56: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/56.jpg)
GUIDES VIRTUELS
![Page 57: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/57.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Guides virtuels
•Tous types de feedbacks permettant l'assistance à atteindre un objectif ou respecter des contraintes
•Visuels, audio ou haptiques
•Ex. : trajectoire optimale, coloration ou masquage des zones 3d à éviter, modèle physique (détection de collision)…
•En particulier exploitation des correspondances/gains entre commande réelle et effet virtuel
•Ex : attraction/répulsion de l’effecteur virtuel, blocage contextuel des ddl
![Page 58: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/58.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Guides virtuels audio
•Cf. visualisation
•Transmission directe d'une donnée numérique en tant que son•ex : diffusion d’événements sismiques enregistrés
•Projection des attributs des données sur une ou plusieurs dimensions du son : •volume, durée, fréquence, timbre, localisation...
•Autres techniques de traitement sonore qui accentuent ou atténuent un son : •distorsion, assourdissement…
•Synthèse sonore ou vocale•génération informatique de signaux sonores par des fonctions et des combinaisons mathématiques (ex : synthèse physique)
Auralisation
![Page 59: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/59.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Guides virtuels haptiques
•Cf. auralisation
•Transmission directe d'une donnée en tant que force/couple •Ex : champ de vecteurs
•Projection des attributs des données sur des dimensions •de la force ou du couple (intensité, direction, fonction)
•de la vibration (intensité, disposition, fréquence, profil)
Haptisation
![Page 60: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/60.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Degrés d’assistance
•Différents objectifs des guides
Afficher les objets, Informer d’une donnée, de l’existence d’une contrainte…
Informer d’un état binaire ponctuel, du non-respect d’une contrainte…
Modifier les interactions, Informer d’une donnée précise, de la relation d’un état courant avec un autre état…
Empêcher totalement une interaction, le non respect d’une contrainte
Informer
Guider
Contraindre
Assistance sensorielle
Assistance/Contraintemotrice
![Page 61: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/61.jpg)
RVSI 2018 – REALITE VIRTUELLE
Exercice
Assistance au tir dans un FPS
![Page 62: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/62.jpg)
RVSI 2018 – REALITE VIRTUELLE
Exercice
1. Connaitre la t° exacte d’un point d'une simulation
2. idem + Savoir si la t° en ce point augmente ou diminue dans le temps
3. Savoir si la t° en ce point est supérieure ou inférieure à une référence connue (0°, t° en autre point…)
4. Savoir si la t° en ce point est supérieure ou inférieure à un seuil de danger
Feedbacks pour l'analyse de données numériques
![Page 63: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/63.jpg)
MULTIMODALITÉ
![Page 64: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/64.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Multimodalité
•Utilisation de plusieurs canaux de commandes ou de rendus au lieu d'un seul
•Multimodalité en entrée•Naturel
•Ex. fusion commande gestuelle + vocale ("put that here" 1980)
•Multimodalité en sortie•Combinaison d'outils (sur 1 ou plusieurs canaux) peut être plus efficace qu’un outil unique •Redondance
•Plusieurs outils équivalents utilisés pour une tâche, chacun étant suffisant•Complémentarité
•Plusieurs outils pour plusieurs aspects complémentaires d’une même tâche ou d’une même information
Entrée/Sortie
![Page 65: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/65.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Multimodalité
•Substitution sensori-motrice •Remplacement du canal sensori-moteur naturellement utilisé pour communiquer une perception ou une action
•Ex :•Radar de recul : Visuel -> Audio
•Bip émis par un objet lors d'une collision avec un obstacle : Haptique -> Audio
•Distribution sur plusieurs canaux peut permettre de•Percevoir plusieurs informations simultanément
•Diminuer la charge cognitive
![Page 66: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/66.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Interactions multimodales
![Page 67: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/67.jpg)
EXERCICES
![Page 68: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/68.jpg)
RVSI 2018 – REALITE VIRTUELLE
Exercice
•On cherche à placer un objet virtuel rigide de dimension m (ex. cube) dans un logement rigide de dimension n > m (ex. boîte), sans rentrer en collision avec les bords du logement (par ex. pour l'apprentissage d'un geste technique).
•On suppose une commande type main virtuelle à 6 ddl
Techniques de manipulation et guides virtuels
![Page 69: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/69.jpg)
RVSI 2018 – REALITE VIRTUELLE
Exercice
•Déterminez les besoins de l'utilisateur en termes de manipulation
•Proposez des techniques et guides utilisant des rendus visuels, audio et haptiques permettant d'assister l'opérateur dans cette tâche de manipulation
•Détaillez leur fonctionnement
•Identifiez les informations communiquées et le niveau d’assistance fourni
•Discutez les avantages/inconvénients
Techniques de manipulation et guides virtuels
![Page 70: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/70.jpg)
RVSI 2018 – REALITE VIRTUELLE
Exercice
•On cherche à empêcher totalement l’utilisateur de déplacer sa main virtuelle dans une certaine zone de l’espace (commande à 6 ddl par la main)
Proposez des rendus visuels, audio et haptiques en sortie permettant d'assister l'opérateur dans cette tâche de manipulation
Techniques de manipulation et guides virtuels
![Page 71: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/71.jpg)
BILAN
![Page 72: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/72.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Bilan
•En pratique, dans la plupart des cas :•Mélange aspects réalistes et non-réalistes
•Transposition des usages pré-RV
•Réutilisation de techniques d’interactions bien connues
•Respecter les besoins, les usages et l’ergonomie des utilisateurs finaux
•Visuel omniprésent
•Audio absent ou simple (bip, sons réalistes pré-enregistrés)
•Haptique absent ou simple (collisions)
•Commande 6 dof (main virtuelle ou ray casting) avec boutons
•Des interactions bien conçues pallient des interfaces limitées
![Page 73: 3 - CONCEPTION D'UNE APPLICATION DE RV › ~bouyer › RVSI › RVSI - Cours 3.pdfCf. patron de conception (design pattern) • Décrivent des solutions standard pour répondre à](https://reader034.vdocuments.us/reader034/viewer/2022042315/5f03e0647e708231d40b344c/html5/thumbnails/73.jpg)
RVIG 2018-2019 – REALITE VIRTUELLE
Bilan
•Discipline « jeune »•Pas de standard technique ou logiciel
•Encore peu de standard théoriques (eg. techniques d’interactions, connaissances sur les utilisateurs)
•Besoin de « créer les besoins »
•Compléments conception & UX •https://fr.slideshare.net/marknb00/comp-4010-lecture-5-interaction-design-for-virtual-reality