réalité virtuelle et interactions introduction à la ... · réalité virtuelle et interactions...
Post on 23-Jul-2020
2 Views
Preview:
TRANSCRIPT
Réalité Virtuelle et Interactions
Introduction à la Réalité Virtuelle
Année 2019 - 2020 / 5 Info à Polytech Paris-Sud
Cédric Fleury (cedric.fleury@lri.fr)
QU’EST CE QUE LA RÉALITÉ VIRTUELLE
?
LA RÉALITÉ VIRTUELLE
Immersion
PLANApplications
Historique
Définition théorique
Facteurs humains
Technologies utilisées
PLANApplications
Historique
Définition théorique
Facteurs humains
Technologies utilisées
A QUOI SERT LA RÉALITÉ VIRTUELLE
?
APPLICATIONS INDUSTRIELS
Analyse de données scientifiques
Gros volumes de données
Données 3D
Visualisation en contexte
Collaboration à distance
APPLICATIONS INDUSTRIELS
APPLICATIONS INDUSTRIELS
APPLICATIONS INDUSTRIELS
Conception industrielle
Design
Forme du produit
Ergonomie
Simulation (ex: optique de phares)
Processus de fabrication
Possibilité d’assemblage
Ergonomie du poste travail
APPLICATIONS INDUSTRIELS
FORMATION (SERIOUS GAME)Formation de personnels
Tâches dangereuses ou rares
Matériels couteux ou pas disponibles
Formateur distant
Procédure automatisée
Entrainement militaire, etc.
UN EXEMPLE CONCRETContexte : EDF
Intérieur d’une centrale nucléaire
Mise au normes des installations
Environnement encombré
Arrêt de la centrale doit être minimal
Travail à effectuer
Déplacement d’une charge très lourde
La réalité virtuelle doit
Trouver le bon chemin pour sortir la charge
Prouver que la charge sort bien
Former les personnels à la manipulation
Résultats
Pilotage en virtuel du pont polaire par le vrai pilote
Durée de l’opération 24h (en virtuel)
Mesure en virtuel : ça passe à 27 cm prés
Mesure en réel : c’est passé entre 25 et 27 cm
Gain direct de plusieurs 100 000 euros
APPLICATIONS SOCIALES
Expérimentations sociologiques
Contrôle de l’environnement
Mise en situation pas possible ou dangereuse en réel
Soigner certains pathologies
Vertige, agoraphobie, autisme
Rééducation (conduite de voiture, tâches ménagères, etc.)
APPLICATIONS POUR LE GRAND PUBLIC
Jeux vidéos
Education
Visites virtuelles
Musées, sites disparus, etc.
APPLICATIONS POUR LE GRAND PUBLIC
Marketing
Showroom virtuel
Magasins en ligne
Téléprésence
Communication entre utilisateurs distants
Interactions collaboratives
TÉLÉPRÉSENCE
PLANApplications
Historique
Définition théorique
Facteurs humains
Technologies utilisées
HISTORIQUE
Ivan Sutherland
1963 : SketchPad
Éditer/manipuler des formes simples
Crayon lumineux
Précurseur de la CAO
1988 : Turing Award
IVAN SUTHERLAND
The Ultimate Display Paper (FIPS 1965) International Federation of Information Processing
Data Visualization: «!A display connected to a digital computer… is a looking glass into a mathematical wonderland!»
⇒ Première définition de l’immersion
Body tracking: «!The computer can easily sense the positions of almost any of our body muscles!»
IVAN SUTHERLAND
The Ultimate Display Paper (FIPS 1965)
Virtual Environments that mimic real environments: «!A chair display in such a room would be good enough to sit in.!»
VEs that go beyong reality: «There is no reason why the objects displayed by a computer have to follow ordinary rules of physical reality with which we are familiar!»
IVAN SUTHERLAND1966-68 : The Sword of Damocles (MIT)
1er casque de visualisation (affichage en fil de fer)
Superposition avec la vision naturelle (RA)
IVAN SUTHERLAND
1973 : compagnie «!Evans and Sutherland!»
Construction d’un simulateur capable de produire 20 images/seconde
Premier simulateur de vol pour l’armée US
Développement d’un casque de RV pour l’armée US entre 1970 et 1980.
Travail couvert par le secret défense
IVAN SUTHERLAND
Bilan
Un des précurseurs de la RV
Principe d’immersion dans un monde simulé
Difficulté technique à mettre en œuvre
Capacité des calculateurs
Capacité des dispositifs d’interaction
SIMULATEUR DE VOL
1929 : simulateur société Link
Cockpit sur plateforme mobile
Guidé par les commandes
1940 : développement d’une industrie nouvelle
Sauver des $
Avions, hélicoptères, chars, navires
Défaut : pas de retours visuels
50’s apparition des cameras vidéos
Cameras montées sur une plates-formes suspendues au dessus de maquettes et contrôlés par les commandes
SIMULATEUR DE VOL60’s : images générées par ordinateur
Modélisation 3D des scènes (aéroports)
1 position = 1 image (5 images/secondes ⇒ latence 1/20s)
SIMULATEUR DE VOL
60’s : images générées par ordinateur
Modélisation 3D des scènes (aéroports)
1 position = 1 image (5 images/secondes ⇒ latence 1/20s)
1968 : générateur de scène
Evans & Sutherland
1972 : Advanced Development Model (Navy)
General Electric
3 images sur 3D écrans autour du cockpit (180°)
1973 : Circa
20 images/s, 200 à 400 polygones/s
SIMULATEUR DE VOL
1979 : expérimentation du casque (armée US)
VITAL helmet (McDonnell Douglas)
2 tubes cathodiques monochromes + prismes
1 capteur électromagnétique
SIMULATEUR DE VOL
Bilan
Très gros investissements financiers (Armée US)
Très gros progrès
Générateurs d’images temps réels
Restitution de mouvements (plateformes mobiles)
Modélisation d’environnements extérieurs
PREMIÈRE APPLICATION GRAND PUBLIC
1969: Sensorama
Retour multi-sensoriel
Pas d’interactions
PREMIER SYSTÈME MODERNE DE RV
Le système VIVED (Virtual Visual Environment Display)
1985 : 1er prototype (NASA)
Dr. Michael McGreevy et Jim Humphries
Affichage cristaux liquides (LCD)
Ajout d’un data glove (Scott Fisher)
BOOM DISPLAY
Début 1990 : FakeSpace Lab
PREMIER CAVE
1992 :
Tomi de Fanti et Carolina Cruz-Neira
4 faces : 3 murs et le sol.
4 SGI Reality Engine
Tracker magnétiques 3D pour la tête et les mains
PREMIER SON VIRTUEL
1988 :
Scott Fischer et Elizabeth Wenzel
Création du premier système capable de synthétiser 4 sources sonores 3D virtuelles
Les sources de sons sont localisées même si la tête bouge (tracking de la tête)
PREMIÈRE RESTITUTION HAPTIQUE
70’s : recherche sur le touché - F. Brooks (UNC)
Notion de retour d’effort
Project GROPE : assemblage de molécules
GROPE I (1967):
Pour un doigt
GROPE II (1976):
Pour la main (inutilisable !)
GROPE III (1990):
Pour la main (6 DoF)
PREMIÈRE ENTREPRISE DE RV
VPL fondé en 1985
Jaron Lanier et Thomas Zimmerman
Première commercialisation de produits de RV
DataGlove (1987), etc.
Introduction de plusieurs librairies de RV
Introduction du terme «!Virtual Reality!» (Jaron Lanier)
«!VIRTUAL REALITY!»Holdup immédiat du terme par les médias
La traduction de «!virtual reality!» n’est pas réalité virtuelle
«!Virtual!» comme : quasiment
Littéralement : quasi réel, qui fait office de réalité
Mais traduit et adopté par les médias par «!Réalité virtuelle!» ⇒ ambiguïté linguistique évidente
HISTORIQUE - BILAN
Début dans les années 70
Systèmes expérimentaux
Premier système moderne : milieu des année 80
Systèmes dédiés : projecteurs, SGI, etc.
Premières applications dans l’industrie
De nos jours
Démocratisation des dispositifs matériels
Explosion des applications
PLANApplications
Historique
Définition théorique
Facteurs humains
Technologies utilisées
DÉFINITION GÉNÉRALE
Définition du «!traité de la réalité virtuelle!» B. Arnaldi, P. Fuchs et J. Tisseau
«! La réalité virtuelle est un domaine scientifique et technique exploitant l’informatique et des interfaces comportementales en vue de simuler dans un monde virtuel le comportement d’entités 3D, qui sont en interaction en temps réel entre elles et avec un ou des utilisateurs en immersion pseudo-naturelle par l’intermédiaire de canaux sensori-moteurs. »
Traité de la réalité virtuelle (gratuit pour les étudiants en pdf) http://www.af-rv.fr/telecharger-le-traite-de-la-realite-virtuelle/
DÉFINITION DE L’IMMERSION
Immersion
«!état (perceptif, mental, émotionnel) d’un sujet lorsque un ou plusieurs sens sont isolés du monde extérieurs et sont alimentés uniquement par des informations issues de l’ordinateur.!»
Virtual Reality!: through the new looking glass, 1994 Pimentel et Teixeira!
⇒ inclus aussi l’immersion émotionnel
LES DOMAINES DE LA RVUne application de RV est constitué
Utilisateur(s)Dispositifs matériels Calculateur(s)
DIFFÉRENTES APPROCHES
Approche centrée utilisateur Psychologique, cognition, sociologieUtilisateur(s)
Dispositifs matériels
Calculateur(s)
Approche autour des périphériques Robotique, mécanique, optiques, etc.
Approche informatique Algorithmique, graphique, intelligence artificielle, conception logicielle
THÉMATIQUES SCIENTIFIQUESInteraction Homme-Machine (IHM)
Perception (visuelle, tactile, sonore, etc.)
Acquisition de l’action des utilisateurs (position, force, etc.)
Métaphores d’interaction
Graphisme et rendu 3D
Traitement des géométries (scènes complexes)
Modèle de mouvement et d’animation
Simulation d’éclairage
Détection de collision
Intelligence Artificiel (IA)
Comportement d’entités autonomes
PRINCIPALES DIFFICULTÉS
Capter précisément les actions des utilisateurs
Latence : délai dans la boucle
Acquisition et traitement des interactions
Calcul de la restitution sensorielle
Réalisme : difficile de reproduire le réel
Crédibilité des retours sensoriels
Retours visuels plausibles, collisions raides, etc.
QU’EST CE QUE LA RÉALITÉ AUGMENTÉE
?
QUELLE EST LA DIFFÉRENCE AVEC LA RÉALITÉ VIRTUELLE
?
RÉALITÉ AUGMENTÉE
Combinaison d’une scène réelle observée par un utilisateur et d’une scène simulée par ordinateur afin d’augmenter la scène réelle avec des informations virtuelles
QUELLE EST LA FRONTIÈRE ENTRE LA RÉALITÉ
VIRTUELLE ET LA RÉALITÉ AUGMENTÉE
?
RÉALITÉ MIXTE
Frontière floue entre réel et virtuel
Virtualité augmentée (augmented virtuality)
Intégration d’éléments issues du monde réel dans un environnement virtuel
Ex: flux vidéo, objets réels, position réel de l’utilisateur, etc.
CONTINUUM DE MILGRAM
Réalité virtuelle
PLANApplications
Historique
Définition théorique
Facteurs humains
Technologies utilisées
PERCEPTION HUMAINE
5 sens classiques
Goût
Toucher
Ouïe
Odorat
Vue
+ les capteurs internes du corps
Système vestibulaire
Mécanorécepteurs musculaires et articulaires
PERFORMANCE VISUELLE
Large champ visuel
Bonne acuité visuelle
Capacité à distinguer deux points rapprochés de l’espace
PERFORMANCE VISUELLE
Bonne vision des couleurs
200 nuances colorés entre 380 et 780 nm
+ saturation (degrée de pureté) et brillance (intensité)
=> environ 1.000.000 nuances différentes
PERFORMANCE VISUELLEMauvaise discrimination temporelle
Relativement mauvaise : entre 4 et 5 ms
PERFORMANCE VISUELLEBonne vision de la profondeur
Distinguer une différence de profondeur de 0.5mm à 1m
Distinguer une différence de profondeur de 10cm à 10m
La profondeur est perçue grâce
A la disparité rétinienne (différence entre les deux yeux)
A l’accommodation (mise au point d’oeil)
A la parallaxe :
PERCEPTION AUDITIVE
Onde sonore : variations de pression
Vibration comprise entre 20Hz et 20kHz
Intensité = amplitude de la variation
Mesuré souvent en décibel
10dB : murmure - 130dB : douleur
Perception dans l’espace
Différence entre les 2 oreilles
Déformation du à la tête et oreilles
PERCEPTION HAPTIQUE
Toucher
Différents récepteurs sous la peau
Pression, vibration, température, etc.
Différentes sensibilités selon les parties du corps
PERCEPTION HAPTIQUE
Perception proprioceptive
Sensation issue du corps
Mécanorécepteurs internes
Positions, mouvements, forces
Effet de la gravité et des accélérations
Système vestibulaire
CYBER-SICKNESS
Mal des simulateurs
Maux de tête
Fatigue oculaire
Stress
Confusion
Nausées
QU’EST CE QUI INDUIT LE «!CYBER-SICKNESS!»
?
CYBER-SICKNESS
Désynchronisation entre les retours sensoriels
Entre la vue et le système vestibulaire (motion-sickness)
Latence
Délai entre l’action de l’utilisateur et les retours sensoriels
Différents niveaux de latence
Acquisition des actions des utilisateurs
Traitement de ces actions
Calcul des restitutions sensorielles
Retours vers l’utilisateur
LATENCE
Niveaux de la latence
7 à 10 ms : réflexe vestibulo-occulaire
30 ms : minimum mesurable
100 ms : seuil de perception de l’humain (vision)
200 ms : limite du confort pour les mouvements de la tête (au-dessus risque de cybersickness)
250 ms : seuil de gène lors du contrôle manuel
300 ms : limite du supportable pour l’interaction
LATENCE
Autres conséquences
Erreur de localisation spatiale
Problèmes de stabilité et précision des mouvements
Vitesse des mouvements
Fatigue
COMMENT RÉDUIRE LA LATENCE ?
Augmenter la puissance de calcul et la vitesse de transmission des données
Paralléliser les processus de traitements
Augmenter la fréquence des images
60 Hz nécessaire pour une interaction fluide
En prédisant le comportement de l’utilisateur
Filtre de Kalmann, dead reckoning, prédicateur adaptatif, modèle, etc.
PEUT-ON S’ADAPTER À LA LATENCE
?
LATENCE
Peut-on s’adapter à la latence ?
Oui : l’humain peut ralentir
Mais, pire que la latence, le jitter !
Variance de la latence
Jitter important ⇒ impossible de prévoir la latence
PLANApplications
Historique
Définition théorique
Facteurs humains
Technologies utilisées
TECHNOLOGIE DE LA RV
Restitution multi-sensorielle : 5 sens
Visuelle, auditive, haptique, olfactive, gustative
Périphériques d’interaction
Émergence de dispositifs «!low cost!»
RESTITUTION VISUELLE
Indispensable à toute application de RV
Critère de l’immersion visuelle
Large champ de vision
Vision stéréoscopique
Haute résolution
Immersion du regard l’utilisateur
VISIOCASQUE
Head Mounted Display (HMD)
Petits écrans très prés des yeux
Tubes cathodiques + miroirs
LCD maintenant
Nécessite de!tracker la position de l’utilisateur
Avantages
Immersion totale du regard, peu encombrant, prix
Inconvénients
Faible résolution, faible champs de vision, cybersickness
CAVE, SALLE IMMERSIVE
4 à 6 faces, projection par l’avant ou l’arrière
Nécessite un dispositif pour la vision stéréo
Nécessite de tracker l’utilisateur
CAVE, SALLE IMMERSIVE
Avantages :
Bonne résolution
Bonne immersion du regard
Inconvénient :
1 seul utilisateur (éventuellement 2)
Espace de déplacement restreint
Complexe et couteux
AUTRES DISPOSITIFS IMMERSIFS
Mur d’images
Workbench
Bureau immersif
COMMENT EST GÉNÉRÉE LA PERCEPTION DE PROFONDEUR
(VUE 3D) ?
VISION STÉRÉOSCOPIQUEDisparité entre les images de chaque œil
1 image différente pour chaque œil
Dépends de la distance interoculaire
COMMENT PEUT AFFICHER DES IMAGES DIFFÉRENTES
POUR CHAQUE OEIL ?
VISION STÉRÉOSCOPIQUE
Envoyer une image différente à chaque œil
Déjà prévu dans les HMDs
Plus compliqué avec des écrans ou des projecteurs
Séparation en fréquence
Séparation par polarisation
Séparation par anaglyphe
Ecrans auto-stéréoscopiques
VISION STÉRÉOSCOPIQUE
Séparation en fréquence
Ecrans ou projeteurs à 120 Hz
Lunettes à obturations (actives, Shutter glasses)
Obturateur LCD
Nécessite une synchronisation
Infrarouge ou radio-fréquence
VISION STÉRÉOSCOPIQUE
Séparation par polarisation
Souvent polarisation circulaire
Avantages
Lunettes plus légères
Moins chères
Inconvénients
Dégrade un peu les couleurs
Fantômes
VISION STÉRÉOSCOPIQUE
Séparation par anaglyphe
Peu utilisée en RV
Dégrade beaucoup les couleurs
VISION STÉRÉOSCOPIQUE
Ecrans auto-stéréoscopique
Pas besoin de lunettes
2 techniques
Barrière de parallaxe
Réseau lenticulaire
Nombres de vues prédéfinies
Affiche 8 vues = 16 images affichées en même temps
Ne convient pas pour l’interaction
VISION STÉRÉOSCOPIQUE
Correction des parallaxes (écrans et projecteurs)
VISION STÉRÉOSCOPIQUE
Correction des parallaxes (écrans et projecteurs)
Nécessité de tracker la tête de l’utilisateur
Déformation de la pyramide de vue
Images spécifiques à chaque utilisateur
Vidéo
CORRECTION DES PARALLAXES
SYSTÈME DE TRACKING
Capteur la position et l’orientation d’une cible
Techniques utilisées
Mécanique (articulé, filaire, etc.)
Capteurs électromagnétiques
Cameras infrarouges
Centrale inertielle
Gyroscope
Accéléromètre
Magnétomètre
VISION STÉRÉOSCOPIQUE
Accommodation
En réel
Accommodation = convergence
En vision stéréo
Accommodation sur l’écran != convergence due à la disparité
Pas encore de solution en RV
Ajout de flou
Là ou l’on veut que l’utilisateur regard (film Avatar)
Là ou l’utilisateur regarde (eye tracking ou prédiction)
RESTITUTION AUDITIVEButs
Reproduire le bruit des objets virtuels
Aider l’utilisateur lors des interactions
2 méthodes pour la spatialisation
Différence de sons entre les deux oreilles
Haut-parleurs ou casques
Nécessite de connaitre la position de l’utilisateur
Reconstruction de l’environnement sonore
De façon physiquement réaliste
Dispositif complexe et ressources de calcul importantes
RESTITUTION HAPTIQUE
Retours tactiles
Sensation de toucher les objets virtuels
Techniques utilisées
Interfaces tangibles
Stimulations vibratoires (UIST 2013)
Stimulations électriques
RESTITUTION HAPTIQUERetours proprioceptifs
Proprioceptif : sensation issue du corps
Positions, mouvements, forces
Retours de forces
Bras à retour d’efforts
Exo-squelette
Spidar
RESTITUTION HAPTIQUE
Retours proprioceptifs
Interfaces de locomotion : recrée les sensations d’un déplacement naturel
Métaphores du poste de conduite
Voiture, vélo
Métaphore de la marche
Tapis roulant, etc.
Métaphore abstraite
Joyman, etc.
RESTITUTION HAPTIQUE
RESTITUTION HAPTIQUE
RESTITUTION HAPTIQUE
RESTITUTION HAPTIQUE
Retours proprioceptifs
Recréer l’effet de la gravité et des accélérations
Plateformes mobiles
Stimulation galvanique vestibulaire (GVS)
Génération d’un champs électromagnétique au niveau de l’oreille interne
Limite le cybersickness
RESTITUTION HAPTIQUE
Retours pseudo-haptiques
Générer une sensation haptique à partir d’un décalage entre l’action de l’utilisateur et le retour (visuel ou autre) qu’il reçoit.
https://team.inria.fr/hybrid/w3d-project/
RESTITUTION OLFACTIVE
2 techniques
Diffuseurs devant le nez
Canon à odeurs
Problèmes
Diffusion
Persistance
RESTITUTION GUSTATIVEThe University of Tokyo / Takuji Narumi
RESTITUTION GUSTATIVEThe University of Tokyo / Takuji Narumi
PÉRIPHÉRIQUES D’INTERACTIONPériphériques 3D (6DoF)
Souris 3D, Joysticks, manettes, etc.
Périphérique haptique
Bras à retour d’effort, exo-squelettes, etc.
Système de tracking
Interagir avec les gestes et les déplacements
Périphériques spécifiques
Gants de données, interfaces tangibles, etc.
DISPOSITIFS «!LOW COST!»
Dispositifs de visualisation
TV 3D (<2000")
Projecteurs 3D (<2000")
HTC vive (<800")
Large champ de vision
Simple écran LCD
Lentilles
DISPOSITIFS «!LOW COST!»
Nouveaux périphériques d’interaction
Capteurs de profondeur
Kinect de Microsoft, Creative Senz3D, Structure Sensor
Capteurs magnétiques
Razor Hydra
Cameras infrarouges
Wiimote
Cameras normales
Leapmotion
DISPOSITIFS «!LOW COST!»Exemples d’utilisation
Tracking de l’utilisateur
Kinect, Wiimote, Razor Hydra
Interactions gestuelles
Kinect, Leapmotion
Reconstruction 3D
Kinect, structure Sensor
Augmentation de l’immersion
IllumiRoom de Microsfot (projecteur + Kinect)
DISPOSITIFS «!LOW COST!»
DISPOSITIFS «!LOW COST!»
DISPOSITIFS «!LOW COST!»
DISPOSITIFS «!LOW COST!»
DISPOSITIFS «!LOW COST!»
top related