Un dispositif de visualisation 3D immersifpour les documents numériques

Rodrigo Almeida

CNAM / CEDRIC292 rue St-Martin

F-75003 Paris andrad_r@auditeur.cnam.fr

Jérôme Dupire

CNAM / CEDRIC292 rue St-Martin

F-75003 Parisdupire_j@cnam.fr

RESUMEL’omniprésence de la 3D dans les applications récentesillustre la tendance actuelle des développements infor-matiques. Mais si les logiciels ont migré du plan versl’espace, les dispositifs de visualisation n’ont pas ététransformés pour accueillir au mieux cette nouvelledimension. Nous présentons dans cet article un dispo-sitif de visualisation destiné aux environnements en3D. Celui-ci se compose d’un écran hémisphériqueimmersif pour les tâches générales et d’un écran stan-dard pour les travaux plus fins. L'intérêt de ce systèmeréside dans l’optimisation des activités de recherche,d’organisation et de consultation de documents numé-riques dans un contexte 3D. Bien que notre prototypeait été développé dans le cadre des bibliothèques nu-mériques, il peut facilement être étendu à n’importequel environnement de travail informationnel.

MOTS CLES : Bibliothèques numériques, visualisa-tion, multi-écran, vision périphérique, immersion, inte-raction 3D.

ABSTRACT The omnipresence of 3D graphics in recent softwareshows the present trend in computer development.Even if computer software has migrated from the planeto the space, visualization hardware has not been trans-formed to better integrate this new dimension. In thispaper, we present a visualization system intended for3D environments. It is composed by an immersivehemispherical screen for general tasks and a standardmonitor for more precise interaction. The goal of thissystem is to enhance research, organization, and con-sulting activities of digital documents within a 3Dcontext. Although our prototype has been developed ina digital library research framework, it can be easily

extended to other kinds of information tasks.

CATEGORIES AND SUBJECT DESCRIPTORS: H.5.2[User Interfaces]: Graphical User Interface, InteractionStyles, Ergonomics;

GENERAL TERMS: Design, Human Factor.

KEYWORDS : Digital libraries, visualization, multiplemonitors, peripheral vision, immersion, 3d interaction.

INTRODUCTIONDepuis le « manifeste » d’Adrian van Dam [13] inci-tant les chercheurs et les industries à investir dans ledéveloppement des interfaces utilisateurs en 3D, desprogrès considérables ont été réalisés dans ce domaine.L’explosion technologique des cartes graphiques, labaisse des coûts du matériel, la multiplication des lan-gages de programmation et de script dédiés à la 3D ontbanalisé l’accès à ce type de représentation. Que ce soitau travers des jeux vidéos ou des « bureaux 3D » [12],la tendance actuelle est résolument orientée versl’abandon progressif des représentations en 2D. Pour-tant les changements dans le domaine des dispositifs devisualisation ont été très réduits. La presque totalité desutilisateurs (professionnels, chercheurs ou particuliers)est toujours équipée aujourd’hui d’écrans traditionnelsde 15 ou 17 pouces. La souris, l’écran, la tablette gra-phique sont autant de périphériques initialement desti-nés à explorer les environnements en 2D. Or, pourpouvoir tirer profit et développer de nouveaux para-digmes pour la 3D, il semble important de posséder desoutils adaptés.Nous présenterons tout d’abord le dispositif qui est aucentre de nos expérimentations – la VisionStation.Nous évoquerons ensuite les points positifs et les obs-tacles rencontrés lors de son utilisation. Nous décrironsl'intégration de la VisionStation avec un second écran,ainsi que les interactions spatiales possibles pour unenvironnement de consultation, dans le contexte parti-culier des bibliothèques numériques. Nous proposeronsenfin quelques orientations pour les travaux à venir.

Réserver cet espace pour la notice de copyright

LA VISIONSTATIONProcurer à un utilisateur une meilleure immersion dansl’espace virtuel 3D nécessite de modifier les conditionsde restitution visuelle de celui-ci. Patrick et al. [10] ontmontré que la visualisation d'une scène qui occupe toutle champ de vision de l'utilisateur peut lui apporter uneplus grande appropriation cognitive de l'espace virtuel.Dans cette perspective, seuls de rares périphériques,comme le casque de réalité virtuelle et les écrans lar-ges, remplissaient les conditions préconnisées. Notrechoix s’est porté vers le système VisionStation(VS1024) produit par la société Elumens (figure 1). Cedispositif est composé d’un écran semi-sphériqued’environ 1,5 mètre de diamètre, d’une tablette centralesous laquelle est logé un projeteur EPSON (résolutionmaximale de 1024x768 pixels). Ce dernier est équipéd’une lentille spéciale de type fish-eye permettant de

projetter l’image sur la surface complète de l’écran [5].Livrée avec le dispositif matériel, l’API SPI (SphericalProjection for Images) est destinée à traiter les imagesgénérées par l’application en vue de leur projection.Cette API est compatible avec OpenGL et Direct3D.Sans cette étape de transformation, l’image initialementdestinée à un écran plat apparaitrait déformée surl’écran semi-sphérique. Le processus de traitement dé-bute par le calcul du rendu de 4 points de vue de lascène 3D initiale (latéraux, supérieur et inférieur).L’étape suivante consiste à transformer chaque renduen une texture, qui sera appliquée ensuite sur un mail-lage, préalablement déformé pour compenser la géo-métrie particulière de l’écran (figure 2). Enfin, cetteimage est projetée sur l’écran de la VisionStation, cou-vrant la totalité des 180° grâce à la lentille fish-eye duvidéoprojecteur.

IMMERSIONDans la VisionStation, l’image occupe donc la totalitédu champ de vision de l’utilisateur. Il est donc protégédu bruit visuel habituellement rencontré lors del’utilisation d’écrans plats. Ceci permet d’accroitre à lafois le confort d’utilisation mais aussi de faciliter laconcentration sur les tâches en cours. En outre,l’augmentation de son espace virtuel de travail lui per-met de rendre visible simultanément plusieurs docu-ments. Il peut donc utiliser les régions de son champ devision comme des éléments sémantiques pour un tra-vail optimisé sur une information particulière [7, 9].Cette propriété de spatialisation dans la visualisationofferte par le dôme donne à l'utilisateur une expérienceplus réaliste dans la manipulation des documents. Untel environnement procure un affichage fortement im-mersif, qui supprime chez l’utilisateur la sensationd’être un élément extérieur. Ainsi « plongé » dans cetespace, il peut mieux apréhender les différents objets,en transférant ses habitudes cognitivo-comportementales concernant leur manipulation, leurorganisation et leur exploitation dans l’espace. Ce phé-nomène est d’autant plus important lorsqu’il s’agitd’utilisateurs novices qui ne sont pas habitués aux re-présentations de scènes en 3D.

OBSTACLESLe principal inconvénient rencontré dans l’utilisationde la VisionStation comme outil de consultation de do-cuments numériques est la résolution de l’image pro-jetée. Elle est au maximum de 1024 x 768 pixels (li-mitation du vidéoprojecteur). Cette résolution reste trèssatisfaisante pour des applications comme les simula-teurs de vol, les jeux vidéo et de manière plus générale,pour l’affichage d’images animées. Par contre, lorsd’un travail plus précis sur des documents, textuels ougraphiques, la qualité de l’image perçue devient uncritère essentiel pour le confort et la bonne compréhen-sion des informations par l’utilisateur. Mutter et Mau-rutto montrent que la vitesse de lecture sur un écran

Figure 2 : Les 4 rendus initiaux et (en bas) l’image ré-sultante de la fusion des précédentes, après déformation.

Figure 1: La disposition des deux écrans et des deux sou-ris (à gauche la souris 3D).

d'ordinateur est proportionnelle à la résolution del'image affichée [8]. C’est dans ce contexte particulierque la VisionStation montre ses limites. On peut en ef-fet discerner à l’affichage le détail des pixels projetés(figure 3). Ce phénomène constitue un obstacle im-portant à l’utilisation de ce dispositif, dans cette confi-guration, pour ce type d’application.Baudisch et al. [1] ont proposé un dispositif composéde matériel courant (un vidéoprojecteur, un écran deprojection et un moniteur) permettant de projetter si-multanément une vue globale de la scène et une partiede celle-ci à une résolution plus élevée. Ce système aété testé pour la visualisation et le travail information-nel en 2D tel que l’analyse de cartes ou d’images satel-litaires. Ce dispositif ne semble pas approprié pour gé-rer simultanément des contextes différents, la vue dé-taillée étant inévitablement une partie de l’image glo-bale. De plus, le problème du bruit visuel lié auxécrans traditionnels se retrouve encore un peu dans cesystème. Fort de ces constats, nous avons ajouté à notre disposi-tif un écran plat (TFT 17 pouces). Celui-ci est capable

d’afficher des résolutions plus fines que la VisionSta-tion (jusqu’à 1280x1024). Nous avons donc envisagél’utilisation de ce moniteur pour différentes tâches. Ilpourrait permettre d’afficher une partie de la scène 3D,qui nécessiterait des conditions compatibles avec untravail sur les documents (confort visuel), ou d’isolerune partie de la scène, permettant une vision précise etplus détaillée de celle-ci. Nous pourrions, d’autre part,permettre à l’utilisateur d’accéder, par cet affichagecomplémentaire, à des éléments d’interaction non dis-ponibles dans la vue globale.

FENETRES ET ECRANSPour les fonctions de fenêtrage et la gestion des inte-ractions de notre prototype, nous avons utilisé la bi-bliothèque GLUT (OpenGL Utility Toolkit) [6]. Pourtravailler dans un modèle bi-écran, nous avons créédeux contextes et associé chacun à une fenêtre. Pourchaque fenêtre, nous avons spécifié des fonctions deprojection différentes. Malgré le fait que les deux fe-nêtres utilisent la même description de la scène, ellesont chacune leur champ de vision spécifique. La fenê-tre destinée à la VisionStation utilise les fonctions d'af-fichage et de projection issues de l'API SPI alors que lafenêtre spécifiée pour l'écran normal utilise les fonc-tions de projection d'OpenGL et de la bibliothèqueGLU (OpenGL Utility Library), pour un champ de vi-sion de 30 degrés. Enfin, pour permettre l'affichage enbi-écran, nous avons utilisé une carte graphique NVI-DIA Quadro FX3000, montée sur un PC (P4, 2,4 GHz,512 RAM). Nous avons choisi de placer le deuxièmeécran sur la tablette de la VisionStation. L'avantaged'une telle configuration est de conserver à la foisl’immersion de l’utilisateur dans la scène 3D et la pos-sibilité de travailler sur une image en haute résolution.Cela permet enfin d’associer ou de différencier le tra-vail de l’utilisateur sur chaque visualisation.

IMPLEMENTATION-EXPERIMENTATIONDans des travaux précédents, notre équipe à étudié denouveaux modèles d’interaction en 3D, en particulierdans le domaine des bibliothèques numériques [3, 4].Nous nous sommes servis de ces travaux comme sup-port pour tester l’organisation des différentes fonction-nalités liées aux deux affichages. Le modèled’organisation de la scène est cylindrique et correspondà celui décrit en [11]. L’affichage de cet espace se faitsur la VisionStation, et permet de visualiser une collec-tion de livres. Ceux-ci sont identifiables par leur tran-che, et organisés en « étagère ». L’affichage sur l’écranplat permet, après sélection d’un ouvrage, de leconsulter avec un confort visuel adéquat (résolutionélevée). Afin d’optimiser la navigation dans l’espacevirtuel, nous avons décidé d'utiliser une « souris 3D »(SpaceMouse Plus de 3dConnexion - figure 2). GLUTne reconnaissant pas ce périphérique, nous avons utili-sé une version modifiée de cette bibliothèque [2] afinde pouvoir intégrer ce périphérique. La SpaceMouse

Figure 3: En haut, la vue globale de la scène sur laVisionStation. Au milieu, le détail de livres au centrede la projection. En bas, la même partie de l'imageaffichée sur l'écran plat. Noter les différences dans laqualité des images affichées.

permet d’accéder facilement aux mouvements de tran-slation et et de rotation selon et autour des 3 axes. Pournotre prototype, nous avons choisi de contraindre lesmouvements afin de faciliter les « déplacements ».L’utilisateur a donc à sa disposition les translationsselon les 3 axes et la rotation autour de l’axe vertical.Cette dernière offre la possibilité pour l’utilisateur depercevoir très rapidement tout l'environnement quil’entoure. De telles contraintes sont necessaire afind'éviter que l'utilisateur se "perde" dans cet espace. En-fin, des techniques de gestion de collisions ont étésutilisées pour restreindre son mouvement au volumeinterne du cylindre dans lequel se trouve notre biblio-thèque.

CONCLUSION ET TRAVAUX FUTURSCette première étude sur l’utilisation de nouveaux pé-riphériques d’affichage nous offre de nouvelles op-portunités en termes de visualisation et d’interaction.Parfaitement adaptée au rendu des scènes 3D, ce dispo-sitif doit cependant être compléter sur différents as-pects. Tout d’abord, nous souhaiterions optimiser larelation de l’utilisateur vis à vis des deux écrans.Quelles pourrait être la répartition la plus efficace destâches associées aux différents modes d’affichage ?D’autre part, nous pensons remplacer l’écran plat parun écran tactile. Nous pourrions alors implémenter,grâce à ce dispositif, de nouvelles interactions (feuil-letage d’un livre par exemple). Il serait alors possiblede remplacer la souris traditionnelle par un stylet oupar la main de l’utilisateur. Ce nouveau dispositif ren-forcera le caractère intuitif des interactions puisqu'ellesseront basées sur un vocabulaire gestuel soit déjàconnu de l’utilisateur, soit facilement assimilable [9].Enfin, afin de tirer pleinement profit de l'immersionprocurée par la VisionStation, nous devons proposerde nouvelles fonctionnalités dans l’aspect organisa-tionnel du travail dans la scène 3D. L’immersion pro-curée par ce dispositif permettrait à l’utilisateur des’approprier la topologie de la scène 3D et de transfé-rer naturellement ses connaissance et habitudes organi-sationnelles du monde physique vers cet environne-ment virtuel. La recherche d’information, la visualisa-tion de grandes quantités de données, l’organisation decelles-ci relativement aux besoins et demandes del’utilisateur sont des aspects devant être donc étudiés.

BIBLIOGRAPHIE[1] Baudisch, P., Good, N., and Stewart, P.

Focus Plus Context Screens: Combining DisplayTechnology with Visualization Techniques.In Proceedings of UIST ‘01, Orlando, FL, Novem-bre 2001, pp.31-40.

[2] Chung, A. J.http://www.doc.ic.ac.uk/~ajchung

[3] Cubaud P. , P. Stokowski and A. TopolBinding Browsing and Reading Activities in a3D Digital Library.In Proceedings Joint Conference on Digital Libra-ries 2002, Portland, Oregon, USA, July 14-18,2002.

[4] Cubaud, P., C. Thiria and A. TopolExperimenting a 3D Interface for the Access to aDigital Library.In Proceedings ACM DL, June 23-26, Pittsburgh,PA, USA, 1998.

[5] ElumensThe SPIClops API.Août 2001.

[6] GLUT - OpenGL Utility Toolkithttp://www.opengl.org/resources/libraries/glut.html

[7] Mackinlay, J. D., Heer, J. and Royer, C.WidebandVisual Interfaces: Sensemaking on MultipleMonitors.In Parc Technical Report, 2003.

[8] Muter, P., Maurutto, P.Reading and Skimming from computer screens:the paperless office revisited.In Behavior and Information Technology, 10(4),257-266, 1991.

[9] O’Hara K., Sellen A.A comparison of reading paper and on-line do-cuments.In Proceedings CHI 1997, 1997, pp. 335-342.

[10] Patrick E., Cosgrove D. et al.Using a Large Projection Screen as an Alterna-tive to Head-Mounted Displays for Virtual En-vironments.In Proceedings of the SIGCHI 2000, Avril 2000,pp. 478-485.

[11] Topol, A.Interfaces 3D pour les Bibliothèques Numéri-ques.In Mémoire de D.E.A. Médias et Multimédia duC.N.A.M., Septembre 1998.

[12] Topol, A.Immersion of XWindow applications into a 3Dworkbench.In Proceedings ACM CHI'2000, The Hague, Ne-therlands, Avril, 2000.

[13] Van Dam, A.Escaping flatland in user interface design.In Proceedings of the 1992 symposium on Interac-tive 3D graphics, Cambridge, MA, Etats-Unis,1992.