a computer terminal is not some clunky old …percro.sssup.it/marcello/didattica/1_vr.pdfmentre la...

Realtà Virtuale: il passato, il presente, il futuro

"A computer terminal is not some clunky old "A computer terminal is not some clunky old television with a typewriter in front of it. television with a typewriter in front of it.

It is an interface where the mind and body can It is an interface where the mind and body can connect with the universe and connect with the universe and

move bits of it about."move bits of it about."

Douglas AdamsDouglas Adams, , Mostly HarmlessMostly Harmless


Il termine Realtà Virtuale nasce nel 1988, in un’intervista a

Jaron Lanier “A Portrait of the Young Visionary”.

Lanier:

“La VR è una tecnologia usata per sintetizzare una

realtà condivisa. Ricrea la nostra relazione con il

mondo fisico in un nuovo piano. Non influisce sul

mondo soggettivo e non ha niente a che fare

direttamente con ciò che è nel cervello. Ha a che

fare solo con cosa i nostri organi sensoriali

percepiscono.

Nella VR non c’è bisogno di una singola metafora,

come accade per il computer. Siamo abituati a

cambiare contesto nella vita reale: è normale

comportarsi diversamente in luoghi diversi.”

Che cos’è la Realtà Virtuale ?Che cos’è la Realtà Virtuale ?


La Realtà Virtuale (VR) è “faticosamente” definibile…

Withrow: Un’interfaccia umano-computer in cui un computer crea un ambiente immersivo

che risponde interattivamente ed è controllato dal comportamento dell’utente

Dickelman: Un ambiente generato dal computer che simula la realtà in modo che i sensi lo

possano percepire

umsebiz.com: Una simulazione informatica tridimensionale che risponde così realisticamente agli

input da far sembrare di vivere in un altro mondo.

Mavericks of the mind: Una tecnologia interattiva che controlla totalmente gli input sensoriali e crea la

convincente illusione di essere completamente immersi in un mondo generato dal

computer.



Alcune parole chiave:

Withrow: Un’interfaccia umano-computer in cui un computer crea un ambiente immersivo

che risponde interattivamente ed è controllato dal comportamento dell’utente

Dickelman: Un ambiente generato dal computer che simula la realtà in modo che i sensi lo

possano percepire

umsebiz.com: Una simulazione informatica tridimensionale che risponde così realisticamente agli

input da far sembrare di vivere in un altro mondo.

Mavericks of the mind: Una tecnologia interattiva che controlla totalmente gli input sensoriali e crea la

convincente illusione di essere completamente immersi in un mondo generato dal

computer.



ImmersioneImmersione ImmersioneImmersione

SimulazioneSimulazione SimulazioneSimulazione

InterazioneInterazione InterazioneInterazione

PresenzaPresenza PresenzaPresenza

AmbienteAmbiente AmbienteAmbiente

ComputerComputer ComputerComputer

Sensi Sensi

Utente Utente



Definizioni:

Immersività: Il calarsi completamente nel mondo virtuale, a livello sensoriale, tramite

interfacce. Dà una misura della PERCEZIONE del mondo virtuale come esistente.

Presenza: La sensazione mentale di essere in uno spazio virtuale (non necessariamente

sintetico – applicabile anche a libri e film). Dà una misura del COINVOLGIMENTO

dell’utente.

Interazione: La possibilità dell’utente di modificare l’ambiente e, da parte dell’ambiente, di

rispondere alle azioni dell’utente. Dà una misura del REALISMO della simulazione.

Introduce requisiti stringenti sul tempo reale.



Alcuni tipi di realtà virtuale:

VR desktop: Interazione variabile,

immersività di solito scarsa

VR testuale: Può essere anche fortemente

interattiva, ma non immersiva

(es. RPG, MUD etc.)

VR immersiva: Forte sensazione di immersività,

l’interazione dipende fortemente

dalla complessità dell’ambiente



Gli ambienti della Text-based VR sono rappresentati tramite

descrizioni testuali e non grafiche.

Sono comunemente noti come MUD (Multi User Dungeons) e

MOO (MUD Object Oriented).

Per quanto nati come gioco, molti MUD e MOO sono oggi

usati a fini educativi per due motivi fondamentali:

- La creazione del contesto di comunità (permette l’esplorazione di codici sociali, dinamiche di gruppo etc.)

- L’incoraggiamento a lettura e scrittura

Svantaggi: la mancanza di feedback sensoriale li rende

spesso incompleti per alcuni fini educativi.

Realtà Virtuale TestualeRealtà Virtuale Testuale


Poiché le installazioni di VR sono molto costose, spesso si

usa il termine VR in senso più vasto includendo sistemi da

“scrivania”.

Solitamente le interfacce utilizzate sono limitate (perlopiù

mouse, joystick e tastiera) e questo limita la complessità

dell’interazione che, addirittura, può essere quasi nulla. I

risultati sono a volte simulazioni quasi passive di dettaglio

limitato.

Per quanto limitate, queste installazione costituiscono per

molte persone l’unico accesso realisticamente possibile per

applicazioni di VR.

Realtà Virtuale DesktopRealtà Virtuale Desktop


E’ la Realtà Virtuale propriamente detta, in cui tutte le

componenti (Presenza, Immersività e Interazione) sono

presenti, anche se in quantità variabile.

Alcune caratteristiche comunemente disponibili:

- Prospettiva legata ai movimenti della testa

- Visione stereoscopica

- Ambiente virtuale realizzato con proprietà e scala realistiche

- Interazione realistica con l’ambiente tramite interfacce per

la manipolazione, operazione controllo

- Eventuale ritorno auditivo, aptico, e motorio

- Possibilità di condivisione dell’ambiente

Realtà Virtuale ImmersivaRealtà Virtuale Immersiva


La RV NON è la realtà.La RV NON è la realtà.

È in effetti una “connessione” simulata che viene proposta al posto di una

“connessione” reale tra utenti ed eventi reali.

E’ però vero che la realtà che comunemente sperimentiamo è sempre

mediata dal cervello e dal nostro sistema sensoriale. Loomis (1992)

distingue tra mondo fisicofisico e fenomenicofenomenico. Il risultato della mediazione con

il mondo fisico è il mondo fenomenico, che è una costruzione dei nostri

sensi e che è tutto ciò di cui siamo consci.

La nostra coscienza del mondo fisico è dunque indirettaindiretta.

Non è detto che, in futuro, la Realtà Virtuale non possa essere percepita

come realtà alternativa.

“And what exactly is a dream? And what exactly is a joke?”“And what exactly is a dream? And what exactly is a joke?” (Syd Barrett/Pink Floyd, Jugband Blues)(Syd Barrett/Pink Floyd, Jugband Blues)

Che cosa NON è la Realtà Virtuale?Che cosa NON è la Realtà Virtuale?


La RV NON mira a ricostruire la realtà.La RV NON mira a ricostruire la realtà.

Mira piuttosto a convincere un utente di essere nella realtà,

affinchè possa svolgere con naturalezza il compito (tasktask) che

gli è stato assegnato.

L’utente deve pensare che il mondo fenomenico (virtuale) in

cui è immerso mantiene le aspettative di un mondo reale. La

realtà diventa una proprietà del mondo fenomenico.

Il fattore umano diventa un metro di giudizio indispensabile.


"What is 'real'? How do you define 'real'? If you mean what we can

taste, smell, hear and feel then what's 'real' is nothing more than

electrical signals interpreted by your brain."

Morpheus, The Matrix


La RV NON simula la realtà.La RV NON simula la realtà.

Comunemente la RV simula alcuni aspetti della realtà, quelli

più legati al particolare microcosmo relativo al task da

svolgere.

Le pesanti esigenze in termini di tempo di calcolo e potenza

computazionale, si risolvono solitamente in

un’approssimazione di molte delle caratteristiche dell’AV

rispetto al mondo reale.

L’efficacia e il realismo della simulazione vanno validate con

l’ausilio di metriche che ne giudicano l’aderenza al

corrispondente reale, ma solo nel contesto del task.



-- Neo, I imagine you know something about Virtual Reality.Neo, I imagine you know something about Virtual Reality.

-- Essentially, it's a hardware system that uses an apparatus to Essentially, it's a hardware system that uses an apparatus to

make you feel that you are in a computer program. make you feel that you are in a computer program.

-- If the VR apparatus controlled all of your senses, would you be If the VR apparatus controlled all of your senses, would you be

able to tell the difference between the virtual world and the real able to tell the difference between the virtual world and the real

world? world?

-- You might not, no. You might not, no.

-- No, you wouldn't.No, you wouldn't.

[The Matrix [The Matrix -- WACHOSKI 1999] WACHOSKI 1999]

-- A show. Then who am I?A show. Then who am I?

-- You're the star. You're the star.

-- Nothing was real. Nothing was real.

-- Nothing was real. That's what made you so good to watch. Nothing was real. That's what made you so good to watch.

[The Truman Show [The Truman Show –– NICCOL 1998]NICCOL 1998]

Realtà Virtuale e Realtà RealeRealtà Virtuale e Realtà Reale


Realtà Virtuale:Realtà Virtuale:

il passatoil passato


Nel 1956 Morton Heiling inventò un’attrazione chiamata

SENSORAMA, una sorta di simulatore passivo di motociclo.

Il sedile e il manubrio potevano vibrare

e lo schermo visualizzava un filmato

stereoscopico realizzato nel traffico di

Manhattan.

Anche il vento era replicato, ad una

velocità proporzionale a quella del

proprio movimento.

Perfino gli odori dei gas di scarico

venivano presentati nei momenti

appropriati.

Da dove nasce la VR ?Da dove nasce la VR ?


“Al costo di 25 cents, Sensorama offre impressioni multi-

sensoriali di un giro in moto di 10 minuti per New York”

Dal momento che l’esperienza non era

interattiva, non si può ancora parlare

di Realtà Virtuale.

Il Sensorama non fu un gran successo

(“Era forse troppo rivoluzionario per i

suoi tempi”).

Da dove nasce la VR ?Da dove nasce la VR ?


Nel 1969, all’Università dello UTAH, Ivan Sutherland, il padre

della computer grafica, implementò un HMD stereoscopico.

Le immagini erano proiettate due

minuscoli monitor, uno per occhio,

montati su un dispositivo sospeso al

soffitto e fissato alla testa dell’utente

I movimenti della testa erano rilevati

dal dispositivo e inviati al computer

che generava la corretta prospettiva.

Il primo HMDIl primo HMD


Il progetto fu denominato "La spada di

Damocle", dal momento che sopra il casco vi era un così alto

numero di tubi, fili ed attrezzature varie.

Inizialmente, il sistema utilizzava una telecamera

per mostrare immagini nei due display ottici. Poco

dopo venne modificato per mostrare il primo vero

mondo virtuale: l’utente poteva osservare un cubo

in wireframe e, muovendo la testa, vedere i vari

lati dell’oggetto.

Parallelamente nacque il BOOM, un binocolo con

due schermi, montato su un braccio meccanico per

il tracking.

Il primo HMDIl primo HMD


Lo stesso Sutherland si era laureato nel 1962 a Stanford

presentando il sistema Sketchpad, un sistema grafico con il

quale l’utente poteva interagire mediante una penna ottica.

L'idea era ricavata dall'osservazione del

naturale gesto di disegno e quindi dalla

necessità di sfruttare il gesto spontaneo

del disegnatore con uno strumento molto

leggero e flessibile, che si avvicinasse

molto alla penna che era per il normale

strumento di disegno.

Inoltre il Sketchpad permetteva la gestione

parametrica delle entità di disegno perchè

aveva individuato in questa potenzialità

una delle peculiarità più promettenti della

computer grafica.

La nascita dell’interazioneLa nascita dell’interazione


C’erano ormai abbastanza elementi per definire una nuova

entità. Nel 1970 Myron Kreuger coniò il termine Realtà

Artificiale.

“La realtà artificiale consiste nella

partecipazione, con tutto il corpo, agli

eventi del computer, così convincente da

farli accettare come una esperienza reale”

La promessa della realtà artificiale NON è quella

di riprodurre la realtà convenzionale, ma

l’opportunità di creare realtà SINTETICHE per le

quali non ci sono precedenti reali.

La realtà artificialeLa realtà artificiale


Nel 1976 P.J. Kilpatrick, alla UNC, connesse un manipolatore

per teleoperazione ad un semplice ambiente grafico 3d. L’ambiente consisteva in un tavolo ed un oggetto posto di esso, oltre alla

replica grafica del manipolatore. Se l’utente provava a portare la replica

grafica del manipolatore oltre il tavolo, il manipolatore fisico si bloccava

impedendo il movimento. Se l’utente afferrava l’oggetto, ne sentiva il

peso quando lo sollevava. In questo caso il manipolatore impediva di

chiudere le dita, dando la sensazione di aver afferrato l’oggetto.

Il forceIl force--feedbackfeedback


Grafica 3DGrafica 3D

Nel 1977 il MIT realizzò l’Aspen Movie Map, una simulazione

virtuale della città di Aspen, Colorado.

Gli utenti potevano esplorare la città

in tre modalità: inverno, estate,

poligoni. I primi due erano basati su

foto (i ricercatori fotografarono ogni

possibile movimento nelle strade

della città durante le due stagioni)

mentre la terza era un modello 3D. La

tecnologia usata era il videodisc, che

permetteva un accesso non

sequenziale alle immagini in modo da

poter selezionare quella corretta a

seconda del punto di vista.


SensoriSensori

Nel 1979 inventò Polhemus 3SPACE, un sistema di sensori per

rilevare la posizione e l’orientamento assoluti di punti nello

spazio.

Inizialmente concepito per essere

usato insieme ad un HMD, tale

sensore verrà usato anche per molti

altri utilizzi.

Il Polhemus era lontano dall’essere

perfetto e soffriva la presenza di

strutture metalliche. Ciò nonostante

permetteva di sostituire complessi

dispositivi meccanici per la

rilevazione dei 6 DOF necessari nelle

applicazioni di VR.


Interfacce avanzateInterfacce avanzate

Nel 1984 la NASA perfezionò un HMD usato come “cockpit

virtuale” (creato nel ’66) riducendone il costo da $1M a $20K.

All’HMD fu affiancato un sensore

Polhemus a 6-DOF per determinare

posizione e orientazione dell’utente, e

dei guanti (datagloves) che rilevavano la

postura delle mani.

Anche sui polsi furono inseriti dei sensori

6-DOF, in modo che l’utente potesse

selezionare e manipolare gli oggetti

virtuali.

Infine la VPL (di Jaron Lernier) integrò

questo sistema con una workstation

Silicon Graphics per generare ambienti

grafici dettagliati e realistici.


Il CyberspazioIl Cyberspazio

Da tempo la fantascienza aveva intuito le potenzialità degli

strumenti della VR. Ma la VR non era ancora nata…

Uno dei padri morali della VR è consi-

derato Philip K. Dick, con UBIK (1969).

La VR è creata direttamente con stimo-

lazioni sensoriali su corpi in animazione

sospesa (cosa ci ricorda?).

Nel 1984 Gibson scrive Neuromancer e

introduce il Cyberspace, l’insieme delle

informazioni di una rete di computer.

Oggi comunemente si definisce

Cyberspazio il VE che Internet crea con

tutti i servizi e le informazioni da esso

fornite.


“Virtual Reality is conceived of as an expansion of reality, the provision of alternate realities for people in mass in which to share

experiences, and so the types of metaphors that come up are things like cars, travel, different countries, different cultures. For

instance, you might very well have a virtual car that you ride around even though physically you're in one place. It would go through

different territories in Virtual Reality so that you could get around them - or transporter booths, perhaps. So you could have

geographical metaphors. There might very well evolve a new geography, let's say - a fictitious planet with new continents that you

can dive into to find new realities.

In the early Virtual Realities you'll only be able to see the Virtual Reality when you're in it. Later, there will be more sophisticated

ones where you can blend Virtual objects and physical objects so that you can live in a mixed reality for a while and be able to see

your physical environment as if you were wearing sunglasses but also have nonphysical objects mixed in it. That will be a later stage.

We're already developing technology to do that but it's an order of magnitude more complex to pull off.

In Virtual Reality any tool is possible and there will be some wonderful tools. In Virtual Reality your memory can be externalized.

Because your experience is computer-generated, you can simply save it, and so you can play back your old experience anytime from

your own perspective. Given that, you can organize your experience and use your experience, use your externalized memory in itself,

as the basis for what you would call The Finder in the Macintosh. That will be quite a different thing. You can keep whole universes

in your pocket or behind your ear and pull them out and look through them any time. “

Finalmente, la Realtà VirtualeFinalmente, la Realtà Virtuale

Con la fondazione della VPL da parte di Jaron Lernier (1984),

la VR diventa una realtà commerciale: sistemi in cui vengono

integrate le tecnologie descritte in precedenza (guanti e tuta

sensorizzata, HMD, grafica 3d), possono essere venduti a

prezzi abbordabili.

Nel 1989, come detto, lo stesso Lanier in un intervista

(http://www.well.com/user/jaron/vrint.html) individua un nome per

questo set di tecnologie e per l’esperienza ad esse connessa:

nasce la Realtà Virtuale.


RIVELAZIONI (1995, Barry Levinson)

VR e CinemaVR e Cinema

CLIP


NIRVANA (1997, Gabriele Salvatores)


CLIP


IL TREDICESIMO PIANO (1999, Josef Rusnak)


CLIP


MATRIX (1999, Wachoski Bros.)


CLIP



il futuroil futuro


Componenti di

interfaccia: Risoluzione, complessità,

velocità, ingombri: hw da

migliorare ulteriormente

Costi dell’hardware: La VR richiede componenti

costosi e delicati, non alla

portata di tutti.

Perché la VR non è di massa?Perché la VR non è di massa?

Problemi di sicurezza: A volte la VR fa “paura” per le interfacce coinvolte e per la sua invasività.

Inoltre usi prolungati di alcuni dispositivi possono affaticare e provocare

nausea e irritabilità.


E’ più difficile ingannare i sensi: I primi dischi e film erano percepiti come realistici. Oggi siamo più

smaliziati e notiamo ogni incoerenza con la realtà.


Coinvolgimento non totale: Per quanto i maggiori sensi siano stimolati, alcuni stimoli sono ancora

insufficienti o inesistenti (FF su tutto il corpo, ritorno tattile, olfatto,

gusto).


E’ monoutente: Mentre il cinema e la televisione possono essere fruiti da più utenti, la VR è

monoutente (o quasi). Gli AV collaborativi stanno però cambiando questa

tendenza.


Scopi: Nonostante le tante applicazioni, spesso non è ancora ben chiaro dove e

come inserire la VR nella nostra vita e come usarla proficuamente.


Naturalezza dell’interazione: Piena e corretta interpretazione delle azioni: sensori, speech recognition

Realismo delle rappresentazioni: Ritorno realistico su tutti i canali sensoriali e motori. In particolare

affrontare le problematiche di:

- Tatto: utilizzo di interfacce indossabili che forniscano sensazioni tattili

- Movimento: interfacce per la locomozione

- Olfatto: analizzatore e sintetizzatore olfattivo (problemi: tempi di

evacuazione)

- Stimolazione nervosa diretta. Eccitante ma disturbante (soppressione

dell’io ?)

Sfide per il futuroSfide per il futuro



il…corsoil…corso


Programma del corsoProgramma del corso Programma del corsoProgramma del corso

Realtà Virtuale Realtà Virtuale

Storia

Tecnologie

Applicazioni

Tools

11 11

3D Graphics Modellazione

Lighting

Texturing

22 22

Real time rendering Real-time rendering

Scene Graph

RTR techniques

Procedural Modeling

Virtual Humans

33 33

Altri sensoriali Altri canali sensoriali

Audio 3D

Fisica

Haptics

Realtà Aumentata

44 44

Laboratorio

XVR

55 55


Modalità d’esameModalità d’esame Modalità d’esameModalità d’esame

- Progetto in XVR su tema da concordare

- Tesina di approfondimento su tema da concordare

- Orale su porzione del programma


Marcello CarrozzinoMarcello Carrozzino PERCRO PERCRO –– Scuola Superiore Sant’Anna, PisaScuola Superiore Sant’Anna, Pisa

ee--mail: mail: [email protected]@sssup.it

skypeskype:: ee--bowphonebowphone

FacebookFacebook, , TwitterTwitter

Home Home pagepage del corso:del corso:

http://percro.sssup.it/marcello/didatticahttp://percro.sssup.it/marcello/didattica

ContattiContatti ContattiContatti

mailto:[email protected]

a computer terminal is not some clunky old …percro.sssup.it/marcello/didattica/1_vr.pdfmentre la...

Documents