Interaction Design

Master in Computer Game Dev* *Questa presentazione contiene diversi contributi forniti da studenti del master degli scorsi anni come: Alba, Bertolino, Ventilii, Pizzolato.

Strumenti tecnologici

• Per costruire sistemi in grado di mettere in pratica l’idea del ‘pervasive’-media occorrono strumenti tecnologici hardware-software adeguati

• Strumenti tecnologici:

– Dispositivi HW

– SW che implementano tecniche di CV e PR

– Infrastrutture HW e SW

– Protocolli di comunicazione e networking

Strumenti tecnologici

• Giusto per citerne alcuni.....

wifi, www, socialnetwork, QR code, RFID, GPS, GoogleMap,

StreatView, dispositivi testuali e sistemi di riconoscimento del testo,

strumenti touch screen, tabletPC, data glove, eyegaze, dispositivi

olografici, HMD, optical see thorough, video-based, CAVE, work

banch, TOF cameras, stereo cameras, ....

Wifi

• Il termine Wi-Fi indica il protocollo e i relativi dispositivi che consentono a terminali di utenza di collegarsi tra loro attraverso una rete locale in maniera wireless (WLAN) basandosi sulle specifiche dello standard IEEE 802.11.

• A sua volta la rete locale così ottenuta può essere interallacciata alla rete Internet tramite un router ed usufruire di tutti i servizi di connettività relativi.

GPS

• Il Sistema di Posizionamento Globale è un sistema di posizionamento e navigazione che, attraverso una rete dedicata di satelliti artificiali in orbita, fornisce ad un ricevente le informazioni sulle sue coordinate geografiche ovunque sulla Terra

• E’ gestito dagli USA, ci sono in programma anche per altri paesi (EU, Cina, Russia, India)

GPS

• Vengono interrogati almeno quattro satelliti del sistema, tramite la trasmissione di un segnale radio da parte di ciascun satellite . La posizione viene stimata dall'elaborazione dei segnali ricevuti da parte del ricevitore (i.e., triangolazione)

• Si raggiunge una precisione nell’ordine del metro (da 1 a 10 m, dipende da vari fattori)

Location-based service

• Grazie alla disponibilità dei dispositivi GPS è possibile organizzare servizi basati sulla stima della locazione geografica dell’utente

• Es. – Suggerire un evento in un certo luogo

– Richiedere il servizio più vicino (es. Bust stop)

– Localizzare persone presenti nei paraggi

– Ricevere informazioni su deviazioni del traffico

– Svilluppare sistemi di proximity marketing

Google Map

• Google Maps (nome precedente Google Local) è un servizio accessibile dal relativo sito web che consente la ricerca e la visualizzazione di mappe geografiche di buona parte della Terra

https://maps.google.it/

Google map

• E’ possibile anche ricercare servizi in particolari luoghi, tra cui ristoranti, monumenti, negozi, trovare un possibile percorso stradale tra due punti e visualizzare foto satellitari di molte zone con diversi gradi di dettaglio

• E’ interessante da abbinare al GPS

Google Street View

• Google Street View è una caratteristica di Google Maps e Google Earth che fornisce viste panoramiche a 360° gradi in orizzontale e a 290º in verticale lungo le strade (a distanza di 10-20 metri l'una dall'altra) e permette agli utenti di vedere parti di varie città del mondo a livello del terreno.

Codice QR

• Un Codice QR è un codice a barre bidimensionale composto da moduli neri disposti all'interno di uno schema di forma quadrata. Viene impiegato per memorizzare informazioni generalmente destinate ad essere lette tramite un smartphone.

• In un solo crittogramma sono contenuti 7.089 caratteri numerici o 4.296 alfanumerici.

• Il nome QR è l'abbreviazione dell'inglese quick response

Codice QR

• In pratica il QR codifica un indirizzo web a cui accedere

• In senso metaforico rappresenta una porta d’ingresso al Cyberspace

RFID

• Il termine Rfid significa identificazione a radiofrequenza (i.e, Radio Frequency Identification), si riferisce a un insieme di sistemi che permettono di identificare gli oggetti in modo automatico

• L’identificazione avviene usando un’antenna per leggere un chip digitale (chiamato tag, o transponder) che è stato applicato sull’oggetto

Optical Character Recognition (OCR)

• Strumento che consente di trasformare una bitmap in testo

• Fonts differenti possono creare problemi per algoritmi semplici basati sul template matching

• Esistono sistemi più complessi:

– segmentazione del testo

– scomposizione in linee e archi

– decifrazione dei caratteri

OCR

• Si possono riconoscere anche i caratteri scritti a mano

• Il testo scritto a mano può essere inserito nel computer, utilizzando una penna e una digitising tablet

• acquisizione in modo naturale di tutte le informazioni utili: percorso dello stroke , pressione etc.

• segmentazione ed interpretazione dello scritto in singole lettere;

• trattare con diversi stili di scrittura

Riconoscimento del parlato

• Sistema promettente sia come riconoscimento di comandi vocali che come “speech-to-text”

• funziona meglio in particolari situazioni utente unico, vocabolario ristretto

• Problemi:

– interferenza del rumore esterno

– imprecisioni nella pronuncia

– accenti

Software per sintesi e riconoscimento del parlato

Binary Domain

• riesce a trasformare la voce del videogiocatore in comandi da impartire ai propri compagni di squadra

• utilizza le librerie SpeechFX • All’interno del gioco è possibile

anche rispondere alle domande dei propri compagni di squadra con brevi parole quali, «si», «no», «certo», «assolutamente», …

Binary Domain

http://www.speechfxinc.com/ - Sito di SpeechFX

Dispositivi touch-screen

• dispositivo di puntamento a manipolazione diretta : rileva la presenza di dita sullo schermo

• veloce non richiede un puntatore specifico

• adatto all’uso in ambienti ostili (sporchi…)

• le dita sono uno strumento di puntamento impreciso

• tenere il braccio sollevato può risultare faticoso

Es: microsoft surface 2.0

http://www.microsoft.com/surface/en/us/default.aspx

Es: I-Pad

Dataglove

• rileva angoli e posizione 3-D della mano

• Può trasmettere il force-feedback

• facile da usare , potenzialmente potente e espressiva

• Invasivo nell’uso, costoso

• Potenziali utilizzi: gesture recognition, sistemi immersivi, training

Eyegaze

• rileva movimenti dell’occhio per controllare il cursore e per monitorare l’interazione: veloce, accurato

BCI device

• I dispositivi Brain Computer Interface permettono di guidare l’interazione attraverso segnali cerebrali

• Es. Mindwave

BCI device

MindWave - http://www.neurosky.com/

Dispositivi di uscita alternativi

• Visivi:

– rappresentazioni analogiche: quadranti (dial ), indicatori di misura (gauge ), luci etc.

– head-up display : negli abitacoli degli aerei

Dispositivi olografici

CRS4 Visual Computing, http://www.crs4.it/vic/

Head Mounted Display

• Piccoli display montati sulla testa, completamente immersivi, hanno bisogno di un tracker per tracciare la posizione e l’orientazione della testa.

Optical see through

• Combinatori ottici parzialmente trasparenti sono posti di fronte agli occhi, permettono di vedere in essi il riflesso di immagini virtuali rappresentate su

piccoli display

Video based

• Fa uso di piccole video-camere per catturare la visione del mondo reale che sarebbe vista dagli occhi. Le immagini reali sono combinate con quelle virtuali, create dal computer, per creare immaginidi AR che vengono visualizzate su un classico HMD (non see-through)

HMD per Ps3

• http://www.sony.it/product/personal-3d-viewer/hmz-t2#tab –

• Sito Sony HMZ-T2

Interaction Design 34

Oculus

• http://www.oculusvr.com/

Cave Automatic Virtual Environment

• Sistemi basati sulla proizione: proiezione diretta o con retro-proizione, l’utente è completamente circondato da immagini proiettate su grandi schermi. Crea un senso di elevata immersione

CAVE

http://www.youtube.com/watch?v=-Sf6bJjwSCE

CAVE applicazioni

• evaluation of engineering designs (virtual prototyping)

• driving simulators

• training for dangerous situations and other scenarios

• molecular modeling

• virtual reconstruction of archeological sites

• medical and biological visualization

• artistic expression of ideas, and more

CAVE applicazioni

Ultimate Battlefield 3 Simulator

http://www.youtube.com/watch?v=LPXICaVdutc

Workbanch

• Banchi di lavoro: schermi piatti che presentano immagini in modalita’ stereo. Possono essere montati anche in orizzontale. Immersione parziale, alto senso di presenza dell’oggetto

Sensori Range

• I sensori range sono in grado di catturare la profondità delle immagini

– Producono depth map o range image (chiaro=vicino)

Depth from stereo

• Data una coppia di immagini di una stessa scena da due punti di vista leggermente differenti (destro e sinistro) si ricava la mappa di disparità che è in relazione con la profondità della scena

Left Right Disparità

Depth from stereo

• Catturando un flusso video per canale è possibile effettuare l'elaborazione stereo in real-time

VIDERE http://www.videredesign.com

Time of flight camera

• Le TOF camera catturano le informazioni tridimensionali lanciando un array di segnali sulla scena ed applicando il principio del tempo di volo per calcolare la profondità

Kinect

• Proposto per videogiochi, ora è uno strumento generico per gestire l’interazione:

– Interazione gesturale

• Full body

• Mano

– Interazione vocale

– Interazione facciale

Social Media

• Social media è un termine generico che indica tecnologie e pratiche online che le persone adottano per condividere contenuti testuali, immagini, video e audio

• I social media rappresentano fondamentalmente un cambiamento nel modo in cui la gente apprende, legge e condivide informazioni e contenuti

• Trasforma le persone comuni da fruitori di contenuti ad editori

Social Media

Take home message

• Ora si hanno a disposizione svariati strumenti tecnologici da cui si può attingere per progettare sistemi di comunicazione multimediale o ‘pervasive-mediale

• Questi strumenti sono progettati anche per essere integrati tra di loro (es. Google map + GPS, o HDM + dataglove)

Rispetto alla progettazione...

• I progettisti di interfacce assumono di avere a disposizione processori a velocità infinita, creando interfacce sempre più complicate;

• Se il processore è troppo lento il sistema non riesce a rispondere a tutti gli input in tempo:

• overshooting : il sistema ha memorizzato in un buffer le battiture;

Rispetto alla progettazione...

• icon wars : l’utente clicca su una finestra e non succede niente, allora clicca su un’altra, e quando il sistema risponde le finestre si attivano ovunque

• Se il processore è troppo veloce:

• documenti e schermate di help che scorrono troppo veloci per riuscire a leggere

Limiti da considerare

• Limiti computazionali (computation bound ):

• il tempo perso in attesa di una computazione causa frustrazione all’utente

• Limiti del canale di memorizzazione (storage channel bound ):

• il trasferimento di dati dal disco rigido alla memoria può provocare un collo di bottiglia

Limiti da considerare

• Limiti della Grafica (graphics bound ):

• il refresh del display può richiedere molto tempo

• Limiti della rete (network capacity ):

• l’utilizzo di risorse di rete provoca una riduzione della performance dell’interfaccia se la rete risulta essere troppo lenta

Considerazione conclusive

• L' interfaccia (ie., l’architettura) deve :

– evitare il disorientamento dell'utente;

– permettere il controllo del processo;

– garantire qualità e comunicabilità dei risultati;

– garantire l'evoluzione del sistema;

– permettere la gestione integrata di tutte le attività che richiedono l'utilizzo di un documento;

– adattare l'interfaccia alla crescente abilità dell'utente.