![Page 1: Desarrollo de interfaces humanas con Xbox Kinect y Visual Studio 2010](https://reader036.vdocuments.us/reader036/viewer/2022062319/5580b4a9d8b42ac6088b4a38/html5/thumbnails/1.jpg)
Interfaces de usuario naturales con Kinect, C# y Visual Studio 2010
Edgar SánchezLogic Studio
![Page 2: Desarrollo de interfaces humanas con Xbox Kinect y Visual Studio 2010](https://reader036.vdocuments.us/reader036/viewer/2022062319/5580b4a9d8b42ac6088b4a38/html5/thumbnails/2.jpg)
Introducción Diseñada para darte el empujón inicial Se asume que tienes alguna experiencia
en programación API administrada – Los conceptos
funcionan en VB/C# (y también en F# ;-)
![Page 3: Desarrollo de interfaces humanas con Xbox Kinect y Visual Studio 2010](https://reader036.vdocuments.us/reader036/viewer/2022062319/5580b4a9d8b42ac6088b4a38/html5/thumbnails/3.jpg)
Agenda Instalación y uso del sensor Kinect Preparación del ambiente de desarrollo Fundamentos de la cámara Trabajando con datos de profundidad Fundamentos de seguimiento de
esqueletos Fundamentos de audio
![Page 4: Desarrollo de interfaces humanas con Xbox Kinect y Visual Studio 2010](https://reader036.vdocuments.us/reader036/viewer/2022062319/5580b4a9d8b42ac6088b4a38/html5/thumbnails/4.jpg)
Instalación y uso del sensor Kinect
![Page 5: Desarrollo de interfaces humanas con Xbox Kinect y Visual Studio 2010](https://reader036.vdocuments.us/reader036/viewer/2022062319/5580b4a9d8b42ac6088b4a38/html5/thumbnails/5.jpg)
Cámara RGB
Micrófono multi-arreglo Inclinación motorizada
Sensores de profundidad 3D
![Page 6: Desarrollo de interfaces humanas con Xbox Kinect y Visual Studio 2010](https://reader036.vdocuments.us/reader036/viewer/2022062319/5580b4a9d8b42ac6088b4a38/html5/thumbnails/6.jpg)
Cable USB de Kinect
![Page 8: Desarrollo de interfaces humanas con Xbox Kinect y Visual Studio 2010](https://reader036.vdocuments.us/reader036/viewer/2022062319/5580b4a9d8b42ac6088b4a38/html5/thumbnails/8.jpg)
Demos
![Page 9: Desarrollo de interfaces humanas con Xbox Kinect y Visual Studio 2010](https://reader036.vdocuments.us/reader036/viewer/2022062319/5580b4a9d8b42ac6088b4a38/html5/thumbnails/9.jpg)
Preparación del ambiente de desarrollo
![Page 10: Desarrollo de interfaces humanas con Xbox Kinect y Visual Studio 2010](https://reader036.vdocuments.us/reader036/viewer/2022062319/5580b4a9d8b42ac6088b4a38/html5/thumbnails/10.jpg)
Agenda Instalación y uso del sensor Kinect Preparación del ambiente de
desarrollo Fundamentos de la cámara Trabajando con datos de profundidad Fundamentos de seguimiento de
esqueletos Fundamentos de audio
![Page 11: Desarrollo de interfaces humanas con Xbox Kinect y Visual Studio 2010](https://reader036.vdocuments.us/reader036/viewer/2022062319/5580b4a9d8b42ac6088b4a38/html5/thumbnails/11.jpg)
Requisitos de los ejemplos Ejemplos con DirectX
– Microsoft DirectX® SDK - June 2010 o posterior– Runtime actual de Microsoft DirectX® 9
Ejemplos con voz – Microsoft Speech Platform Runtime, version 10.2
(edición x86)– Microsoft Kinect Speech Platform (versión US-English)– Microsoft
Speech Platform - Software Development Kit, version 10.2 (edición x86)
![Page 12: Desarrollo de interfaces humanas con Xbox Kinect y Visual Studio 2010](https://reader036.vdocuments.us/reader036/viewer/2022062319/5580b4a9d8b42ac6088b4a38/html5/thumbnails/12.jpg)
Demos
![Page 13: Desarrollo de interfaces humanas con Xbox Kinect y Visual Studio 2010](https://reader036.vdocuments.us/reader036/viewer/2022062319/5580b4a9d8b42ac6088b4a38/html5/thumbnails/13.jpg)
Fundamentos de la cámara
![Page 14: Desarrollo de interfaces humanas con Xbox Kinect y Visual Studio 2010](https://reader036.vdocuments.us/reader036/viewer/2022062319/5580b4a9d8b42ac6088b4a38/html5/thumbnails/14.jpg)
Instalación y uso del sensor Kinect Preparación del ambiente de desarrollo Fundamentos de la cámara Trabajando con datos de profundidad Fundamentos de seguimiento de esqueletos Fundamentos de audio
Agenda
![Page 15: Desarrollo de interfaces humanas con Xbox Kinect y Visual Studio 2010](https://reader036.vdocuments.us/reader036/viewer/2022062319/5580b4a9d8b42ac6088b4a38/html5/thumbnails/15.jpg)
Datos de la cámara
![Page 16: Desarrollo de interfaces humanas con Xbox Kinect y Visual Studio 2010](https://reader036.vdocuments.us/reader036/viewer/2022062319/5580b4a9d8b42ac6088b4a38/html5/thumbnails/16.jpg)
Zancada (stride)
Zancada - # de bytes de una fila de pixels en memoria a la siguiente
![Page 17: Desarrollo de interfaces humanas con Xbox Kinect y Visual Studio 2010](https://reader036.vdocuments.us/reader036/viewer/2022062319/5580b4a9d8b42ac6088b4a38/html5/thumbnails/17.jpg)
Demos
![Page 18: Desarrollo de interfaces humanas con Xbox Kinect y Visual Studio 2010](https://reader036.vdocuments.us/reader036/viewer/2022062319/5580b4a9d8b42ac6088b4a38/html5/thumbnails/18.jpg)
Trabajando con datos de profundidad
![Page 19: Desarrollo de interfaces humanas con Xbox Kinect y Visual Studio 2010](https://reader036.vdocuments.us/reader036/viewer/2022062319/5580b4a9d8b42ac6088b4a38/html5/thumbnails/19.jpg)
Instalación y uso del sensor Kinect Preparación del ambiente de desarrollo Fundamentos de la cámara Trabajando con datos de profundidad Fundamentos de seguimiento de esqueletos Fundamentos de audio
Agenda
![Page 20: Desarrollo de interfaces humanas con Xbox Kinect y Visual Studio 2010](https://reader036.vdocuments.us/reader036/viewer/2022062319/5580b4a9d8b42ac6088b4a38/html5/thumbnails/20.jpg)
Camera Data
![Page 21: Desarrollo de interfaces humanas con Xbox Kinect y Visual Studio 2010](https://reader036.vdocuments.us/reader036/viewer/2022062319/5580b4a9d8b42ac6088b4a38/html5/thumbnails/21.jpg)
Buffer de bytes de profundidad
ImageFrame.Image.Bits Arreglo de bytes public byte[] Bits; Arreglo– Empieza arriba/izquierda de la imagen– Se mueve de izquierda a derecha, y de arriba a
abajo– Representa la distancia para cada pixel
![Page 22: Desarrollo de interfaces humanas con Xbox Kinect y Visual Studio 2010](https://reader036.vdocuments.us/reader036/viewer/2022062319/5580b4a9d8b42ac6088b4a38/html5/thumbnails/22.jpg)
Calculo de la distancia 2 bytes por pixel (16 bits) Profundidad – Distancia por pixel– Bitshift second byte by 8– Distance (0,0) = (int)(Bits[0] | Bits[1] << 8);
Índice DepthAndPlayer – Incluye el índice del jugador– Desplaz. de bits 3 primer byte (índice de
jugador), 5 segundo byte– Distancia (0,0) =(int)(Bits[0] >> 3 | Bits[1] << 5);
![Page 23: Desarrollo de interfaces humanas con Xbox Kinect y Visual Studio 2010](https://reader036.vdocuments.us/reader036/viewer/2022062319/5580b4a9d8b42ac6088b4a38/html5/thumbnails/23.jpg)
Referencia de profundidad Rango de distancia: 850 mm a 4000
mm Profundidad de 0 significa desconocido– Sombras, baja/alta reflectividad entre
otras razones Índice de jugador– 0 – Sin jugador– 1 – Esqueleto 0– 2 – Esqueleto 1
![Page 24: Desarrollo de interfaces humanas con Xbox Kinect y Visual Studio 2010](https://reader036.vdocuments.us/reader036/viewer/2022062319/5580b4a9d8b42ac6088b4a38/html5/thumbnails/24.jpg)
Demos
![Page 25: Desarrollo de interfaces humanas con Xbox Kinect y Visual Studio 2010](https://reader036.vdocuments.us/reader036/viewer/2022062319/5580b4a9d8b42ac6088b4a38/html5/thumbnails/25.jpg)
Fundamentos de seguimiento de esqueletos
![Page 26: Desarrollo de interfaces humanas con Xbox Kinect y Visual Studio 2010](https://reader036.vdocuments.us/reader036/viewer/2022062319/5580b4a9d8b42ac6088b4a38/html5/thumbnails/26.jpg)
Instalación y uso del sensor Kinect Preparación del ambiente de desarrollo Fundamentos de la cámara Trabajando con datos de profundidad Fundamentos de seguimiento de esqueletos Fundamentos de audio
Agenda
![Page 27: Desarrollo de interfaces humanas con Xbox Kinect y Visual Studio 2010](https://reader036.vdocuments.us/reader036/viewer/2022062319/5580b4a9d8b42ac6088b4a38/html5/thumbnails/27.jpg)
API de esqueletos
![Page 28: Desarrollo de interfaces humanas con Xbox Kinect y Visual Studio 2010](https://reader036.vdocuments.us/reader036/viewer/2022062319/5580b4a9d8b42ac6088b4a38/html5/thumbnails/28.jpg)
Datos de esqueletos
![Page 29: Desarrollo de interfaces humanas con Xbox Kinect y Visual Studio 2010](https://reader036.vdocuments.us/reader036/viewer/2022062319/5580b4a9d8b42ac6088b4a38/html5/thumbnails/29.jpg)
Junturas Máximo dos jugadores detectados a la vez
– Propuestas para seis jugadores Cada jugador con un conjunto de junturas <x, y, z> en
metros Cada juntura tiene un estado asociado
– Tracked, Not tracked, o Inferred Inferred – Junturas ocultas, recortadas o de baja confianza Not Tracked – Inusual, pero el código debe controlar este
estado
![Page 30: Desarrollo de interfaces humanas con Xbox Kinect y Visual Studio 2010](https://reader036.vdocuments.us/reader036/viewer/2022062319/5580b4a9d8b42ac6088b4a38/html5/thumbnails/30.jpg)
Demos