Dispositivo de interfaz humana (HID) basado en Motion Capture Óptico

Abstract

El proyecto consta de tres etapas: • Primera fase se diseñará e implementará los algoritmos necesarios para capturar la localización de puntos de luz en WebCams comunes y la posterior reconstrucción de las coordenadas tridimensionales de estos puntos en tiempo real, para así obtener un ratón 3D multipuntero que facilite el tratamiento de aplicaciones inherentemente tridimensionales. • Segunda etapa, una vez conseguido la reconstrucción de puntos de luz, se intentará enriquecer el API de este dispositivo posibilitando distintas funciones como Reconocimiento de Gestos, o aumentar la eficacia del proceso de reconstrucción 3D basándolo en esqueletos. • Finalmente se desarrollará un número variable de programas demostrativos que utilicen esta tecnología, como por ejemplo: Selector de Color RGB, Simulación de posicionamiento y dirección de una cámara en un universo 3D, ó Driver de Ratón 2D para Windows. El lenguaje de implementación será C# gracias a su productividad, a la interoperatibilidad con C++ para el desarrollo de Driver, y a la integración con Direct3D y Windows de la plataforma .Net, simplificando el proceso de desarrollo de Servicios de Windows o demos 3D. [ABSTRACT] Our project is developed in three stages: • In the first stage we will design and implement the needed algorithms for capturing light dots with ordinary WebCams, and then reconstruct the 3D coordinates in real time. The result will be a 3D mouse with multi‐point capabilities, giving us a new way of using 3D applications. • On the second stage, once we have captured the 3D information of the points, we will try to enrich the device’s API by allowing new possibilities like Gestures Recognition, or increasing the reliability of the 3D reconstruction algorithm using bones. • Finally, we will develop some demonstrative applications that use our technology, for example: An RGB colour selector, a simulator of camera position and orientation in a 3D universe, or a Mouse Device Driver. We have chosen C# as the implementation language because its productivity, interoperability with C++ for device driver development, and integration with Direct3D and Windows of the .Net platform, simplifying a Windows Service or 3D demos development.