Desarrollo de un sistema de ayuda visual inteligente basado en smart glasses para personas con baja visión

Abstract

La baja visión es una deficiencia significativa de la capacidad visual que afecta tanto la agudeza visual como el campo visual, y que no mejora con tratamiento convencional. Diversos estudios proyectan un aumento moderado en el número de personas que padecerán baja visión en los próximos años. Las ayudas tradicionales no tecnológicas para baja visión, como prismas, gafas de aumento, telescopios o lupas, pueden distorsionar y producir saltos en la imagen. Tras un estudio exhaustivo sobre la baja visión y las soluciones tecnológicas basadas en dispositivos montados en la cabeza, como las smart glasses, se concluye que estas soluciones deben ser multifuncionales. Es decir, deben ser óptimas tanto en situaciones estáticas como en movimiento, y proporcionar una adecuada agudeza visual tanto para visión lejana como cercana, entre otros aspectos. Otro hallazgo relevante es que las soluciones deben ser personalizables, ya que los estudios afirman que, aunque dos personas tengan la misma patología, cada condición visual es diferente. Un aspecto clave es el diseño de los dispositivos montados en la cabeza, ya que, aunque la solución sea efectiva y útil, muchos pacientes deciden no emplearla debido a la estigmatización social que se deriva de llevar dispositivos aparatosos y poco discretos. Sobre la interacción de los pacientes con la ayuda existen menos estudios pero es un aspecto crucial dadas sus limitaciones visuales. En este trabajo se desarrolla un sistema IoT basado en smart glasses y una aplicación Android como ayuda para la baja visión. El sistema permite la interacción mediante gestos empleando modelos de inteligencia artificial personalizados con datos recogidos con la propia aplicación, para ajustar parámetros como brillo y zoom de la imagen proyectada en las smart glasses en tiempo real. El sistema permite guardar estos parámetros personalizados en un servidor en la nube y recuperarlos en tiempo real para su aplicación automática. Además, el sistema implementa una funcionalidad que describe los objetos visibles a través de las smart glasses. También incluye un módulo que envía los datos de los sensores de las smart glasses a un servidor, desde donde pueden ser analizados. En conclusión, este proyecto demuestra el potencial del IoT combinado con smart glasses y el desarrollo de una aplicación, creando una ayuda visual, recopilando datos y aplicando inteligencia artificial. Este proyecto establece las bases para evolucionar hacia una plataforma Health-IoT donde un especialista en baja visión pueda monitorear la ayuda visual, analizar datos, programar rutinas de rehabilitación y crear modelos de inteligencia artificial personalizados.Low vision is a significant deficiency in visual capacity that affects both visual acuity and the visual field, and does not improve with conventional treatment. Various studies project a moderate increase in the number of people who will experience low vision in thecoming years. Traditional non-technological aids for low vision, such as prisms, magnifying glasses, telescopes, or handheld magnifiers, can distort images and cause visual jumps. After an exhaustive study on low vision and technological solutions based on headmounted devices, such as smart glasses, it is concluded that these solutions must be multifunctional. That is, they should be effective in both static and dynamic situations and provide adequate visual acuity for both near and far vision, among other aspects. Another relevant finding is that these solutions need to be customizable, as studies indicate that even if two people have the same condition, each visual impairment is different. A key aspect is the design of head-mounted devices, as many patients choose not to use them despite their effectiveness and usefulness due to the social stigma associated with wearing bulky and conspicuous devices. There are fewer studies on patient interaction with these aids, but this is a crucial aspect given their visual limitations. This work develops an IoT system based on smart glasses and an Android application as an aid for low vision. The system enables interaction through gestures by using artificial intelligence models personalized with data collected by the application itself, allowing adjustments to parameters such as brightness and zoom of the image projected in the smart glasses in real-time. The system allows these personalized parameters to be stored on a cloud server and retrieved in real-time for automatic application. Additionally, the system implements a functionality that describes visible objects through the smart glasses. It also includes a module that sends the smart glasses’ sensor data to a server, where it can be analyzed. In conclusion, this project demonstrates the potential of IoT combined with smart glasses and application development, creating a visual aid, collecting data, and applying artificial intelligence. This project lays the foundation for evolving into a Health-IoT platform where a low vision specialist can monitor the visual aid, analyze data, program rehabilitation routines, and create personalized artificial intelligence models.