Aplicación móvil para facilitar la interpretación de imágenes a personas con discapacidad visual

Abstract

En su día a día, las personas con discapacidad visual se encuentran con la dificultad de poder obtener información de una imagen en su dispositivo móvil. Hay múltiples aplicaciones destinadas a solucionar estos problemas de interpretación de imágenes. La gran mayoría de ellas se enfrentan a importantes obstáculos respecto a funcionamiento y eficacia, ya que no llegan a cubrir necesidades en su totalidad o se centran solamente en una parte del problema sin llegar a ser totalmente útiles para personas con este tipo de discapacidad. Por otro lado, hay problemas que no encuentran solución en el mercado de aplicaciones móviles como el reconocimiento facial de personas en aplicaciones que describan imágenes. Haciendo uso de las tecnologías de descripción de imágenes existentes, se ofrece al usuario la siguiente experiencia de interpretación de una imagen cargada en su dispositivo móvil: - Una primera descripción de la imagen en su totalidad, la cual permite a la persona que la escucha hacerse una idea general de lo que se va a encontrar una vez comience a explorar la imagen. - Seguido de esta primera descripción, se le nombran al usuario los objetos o entidades identificados. - Explorando la imagen mediante toques, el usuario puede ir ubicando cada uno de los objetos de la imagen. Además, se puede recibir una descripción más específica de cada uno de ellos, como por ejemplo género para personas o color para objetos. - Una vez ubicados los objetos o las personas identificadas, el usuario podrá hacer una pulsación larga sobre estos para recibir una descripción detallada de los mismos. En resumen, hemos alcanzado nuestro objetivo de proporcionar más información relevante a través de nuestra aplicación. Logrando agrupar funcionalidades que antes estaban dispersas en distintas aplicaciones. Para comprobar la efectividad de las soluciones desarrolladas realizamos evaluaciones con personas que presentaban diversas discapacidades visuales y pusimos en práctica todas las funcionalidades que desarrollamos. Estas personas pudieron extraer información significativa de las imágenes sin tener conocimiento previo sobre ellas y nuestra implementación les facilitó la interpretación de las imágenes. Además, nos indicaron aspectos que les gustaría que implementáramos en futuras versiones, como mejorar la accesibilidad para que puedan utilizar la aplicación sin ayuda externa y la capacidad de reconocer personas que aparecen con frecuencia en sus galerías de fotos. Todo el contenido de este trabajo está publicado en el siguiente repositorio: https://github.com/NILGroup/TFG-2324-ImagenesCiegosIn their day-to-day, visually impaired people find it difficult to obtain information from an image on their mobile device. There are many applications designed to solve these image interpretation problems. The vast majority of them face significant obstacles in terms of functioning and effectiveness, as they do not cover all needs or focus only on a part of the problem without becoming fully useful for people with this type of disability. On the other hand, there are problems that cannot are not solved in the mobile application market, such as facial recognition of people in applications that describe images. Using existing image description technologies, the user is offered the following experience of interpreting an image loaded on their mobile device: - First, a description of the image in its entirety, which allows the listener to get a general idea of what to find once you begin to explore the image. - Following this first description, the user is named the identified objects or entities. - By tapping the image, the user can locate each of the objects in the image. In addition, you can receive a more specific description of each of them, such as gender for people or color for objects. - Once the objects or persons identified are located, the user will be able to long press on them for a detailed description. To sum up, we have achieved our goal of providing more relevant information through our application. By bringing together functionalities that were previously scattered in different applications. To test the effectiveness of the developed solutions, we carried out evaluations with people with various visual impairments and put into practice all the functionalities we developed. This people were able to extract meaningful information from the images without any prior knowledge about them and our implementation made it easier for them to interpret the images. They also indicated aspects that they would like us to implement in future versions, such as improving accessibility so that they can use the application without external as sistance and the ability to recognise people who appear frequently in their photo galleries. All the content of this work is published in the following repository: https://github.com/NILGroup/TFG-2324-ImagenesCiegos