Desarrollo de una aplicación educativa destinada a estudiantes con discapacidades visuales

Abstract

En este proyecto se ha diseñado e implementado una aplicación de aprendizaje dirigida a estudiantes con discapacidades visuales, empleando un chat basado en inteligencia artificial y diversos modelos de Procesamiento del Lenguaje Natural (NLP) para el soporte de la aplicación. Los modelos NLP se clasifican en tres tipos: el modelo de reconocimiento de voz y conversión de audio a texto, el modelo de reconocimiento de documentos a partir de un documento visual, y el modelo de generación de texto a partir de un contexto escrito. La funcionalidad principal radica en un chat generado mediante un modelo de inteligencia artificial y los documentos proporcionados como datos. El objetivo es que, partiendo de un área de conocimiento específica y aportando los documentos correspondientes, se genere un chat en el cual se puedan realizar preguntas específicas sobre los documentos de esa área delimitada. De esta manera, se facilita la toma de apuntes, la búsqueda de conocimientos específicos y la redacción de una memoria para estudiantes con discapacidades visuales. Esta aplicación mejora la accesibilidad y el aprendizaje para estudiantes con y sin discapacidades visuales mediante la integración de modelos NLP, lo que facilita una interacción natural con el contenido educativo y optimiza la experiencia de aprendizaje. Además, incluye un sistema de recordatorios de audio, almacenamiento seguro de documentos y utiliza Firebase [38] para gestionar y guardar información importante. Los modelos utilizados en la aplicación están altamente entrenados y ofrecen soporte en múltiples idiomas, facilitando el acceso a estudiantes de diversas nacionalidades. La implementación de los modelos de Procesamiento del Lenguaje Natural (NLP) se lleva a cabo a través de la comunidad Huggingface [29], mientras que el modelo de chat basado en inteligencia artificial se implementa utilizando los recursos de la comunidad Langchain [45]. Esta integración no solo reduce costos, sino que también simplifica la implementación, asegurando un funcionamiento ininterrumpido de la aplicación.In this project, we have designed and implemented a learning application aimed at students with visual impairments. The application utilizes an AI-based chat system and various Natural Language Processing (NLP) models to support its functionality. The NLP models are categorized into three types: voice recognition and audio-to-text conversion, document recognition from visual documents, and text generation based on written context. The primary functionality of the application is a chat generated by an AI model, which interacts with the documents provided as data. The objective is to enable users to ask specific questions about documents within a particular knowledge area, based on the provided documents. This setup facilitates note-taking, specific knowledge retrieval, and report writing for students with visual impairments. The application enhances accessibility and learning for both visually impaired and sighted students by integrating NLP models that enable natural interaction with educational content and optimize the learning experience. Additional features include an audio reminder system, secure document storage, and the use of Firebase [38] for managing and storing important information. The models utilized in the application are highly trained and support multiple languages, making the application accessible to students from various nationalities. NLP models are implemented through the Hugging Face community [29], while the AI-based chat model is implemented using resources from the Langchain community [45]. This integration not only reduces costs but also simplifies the implementation process, ensuring uninterrupted operation of the application.