Vital Emo: el detector de aburrimiento desde una perspectiva de machine learning

Abstract

El aburrimiento es uno de los principales problemas de los entornos educativos del siglo XXI. La sociedad actual está hiperconectada y expuesta a una gran cantidad de estímulos diarios. Esta sobreestimulación cotidiana puede tener un efecto negativo en los estudiantes que se enfrentan a varias horas de clases online (especialmente en el nuevo contexto derivado del COVID 19) en las que experimentan escasez de estímulos, lo que se traduce en aburrimiento y, consecuentemente, en una pérdida de la atención frente al contenido académico. Estudios pasados han demostrado que existen patrones faciales para detectar el interés y el aburrimiento. Los más perceptibles son el ensanchamiento de los párpados, la apertura de los labios y la dirección de la mirada. En cuanto a la postura, encontramos referencias al uso de la mano para sostener la cabeza, mantener una postura recostada u ocultar parte del rostro. Por otro lado, su contraparte, el interés, puede verse reflejado en algunos patrones como mantener la mirada con los ojos ampliamente abiertos, esbozar una sonrisa o mantener una postura erguida. En este Trabajo de Fin de Grado se presenta el desarrollo, la arquitectura y la evaluación de una herramienta llamada VITAL EMO que busca: 1) identificar, a través de una cámara, el aburrimiento en los estudiantes, por medio del entrenamiento de una inteligencia artificial, y 2) alertar al profesor de esta situación, permitiéndole cambiar la metodología o estrategia para volver a captar la atención de los estudiantes. La creación del dataset para entrenar a la IA se llevó a cabo con 12 personas. La participación tuvo lugar de manera telemática, donde cada participante visualizaba un vídeo mientras era grabado y respondía unas preguntas sobre el mismo. Los resultados del estudio muestran que es posible detectar patrones faciales asociados al interés y al aburrimiento como pueden ser la sonrisa, los ojos entrecerrados, la oclusión del rostro o el no estar directamente frente a la cámara, a pesar del tamaño del dataset utilizado. Estos resultados abren el camino a futuras investigaciones que, con dataset mayores, puedan mejorar la eficacia de las IAs que detecten el aburrimiento en los estudiantes online.

Boredom is one of the main problems of 21st-century educational environments. Today’s society is hyperconnected and exposed to a large number of daily stimuli. This daily overstimulation can negatively affect students facing several hours of online classes (especially in the new context derived from COVID-19). Students experience a shortage of stimuli in these classes, resulting in boredom and a shorter attention span. Past studies have shown that specific facial patterns help detect lack of engagement and boredom. The most noticeable are the widening of the eyelids, the opening of the lips, and the gaze direction. As for posture, there are references for boredom indicators for using the hand to support the head, maintaining a reclining posture, or hiding part of the face. Its counterpart, engagement, can be reflected in patterns such as maintaining a wide-eyed gaze, smiling, or maintaining an upright posture. This end-of-degree project presents the development, architecture, and evaluation of a tool called VITAL EMO. Through artificial intelligence (trained with facial patterns), this tool seeks 1) to detect, using a camera, students’ boredom by training an AI and 2) to alert teachers of this situation, allowing them to change their methodology or strategy to reengage the students over the go. The creation of the dataset used to train the AI was carried out with 12 people. The participants joined telematically; each participant was recorded as they watched a video. Despite using a small dataset, the study results show that it is possible to detect facial patterns associated with engagement and boredom, such as smiling, squinting, facial occlusion, or avoiding being directly in front of the camera. These results pave the way for future research to increase the effectiveness of AIs specialized in detecting online students boredom.