Implementación de un sistema de seguimiento de personas y reconocimiento de acciones humanas en vídeo mediante aprendizaje profundo.

Abstract

El reconocimiento de la actividad en vídeo ha sido objeto de diversos esfuerzos de investigación, debido a la importancia que podría conllevar su uso en el mundo real. Videovigilancia o robótica son dos ramas muy beneficiadas con los avances en este campo, especialmente en el campo de la robótica las tareas relacionadas con la navegación autónoma o la interacción de los robots con seres humanos. Aunque éstos no serían las únicas aplicaciones, ya que la extracción de información inherente a ciertas situaciones nos llevaría a poder hacer análisis detalladas del comportamiento social humano, abriendo un amplio camino por delante. El objetivo de este proyecto es el de implementar un sistema capaz de detectar, realizar seguimiento y reconocer las acciones realizadas por humanos en vídeos. Destacando especialmente 3 partes diferenciadas en el proyecto: • Detección de personas, desde el punto de vista de la detección de objetos mediante técnicas de aprendizaje profundo, estudiando y usando algoritmos como FasterRCNN y YOLO. • Diseño e implementación de un sistema de rastreo, mediante el uso de algoritmos, como el Filtro de Kalman y el algoritmo Húngaro. • Reconocimiento de acciones humanas, para lo cual se usan las técnicas de aprendizaje profundo con mejores resultados en el reconocimiento de actividades en vídeo, las redes convolucionales i3D y las redes resnet 3D, así como la puesta en práctica de algoritmos de procesamientos de flujos ópticos en vídeo.

The recognition of the video activity has been the subject of various research efforts, due to the importance that its use in the real world could entail. Video surveillance or robotics are two branches that benefit greatly from advances in this field, especially in the field of robotics, tasks related to autonomous navigation or the interaction of robots with human beings. Although these would not be the only applications, since the extraction of information inherent in certain situations would lead us to be able to make detailed analyzes of human social behavior, opening a wide path ahead. The objective of this project is to implement a system capable of detecting, tracking and recognizing the actions carried out by humans in videos. Especially highlighting 3 different parts in the project: • Detection of humans, testing and using algorithms like Faster-RCNN and YOLO. • Design and implementation of a tracking system, through the use of algorithms, such as the Kalman Filter or the Hungarian algorithm, among others. • Recognition of human actions, for which I will use some of the deep learning techniques with better results in the recognition of video activities, i3D convolutional networks and 3D resnet networks, as well as implement different algorithms for processing optical flows in video. Achieving this will also allow me to carry out a comparison of which achieve the best results.