Reconocimiento de lenguaje Signo-Escritura mediante Deep Learning

Abstract

Este proyecto consiste en la detección de la SignoEscritura mediante técnicas de deep learning. Esta tarea consta de dos partes: la clasificación de los símbolos y su localización dentro de una imagen. Para su realización, en primer lugar se ha construido una red neuronal convolucional (CNN) para la clasificación de los símbolos. Esta CNN se ha desarrollado usando la arquitectura de LeNet5, la cual ha proporcionado resultados satisfactorios. En segundo lugar, se ha llevado a cabo un detector de imágenes que ha combinado las tareas de clasificación y de localización mediante el uso del algoritmo YOLO. Los resultados obtenidos en este segundo punto también han sido prometedores. El código asociado al desarrollo de este proyecto puede encontrarse público en la plataforma GitHub [https://github.com/NILGroup/TFG-1819-SignoEscritura]

This project is based on detecting SignWriting using deep learning. This task is splitted in: classifying the symbols and finding where they are in the image. Our work begins with the construction of a CNN to recognize SignWriting symbols. This CNN was created through the LeNet5 architecture, with good results. Then, we built an object detector which unifies classification and localization of the symbols using the YOLO algorithm. The results of this classifier have also been promising. The code associated with the development of this project can be found public on the GitHub platform [https://github.com/NILGroup/TFG-1819-SignoEscritura]