Automatic SignWriting Recognition

Abstract

Sign languages are viso-gestual languages, using space and movement to convey meaning. To be able to transcribe them, SignWriting uses an iconic system of symbols meaningfully arranged in the page. This two-dimensional system, however, is very different to traditional writing systems, so its automatic processing poses a novel challenge for computational linguistics. We identify as first and fundamental step to overcome this challenge the extraction of a computational representation of the semantics represented by SignWriting transcriptions. We propose a data-based modelization of the problem, construed from real handwritten SignWriting instances. We then propose two solutions involving state of the art machine learning techniques combined with expert analysis. The first solution is direct application of an existing deep neural network. Our second proposal exploits the expert knowledge codified in the data annotation scheme that we present, in order to craft a system that improves on the straight-forward solution's accuracy by 30%. This improved system uses a number of different neural networks to divide the necessary processing, progressively constructing the prediction in an iterative pipeline that combines deep learning and domain knowledge in a mixed solution.

Las lenguas de signos son lenguas viso-gestuales que utilizan el espacio y el movimiento para transmitir significado. Para transcribirlas, la SignoEscritura utiliza un sistema icónico de símbolos distribuidos de manera significativa por la página. Este sistema bidimensional es muy diferente a los sistemas de escritura tradicionales, lo que hace su tratamiento automático un desafío novedoso para la lingüística computacional. Identificamos como paso fundamental para superar este desafío la extracción de una representación computacional de la semántica representada por las transcripciones de SignoEscritura. Proponemos una modelización del problema basada en datos, obtenida a partir de ejemplos reales de SignoEscritura hecha a mano. Asimismo, proponemos dos posibles soluciones, utilizando técnicas del estado del arte de aprendizaje automático combinadas con análisis experto. La primera solución es la aplicación directa de una red neuronal profunda existente, mientras que nuestra segunda propuesta explota el conocimiento experto codificado en la anotación de los datos, anotación que a su vez presentamos, para crear un sistema que mejora la precisión respecto a la primera propuesta en un 30%. Este sistema mejorado utiliza una serie de distintas redes neuronales para dividir el procesamiento necesario, construyendo progresivamente la predicción en un proceso iterativo que combina el aprendizaje profundo con el conocimiento de dominio en una solución mixta.