Building the VisSE Corpus of Spanish SignWriting

Abstract

SignWriting is a system for transcribing sign languages, using iconic depictions of the hands and other body parts, as well as exploiting the possibilities of the page as a two dimensional medium to capture the three-dimensional nature of signs. This goes beyond the usual line-oriented nature of oral writing systems, and thus requires a different approach to its processing. In this article we present a corpus of handwritten SignWriting, a collection of images which transcribe signs from Spanish Sign Language. We explain the annotation schema we have devised, and the decisions which have been necessary to deal with the challenges that both sign language and SignWriting present. These challenges include the transformational nature of symbols in SignWriting, which can rotate and otherwise transform to convey meaning, as well as how to properly codify location, a fundamental part of SignWriting which is completely different to oral writing systems. The data in the corpus is fully annotated, and can serve as a tool for computational training and evaluation of algorithms, as well as provide a window into the nature of SignWriting and the distribution of its features across a real vocabulary. The corpus is freely available online at https://zenodo.org/record/6337885.

La SignoEscritura es un sistema para transcribir las lenguas de signos usando representaciones icónicas de las manos y otras partes del cuerpo, así como explotando las posibilidades de la página como un medio bidimensional para capturar la naturaleza tridimensional de los signos. Esto va más allá de la naturaleza habitual de los sistemas de escritura oral, formados por líneas, y por tanto requiere un enfoque diferente para su procesamiento. En este artículo presentamos un corpus de SignoEscritura manuscrita: una colección de imágenes que transcriben signos de la Lengua de Signos Española. Explicamos el esquema de anotación que hemos ideado, y las decisiones que han sido necesarias para hacer frente a los retos que presentan tanto la lengua de signos como la SignoEscritura. Estos desafíos incluyen la naturaleza mutable de los símbolos en SignoEscritura, que pueden rotarse y transformarse para transmitir significados concretos, o cómo codificar correctamente la ubicación, una parte fundamental de la SignoEscritura que es completamente diferente a los sistemas de escritura oral. Los datos del corpus están completamente anotados, y pueden servir como herramienta para el entrenamiento computacional y la evaluación de algoritmos, así como para proporcionar una ventana a la naturaleza de la SignoEscritura y la distribución de sus funciones en un vocabulario real. El corpus está disponible libremente en línea en https://zenodo.org/record/6337885.