García Sevilla, Antonio FernandoDíaz Esteban, AlbertoLahoz Bengoechea, José María2023-06-152023-06-152023-02-03Sevilla, A. F. G., Díaz Esteban, A., & Lahoz-Bengoechea, J. M. (2023). Automatic SignWriting recognition: Combining machine learning and expert knowledge to solve a novel problem. IEEE Access, 11, 13211-13222. https://doi.org/10.1109/ACCESS.2023.3242202169-353610.1109/ACCESS.2023.3242203https://hdl.handle.net/20.500.14352/169.1Este artículo forma parte de la tesis por compendio de Antonio F. G. Sevilla, titulada "Tratamiento Computacional de Lengua de Signos Española y SignoEscritura", dirigida por Alberto Díaz Esteban y defendida el 2023-12-12 con una calificación de Sobresaliente cum laudeSign languages are viso-gestual languages, using space and movement to convey meaning. To be able to transcribe them, SignWriting uses an iconic system of symbols meaningfully arranged in the page. This two-dimensional system, however, is very different to traditional writing systems, so its automatic processing poses a novel challenge for computational linguistics. In this article, we present a novel problem for the state of the art in artificial intelligence: automatic SignWriting recognition. We examine the problem, model the underlying data domain, and present a first solution in the form of an expert system that exploits the domain knowledge encoded in the data modelization. This system uses an adaptable pipeline of neural networks and deterministic processing, overcoming the challenges posed by the novelty and originality of the problem. Thanks to our data modelization, it improves the accuracy compared to a straight-forward deep learning approach by 17%. All of our data and code are publicly available, and our approach may be useful not only for SignWriting processing but also for other similar graphical data.Las lenguas de signos son idiomas viso-gestuales que utilizan el espacio y el movimiento para transmitir significado. Para transcribirlas, la SignoEscritura utiliza un sistema icónico de símbolos distribuidos de manera significativa por la página. Este sistema bidimensional es muy diferente a los sistemas de escritura tradicionales, lo que convierte su tratamiento automático en un desafío novedoso para la lingüística computacional. En este artículo presentamos un problema nuevo para el estado del arte en inteligencia artificial: reconocimiento automático de la SignoEscritura. Examinamos el problema, modelamos el dominio de datos subyacente y presentamos una primera solución, un sistema experto que explota el conocimiento del dominio codificado en la modelización de los datos. Este sistema utiliza un pipeline adaptable de redes neuronales y procesamiento por reglas para superar el reto que plantea la novedad y originalidad de el problema. Gracias a nuestra modelización de datos, mejoramos en un 17% la precisión de reconocimiento en comparación con una aplicación directa de aprendizaje profundo. Todos nuestros datos y códigos están disponibles públicamente, y nuestro enfoque puede ser útil no solo para el procesamiento de SignoEscritura, sino también para otros dominios de datos gráficos similares.engAtribución 3.0 Españajournal articlehttps://ieeexplore.ieee.org/document/10035941open accessComputer visiondeep learningexpert knowledgeneural networkssign languageSignWritingLengua de SignosSignoEscrituraAprendizaje ProfundoConocimiento ExpertoRedes NeuronalesVisión ArtificialInteligencia artificial (Informática)Sistemas expertosInformática (Filología)Lingüística1203.04 Inteligencia Artificial5701 Lingüística aplicada