UI navigation based on image recognition and task planning

Abstract

A user’s first impression of any kind of software is always tied to a functioning User Interface (UI), that does not break their User Experience (UX). As such, testing this side of the software is essential for the success of any developer’s application. One of the most important parts of the UI is the navigation. A proper testing of this functionality requires assuring that all parts of the UI are accessible and communicate to the intended menus/submenus. This work is a very tedious and time-consuming part of testing the software, specially if it is made manually by the developer. With this in mind, a tool has been made that, employing both an UI and a AI task planner based on these results, lets the developer create custom UI test cases to verify that the designed UI is working correctly. With this in mind, a tool has been created that allows developers to create test cases to verify that an user interface works as intended, using a categorization of the elements on the screen obtained via image recognition, and a task scheduler that utilizes this information to automatically navigate through the aforementioned interface.

La primera impresión de cualquier software para un usuario siempre está ligada a una interfaz de usuario funcional, que no interrumpa su experiencia de usuario. Por lo tanto, probar esta parte del software es esencial para el éxito de la aplicación de cualquier desarrollador. Una de las partes más importantes de la interfaz de usuario es la navegación. Una prueba adecuada de esta funcionalidad requiere garantizar que todas las partes de la interfaz sean accesibles y se comuniquen con los menús/submenús previstos. Este trabajo es muy tedioso y requiere mucho tiempo de testing, especialmente si el desarrollador lo realiza manualmente. Con esto en mente, se ha creado una herramienta que permite a los desarrolladores crear casos de prueba para verificar que una interfaz funciona correctamente, utilizando una categorización de los elementos en pantalla mediante reconocimiento de imagen, y un planificador de tareas que usa esta información para poder navegar automáticamente por dicha interfaz.