Desarrollo de un sistema de aprendizaje por imitación en Unity para agentes autónomos de videojuegos Arcade

Abstract

En los últimos años, la industria del videojuego ha experimentado grandes cambios impulsados por los avances tecnológicos y las crecientes expectativas de los jugadores. El desarrollo se ha democratizado, y las demandas han pasado de priorizar lo visual a valorar también mecánicas innovadoras y personajes no jugables con comportamientos más creíbles. Tradicionalmente, estos comportamientos se modelan con máquinas de estados o árboles de comportamiento, pero crear conductas complejas sigue siendo un proceso complicado y costoso. En este contexto, parece interesante considerar el Aprendizaje por Imitación, una técnica de Inteligencia Artificial que busca replicar el comportamiento humano observando partidas reales.

Tomando como punto de partida una tesis doctoral previa, este trabajo trata de hacer aún más accesible la creación de agentes inteligentes en videojuegos aprovechando el paradigma del Razonamiento Basado en Casos. Para ello, se desarrolla una herramienta en forma de extensión para Unity que facilita la creación de estos comportamientos imitando el estilo de juego humano. El sistema cuenta con una estructura sencilla de métodos fácilmente comprensibles y adaptables a cualquier videojuego arcade. Gracias a esto, el desarrollador puede crear el modelo de su juego y utilizar el armazón propuesto para conseguir que un agente inteligente aprenda a comportarse según le muestra el propio diseñador.

Se realizan pruebas sobre una implementación del clásico juego Snake para dos jugadores, con el objetivo de validar el sistema propuesto y medir la efectividad del aprendizaje. Estas pruebas consisten en medir el rendimiento de la serpiente controlada por el agente inteligente, midiendo el tiempo que es capaz de mantenerse viva sin chocarse con su rival o con las paredes, así como el número de frutas repartidas por el escenario que es capaz de recolectar.In recent years, the video game industry has undergone significant changes driven by technological advances and the growing expectations of players. Development has been democratized, and the demands have shifted from prioritizing visuals to also valuing innovative mechanics and non-playable characters with more believable behaviors.

Traditionally, these behaviors are modeled using state machines or behavior trees, but creating complex behaviors remains a complicated and costly process. In this context, it is relevant to consider Imitation Learning, an Artificial Intelligence technique that seeks to replicate human behavior by observing real gameplay sessions.

Building on a previous doctoral thesis, this work aims to make the creation of intelligent agents in video games even more accessible by leveraging the Case-Based Reasoning paradigm. To this end, a tool is developed in the form of an extension for Unity that facilitates the creation of these behaviors by imitating the human playstyle. The system has a simple structure with methods that are easily understandable and adaptable to any arcade video game. Thanks to this, developers can model their games and use the proposed framework to enable an intelligent agent to learn how to behave according to what the designer demonstrates.

Tests are carried out on an implementation of the classic two-player game Snake, with the aim of validating the proposed system and measuring the effectiveness of the learning. These tests involve measuring the performance of the snake controlled by the intelligent agent, assessing how long it can stay alive without colliding with its rival or the walls, as well as the number of fruits scattered throughout the scenario that it is able to collect.