Aprendizaje por refuerzo en StarCraft II

Abstract

En este Trabajo Fin de Grado se estudian distintas técnicas de aprendizaje por refuerzo, una rama del aprendizaje automatico que ha demostrado en los últimos años ser una de las opciones mas populares dentro de este ámbito. DeepMind ha aplicado algoritmos de aprendizaje por refuerzo en distintos videojuegos, poniendo de relieve la utilidad de estas aplicaciones para contribuir al avance de la investigación en el campo del aprendizaje automático. En este marco, la finalidad de este trabajo es la aplicación de técnicas de aprendizaje por refuerzo en distintos entornos del videojuego StarCraft II. Las características de este videojuego, en concreto el hecho de que incluye tomas de decisiones a distintos niveles con información parcial del estado del entorno, suponen grandes ventajas a la hora de aplicar técnicas de aprendizaje automático respecto a otros videojuegos. Tras profundizar en el estudio de los algoritmos de aprendizaje por refuerzo QLearning y Deep Q-Learning con objeto de entender su funcionamiento correctamente, ambos algoritmos se han implementado en minijuegos de StarCraft II. Esta aplicación ha consistido en el desarrollo de jugadores automáticos que aprenden varios objetivos enfocados a la toma de decisiones a distintos niveles en videojuegos RTS. Para ello,se ha realizado un estudio sobre las estrategias habituales en estos videojuegos y se ha implementado una arquitectura reutilizable que permite intercambiar los distintos agentes y entornos de manera sencilla. Finalmente, se analizan los resultados obtenidos en los diferentes experimentos realizados y se presentan las conclusiones extraídas a partir de dichos resultados.

In this Bachelor’s Degree Final Proyect, different reinforcement learning techniques are studied, a branch of machine learning that has proven in recent years to be one of the most popular options in this field. DeepMind has applied reinforcement learning algorithms in different videogames, highlighting the usefulness of these applications to contribute to the advancement of research in the field of machine learning. In this framework, the purpose of this work is the application of reinforcement learning techniques in different environments of the StarCraft II videogame. The characteristics of this video game, specifically the fact that it includes decision-making at different levels with partial information about the state of the environment, represent great advantages when applying machine learning techniques compared to other videogames. After delving into the study of Q-Learning and Deep Q-Learning reinforcement learning algorithms in order to correctly understand how they work, both algorithms have been implemented in StarCraft II minigames. This application has consisted of the development of automatic players that learn various objectives focused on decision-making at different levels in RTS video games. To do this, a study has been carried out on the usual strategies in these video games and a reusable architecture has been implemented that allows the different agents and environments to be exchanged easily. Finally, the results obtained in the different experiments carried out are analyzed and the conclusions drawn from these results are presented.