Micro-control de unidades en combates de StarCraft

Abstract

Uno de los principales objetivos de la inteligencia artificial es conseguir entidades que actúen de forma autónoma ante diferentes situaciones sin necesidad de que haya un humano detrás decidiendo la siguiente acción. Cuando nos encontramos en un mundo estático e inmóvil, es posible conseguir crear un algoritmo que resuelva los problemas de manera eficaz, pero cuando el mundo en el que nos encontramos varía, pueden surgir nuevos problemas nuevos para los que el algoritmo original no funcione, por lo que necesitamos que nuestra entidad, o bot, aprenda a lidiar con ellos. Un ejemplo de mundo variante puede ser el propio mundo de StarCraft [14], un videojuego de estrategia en el que dispondremos de una base y una serie de unidades que debemos controlar con el objetivo de destruir la base enemiga. En un entorno así, a veces es difícil gestionar las diferentes situaciones para conseguir ganar, por ello, este proyecto tiene como objetivo construir un bot que aprenda a controlar varias unidades y a lidiar con las diferentes situaciones que aparezcan, permitiendo descubrir estrategias para ganar a partir de la experiencia del propio bot. Dado que no siempre sabemos en qué situación nos vamos a encontrar, parece idóneo utilizar el aprendizaje por refuerzo, que permite aprender de un entorno del que inicialmente no se tienen datos a través de la experiencia utilizando como medio un sistema de compensación de las diferentes acciones tomadas en función de sus consecuencias.

One of the main goals in artificial intelligence is to achieve entities that act autonomously against different situations with no need of a human being deciding what to do. In the case in which we are in an immovable and static world, it is possible to code an algorithm that solve problems efficiently, but when we are in a variable world, there may arise new problems to which our algorithm cannot work, in that case, we need our entity to learn to confront those problems. An example of variable world can be the world of StarCraft [14], a strategy game in which we dispose of a base and a serie of units that we must control with the goal of destroying the enemy base. In that kind of environment, it is occasionally difficult to manage the different situations to reach our goal, that’s why the main objective of this project is to code a bot which learn to control groups of units and to confront the different situations, allowing the bot to discover strategies to win the game learning from its own experience. According to the fact that we don’t know in which situations we’ll be, it seems to be ideal to use the reinforcement learning, which allows the bot to learn interacting with the environment from where initially it has no data through experience, using for that task a system of compensation of the different actions carried out in function of its consequences.