Reinforcement Learning using the Gym Retro platform

Abstract

The Gym Retro framework enables implementation of reinforcement learning in classic video games. In this project we will explore the creation of automatic playing agents that learn to play some of these games using Deep Reinforcement Learning techniques. We will also explore techniques that allow us to intuitively explain the decisions taken by the trained models. All of this is done by first giving an overview of the theory behind the algorithms and tools and then applying them in increasingly complex environments. We start with the CartPole problem, a very basic environment typically used as an introduction to reinforcement learning, and we use both a symbolic and a subsymbolic approach. Once we consider that we have solved that problem, we repeat the process with the Space Invaders Atari environment, which is a much more complex task. Finally, we try to use all the previous knowledge in order to train an AI that plays Space Invaders in its NES version, which is a slightly newer console than the Atari 2600 and should be a small step up. For each of the AIs that learn through vision, we test our RISE-based explainability solution.

La plataforma Gym Retro facilita la aplicación de técnicas de aprendizaje por refuerzo en videojuegos clásicos. En este trabajo exploraremos la creación de jugadores automáticos que aprendan a jugar a alguno de estos juegos usando técnicas de aprendizaje profundo por refuerzo. También investigaremos técnicas que permitan explicar de forma intuitiva las decisiones que toman los modelos entrenados. Todo esto se realizará de la siguiente manera: primero comenzaremos por resumir la teoría detrás de los algoritmos y herramientas a usar, y luego la aplicaremos en entornos incrementalmente complejos. Empezaremos por el problema del CartPole, un entorno muy básico usado típicamente como introducción al aprendizaje por refuerzo. Usaremos una aproximación tanto simbólica como subsimbólica. Una vez consideremos que hemos resuelto ese problema, repetiremos el proceso con el entorno Space Invaders de Atari, una tarea mucho más compleja. Por último, intentamos usar todo el conocimiento previo para entrenar una IA que juega a Space Invaders en su versión de NES, que es una consola ligeramente posterior a la Atari 2600 y representa una pequeña subida en complejidad. Para cada una de las IAs que aprenden por visión, probaremos nuestra solución de explicabilidad basada en RISE.