Aprendizaje por refuerzo para la mejora de calidad de servicio en procesos de codificación de vídeo

Abstract

El aprendizaje por refuerzo es uno de los tres grandes paradigmas de la inteligencia artificial junto al aprendizaje supervisado y al no supervisado. Su uso se ha extendido a lo largo de los años y se ha demostrado su eficacia en áreas como la robótica, el trading financiero o incluso en la simulación de videojuegos. Está enfocado principalmente a problemas de optimización, problemas que normalmente son difíciles de resolver y necesitan de un gran despliegue en recursos humanos y técnicos para encontrar una solución. Es por eso por lo que existe la posibilidad de crear un sistema de aprendizaje artificial como es el del aprendizaje por refuerzo que nos facilita la tarea, abaratando costes y automatizando el proceso. En este trabajo se realizó un estudio sobre el aprendizaje por refuerzo y su aplicación en un ejemplo de uso concreto, la optimización de recursos de un procesador para la ejecución de Kvazaar, un codificador de vídeo de código abierto. La tarea consistió en crear un sistema agente-entorno típico del paradigma de aprendizaje por refuerzo usando las librerías RLLIB, una API que proporciona las herramientas crear agentes de aprendizaje por refuerzo y GYM, una librería para crear entornos. A partir de ahí, se discutieron los resultados de tal modo que se siguiese ajustando el modelo hasta llegar a nuestro objetivo anteriormente mencionado.

Reinforcement learning is one of the three most important artificial intelligence paradigms alongside supervised learning and non-supervised learning. Its use has been growing meaningfully in areas such as robotics, financial trading, or videogames simulation. It is thought towards optimization problems, problems that are usually hard to solve and need lots of computational and human resources. That is why creating a reinforcement learning environment helps saving costs and automate the process. This project is an investigation about the reinforcement learning paradigm and its application on a specific use case, resources optimization of a CPU in Kvazaar’s execution, an open-source video encoder. The main task was to develop an agent-environment system using RLLIB, an API that brings all the needed tools for creating agents and GYM, a library that standardizes environments. From that, results were discussed to adjust the model until getting the objective, the optimization of CPU resources to get the above-mentioned objective.