Aprendizaje por refuerzo para gestión de consumo ajustando la frecuencia de ejecución en multicores

Abstract

El trabajo plantea el uso de técnicas de aprendizaje reforzado para controlar el consumo energético del procesador mediante la modificación de las frecuencias de ejecución. Partiendo de métodos de aprendizaje cuya efectividad ya ha sido demostrada, estos se han aplicado al problema consiguiendo resultados satisfactorios. Se han entrenado agentes en entornos con distintas propiedades que han aprendido a aplicar las subidas o bajadas de frecuencia apropiadas que hacen converger al sistema al límite energético elegido. Además, se ha probado el mantenimiento de la funcionalidad de los agentes aplicados a distintas cargas de trabajo.

This work proposes the use of Reinforcement Language techniques to take control of the energetic consumption of a processor through changes in its execution frequencies. On the basis of learning methods whose effectivity has already been proved, these have been used on the problem achieving successful results. Agents have been trained over environments with different configurations and they have learned to apply the suitable frequency raises or drops to make the system converge towards the chosen energetic limit. Besides, the functionality of these agents has been shown to be conserved, even when applied to different workloads.