Framework para la extracción automática de firmas de aplicaciones HPC para estimación de energía

Abstract

La reciente expansión de sectores que procesan grandes cantidades de datos (Inteligencia artificial, análisis, banca, etc.) ha elevado en los últimos años el consumo de energía, obretodo en los centros de datos destinados a la computación, pero no solo eso, sino también gastos derivados al mantenimiento de los mismos. En un centro de datos podemos encontrarnos tres tipos principales de consumo energético: Gastos de refrigeración, de cómputo o equipos TI (Tecnología de la Información) e infraestructuras, ordenados según su contribución al propio consumo energético. A pesar de los recientes avances en términos de optimización del consumo de energía, los centros de datos siguen generando un alto consumo de energía. Para mejorar la eficiencia energética se han desarrollado técnicas como power budgeting, power capping ó resource management, asociadas al consumo generado por el sector TI. Estas técnicas necesitan el dato de estimación de energía de las aplicaciones que se van a ejecutar. Las técnicas tradicionales obtienen el dato de consumo energético mediante un profiling dinámico de toda la ejecución de la aplicación. Esto no es asumible en escenarios de High Performance Computing (HPC) debido a que las ejecuciones son muy largas (horas o días). En un trabajo previo se ha desarrollado una metodología capaz de realizar una estimación rápida del consumo de energía para aplicaciones de tipo HPC sin la necesidad de ejecutar toda la aplicación y mediante un proceso automático [1]. En esta metodología se describe la aplicación de un profiling dinámico sobre una versión reducida de la aplicación, la cuál se define en la metodología desarrollada como firma de la aplicación. Por tanto, en este trabajo se ha desarrollado un framework capaz de implementar la metodología de estimación rápida de energía mencionada anteriormente. El framework funciona de forma automática sin la necesidad de interacción por parte del usuario y además, posee funcionalidades secundarias que aportan la información necesaria para poder observar los datos obtenidos durante cada etapa de la metodología. La herramienta se ha validado con aplicaciones reales de tipo HPC, y los resultados obtenidos se han comparado con otros resultados generados previamente de forma manual, con la intención de verificar que el proceso automatizado se realiza correctamente.The recent expansion of areas that process big amounts of data (Artificial Intelligence, data analysis, banks, etc.) has increased the energy consumption over the last years, mainly at the Data Centers focused on data computing, not only that, but it also has increased the expenses associated to the maintenance of the Data Center. There are three different types of energy consumption on a Data Center: Cooling expenses, computing or IT (Information Technology) equipment and infrastructures, ordered decreasingly based on their contribution to the energetic consumption. Despite the recent progress in terms of optimization on energy consumption, there is still a long way to go. To improve the energy efficiency at Data Centers techniques such as power budgeting, power capping or resource management are used. Often, these techniques require the energy consumption of the applications that will run in the Data Center. Traditional techniques retrieves the data of energy consumption by applying a dynamic profiling to the whole execution of the application. This technique is not feasible nor efficient on High Performance Computing (HPC) scenarios due to the large execution times that can even spread out for several days. On a previous work, a methodology has been developed in order to get a fast energy consumption estimation of HPC applications with no demands on complete executions of the application and via an automated process [1]. The methodology describes the procedures to apply a dynamic profiling on a reduced version of the application, which is named on the cited work as application signature. Therefore, in this project we have developed a tool capable of performing a fast energy consumption estimation by following the steps indicated on the methodology from the previous work. The framework is executed automatically, with no user interaction and in addition to that, it has another functionalities that provides the data required to overwatch the steps performed on every module of the framework. The tool is validated with real HPC applications, and the results are compared with another ones previously executed manually, with the purpose of veryfing that the process has been implemented succesfully.