Desarrollo de un clúster heterogéneo de bajo consumo para inferencia sobre redes neuronales

Abstract

Este proyecto plantea el desarrollo de un clúster heterogéneo de bajo consumo energético, para optimizar la ejecución de procesos de inferencia en redes neuronales. El clúster se construye con Raspberry Pi, con un nodo especialmente configurado con un acelerador Google Coral. El objetivo es mejorar la eficiencia de las inferencias neuronales al usar la Unidad de Procesamiento Tensorial (TPU - del inglés Tensor Processing Unit) Google Coral como recurso a disposición del usuario. La administración del clúster se lleva a cabo a través del sistema de gestión de trabajos SLURM, que distribuye y controla las tareas en los distintos nodos. Los sistemas de colas como SLURM, aunque muy útiles, no dan un soporte para el manejo de TPUs, por ello este trabajo aborda su manejo para ponerlo a disposición del usuario. Esto se logró mediante una implementación que permite a SLURM gestionar las TPU como recursos asignables, consiguiendo usarlas de forma concurrente y transparente, logrando así el objetivo del proyecto. El resultado es un clúster que aprovecha la diversidad de recursos disponibles, desde las Raspberry Pi estándar hasta el nodo con acelerador y las TPU. Este enfoque permite una ejecución más rápida y eficiente de las inferencias en redes neuronales. La propuesta busca ayudar con soluciones eficientes en términos energéticos y temporales, contribuyendo al avance en investigación de inteligencia artificial y procesamiento neuronal.This project proposes the development of a low-energy heterogeneous cluster to optimize the execution of inference processes in neural networks. The cluster is built with Raspberry Pi, with a specially configured node equipped with a Google Coral accelerator. The goal is to improve the efficiency of neural inferences by using the Google Coral Tensor Processing Unit (TPU) as a resource available to the user. The cluster management is carried out through the SLURM job management system, which distributes and controls tasks across the various nodes. Queue systems like SLURM, although very useful, do not support handling TPUs. Therefore, this project addresses their management to make them available to the user. This was achieved through an implementation that allows SLURM to manage TPUs as assignable resources, enabling their concurrent and transparent use, thereby achieving the project's objective. The result is a cluster that leverages the diversity of available resources, from standard Raspberry Pi units to the node with an accelerator and TPUs. This approach allows for faster and more efficient execution of inferences in neural networks. The proposal aims to provide efficient solutions in terms of energy and time, contributing to advancements in artificial intelligence research and neural processing.