Aceleración de la fase de inferencia en redes neuronales profundas con dispositivos de bajo coste y consumo

Abstract

Este trabajo profundiza en el ámbito del Deep Learning o aprendizaje profundo. Analizaremos el estado del arte y nos centraremos en las tecnologías de aceleración de la fase de inferencia con dispositivos de bajo coste. Para ello, se ha realizado una aplicación de reconocimiento facial en vídeo sobre el que se han tomado medidas de consumo, rendimiento y escalabilidad. Para el despliegue de la aplicación, se han utilizado dos modelos distintos de red neuronal basados en Tensorflow, el Intel© OpenVINO™ Toolkit y los dispositivos Intel© Neural Compute Stick 2 para la aceleración de la inferencia. Con todo ello, se ha podido comprobar la utilidad de los dispositivos NCS2 para la aceleración de la fase de inferencia consiguiendo tiempos cercanos al real-time y mejorando el rendimiento de la red neuronal en escenarios de alta demanda.

This paper deepens in the study of the acceleration of the inference phase using lowcost and low-powered devices. We we will analyze the state of the art and we will focus on the inference acceleration technologies used over embedded systems. For this purpose, a video face recognition application has been developed and measurements of consumption, performance and scalability have been taken. In order to deploy this application, two different Tensorflow-based CNNs have been used, optimized and deployed using the Intel© OpenVINO™ Toolkit and various Intel© Neural Compute Stick 2. With this, the usefulness of these kind of devices could be proven in order to accelerate the inferences of a general, not ad-hoc CNN, achieving promising frame rates in almost real time restrictions and increasing the performance in demanding situations.