Evaluación del rendimiento de redes neuronales en dispositivos edge mediante el framework NC-SDK

Abstract

In the world of Internet of Things (IoT), edge computing has increased its popularity in recent years. This study describes the Neural Compute Software Development Kit (NCSDK) package, which contains a set of development tools in order to be able to adapt, compile and run inferences from different deep learning models on certain specific devices. This project demonstrates the workflow with the NC-SDK package, highlighting the processes of adapting deep learning models from various implementations, compiling neural networks for execution on the deployment platform, and executing distinct models using the PowerVR GPU. Finally, it is conducted a performance benchmark on different ML categories, such as image classification, object detection and segmentation, and language processing. The obtained results will be compared and analyzed with CPU usage by other frameworks.

En el mundo de Internet de las Cosas (IoT), la computación en el borde se ha vuelto más popular en los últimos años. Este trabajo describe el framework Neural Compute Software Development Kit (NC-SDK), que contiene una serie de herramientas de desarrollo para poder adaptar, compilar y ejecutar inferencias de distintos modelos de aprendizaje profundo en ciertos dispositivos específicos. Este proyecto muestra el flujo de trabajo con el paquete NC-SDK, haciendo hincapié en los procesos de adaptación de modelos de aprendizaje profundo desde distintas implementaciones, compilación de redes neuronales para su ejecución en la plataforma de despliegue, y ejecución de distintos modelos usando la GPU de PowerVR. Finalmente, se realiza una evaluación del rendimiento de distintos modelos de aprendizaje profundo sobre clasificación de imágenes, detección y segmentación de objectos, y procesamiento del lenguaje. Los resultados obtenidos serán comparados y analizados con el uso de CPU por otros frameworks.