Implementación de un ecosistema IoT para el control de la ingesta de calorías mediante mecanismos de aprendizaje profundo

Abstract

El presente trabajo propone una solución inteligente dentro del paradigma IoT (Internet of Things). Se trata de un diseño que clasifica imágenes de alimentos capturadas con la cámara de un dispositivo móvil según el tipo de alimento a la vez que se obtienen las calorías asignadas al mismo con el fin de llevar un control sobre la ingesta de calorías en el tiempo. La solución inteligente se centra en la utilización de dos modelos de redes neuronales convolucionales, concretamente AlexNet y GoogLeNet, que se adaptan y se rediseñan de acuerdo con las especificaciones de la aplicación, más concretamente para la clasificación de diez categorías de alimentos distintas, a partir de los cuales se puede determinar su nivel de calorías. Son modelos pre-entrenados, que se re-entrenan para las imágenes propias en lo que se conoce como transferencia de aprendizaje. Los resultados de la clasificación se envían a ThingSpeak, que es una plataforma remota para almacenamiento de datos y procesamiento en la nube específicamente diseñada para aplicaciones IoT. De esta forma es posible monitorizar la trazabilidad de los datos almacenados, principalmente la ingesta de calorías. La aplicación, basada en distintos componentes de Matlab, consta de un módulo de captura de imágenes a través de la cámara de un dispositivo móvil, que tiene a la vez instalada una aplicación con capacidad de comunicación on-line, tanto con un computador central como con los servicios en la nube de Matlab (Drive) o la mencionada plataforma ThingSpeak, desde donde se pueden enviar alarmas o avisos vía Twitter. Los distintos módulos, convenientemente integrados, constituyen la aplicación en su conjunto, que permite determinar su validez mediante el análisis de los resultados obtenidos.The present project proposes an intelligent solution under the Internet of Things (IoT) paradigm. It is a design which classifies food images captured with the camera of a mobile device according to the type of food while obtaining the calories assigned to it in order to keep track of calorie intake over time. This intelligent solution focuses on the use of two convolutional neural network models, particularly AlexNet and GoogLeNet, which are adapted, redesigned according to the application specifications, those being the classification of ten different categories of food, from which the level of calories can be determined. These are pre-trained models, which are re-trained with images in what is known as transfer learning. The results of the classification are then sent to ThingSpeak, which is a remote platform for data storage and cloud processing specifically designed for IoT applications. Thus, it is possible to monitor the traceability of the stored data, mainly the calorie intake. The application, based on different Matlab components, consists of an image capturing module by using the camera of a mobile device, which also has installed an application with on-line communication capacity, both with a central computer, Matlba’s cloud services (Drive) and the aforementioned ThingSpeak platform, from which alarms or warnings can be sent via Twitter. The different modules, conveniently integrated, constitute the application as a whole, which makes it possible to determine its validity by analyzing the results obtained.