Aplicación de métodos de Aprendizaje Profundo para reconocimiento de imágenes de platos de comida

Abstract

El presente trabajo tiene como finalidad el desarrollo de una aplicación que permite reconocer, a partir de una imagen y haciendo uso de técnicas de Aprendizaje Profundo diferentes platos de comida. Dentro del contexto del Aprendizaje Profundo, la aplicación utiliza dos modelos de Redes Neuronales Convolucionales, AlexNet y GoogLeNet, para realizar la clasificación de alimentos. Dichos modelos poseen la capacidad de ser adaptados y reentrenados para la identificación de los platos de comida seleccionados, siendo necesario un banco de imágenes por cada plato que queramos que identifique. La aplicación desarrollada para este trabajo permite configurar paramétricamente ambos modelos de redes y realizar el entrenamiento con imágenes. Una vez el modelo esté entrenado, el usuario que desee identificar un plato de comida puede seleccionar una imagen almacenada en su ordenador, o bien realizar una fotografía con la cámara de su smartphone a través de la aplicación de MatLab. De forma complementaria y dentro del paradigma del Internet de las Cosas, la aplicación se conecta a la plataforma ThingSpeak, para que cada vez que se realice una clasificación, se envíe el nombre del plato a la plataforma y haga saltar una acción, que se encarga de la publicación de un tweet con la información del nombre y calorías del plato identificado.

The purpose of this project is the development of an application that allows to recognize, from an image and using Deep Learning techniques, different food dishes. Within the context of Deep Learning, the application makes use of two Convolutional Neural Networks models, AlexNet and GoogLeNet, to classify food. These models can be adapted and retrained to identify selected food dishes, requiring an image bank for each food dish that we want to identify. The application developed for this project allows some parametric configuration for both network models and training them with images. Once the model is trained the user who wants to identify a food dish can select an image stored on the computer or take a picture with the camera on a smartphone through MatLab application. In a complementary way and within Internet of Things paradigm, the application connects to ThingSpeak platform, so each time a classification is made, the name of the dish is sent to the platform and triggers an action, consisting of publishing a tweet with information of the name and calories of the identified dish.