Aprendizaje profundo en IoT: Redes neuronales convolucionales con imágenes aplicadas a un vehículo autónomo

Abstract

En el presente trabajo se realiza un estudio, desarrollo y mejora de un vehículo autónomo de bajo coste usando una cámara y aprendizaje profundo. El vehículo aprenderá de un método de conducción autónoma usando OpenCV. Al mismo tiempo se le hace reaccionar a diferentes señales y eventos que pueda encontrar a su paso. El vehículo se ha montado sobre un proyecto de un vehículo de la marca Sunfounder que usaba sensores de ultra sonidos y detectores de luz inicialmente. Este proyecto ha requerido considerables modificaciones hardware y finalmente no se necesita usarlos. Para ello se parte de la base de una solución que David Tian realizó con otro hardware, adaptándolo a este vehículo y realizando las actualizaciones tanto hardware como software pertinentes. Todo el procesamiento de la red neuronal se realiza en el vehículo usando para ello inferencia en una TPU Coral, y una Raspberry Pi 4a para la computación base. El trabajo se divide en cinco bloques principales. Primero se exponen todas las conclusiones sobre el hardware final y su disposición. A continuación se proporciona el software y la configuración necesaria para el correcto funcionamiento del vehículo. Para continuar se estudia y se adapta la solución de conducción autónoma por OpenCV. En el siguiente punto se trata la conducción autónoma con aprendizaje profundo. Finalmente se añade la detección de objetos y las reacciones del vehículo ante ellos.

The present work makes a study, development and improvement of a low-cost autonomous vehicle using a camera and deep learning. The vehicle will learn an autonomous driving method using OpenCV. At the same time it is made to react to different signals and events that it may encounter in its path. The vehicle has been built on a project of a Sunfounder brand vehicle that used ultra sound sensors and light detectors initially. This project has required considerable hardware modifications and finally does not need to use that sensors anymore. It is based on a solution that David Tian made with other hardware, adapting it to this vehicle and making the relevant hardware and software updates. All neural network processing is done in the vehicle using inference on a Coral TPU, and a Raspberry Pi 4a for base computing. The work is divided into five main blocks. First all the conclusions about the final hardware. The software and settings necessary for the correct operation of the vehicle are provided below. To continue, the autonomous driving solution by OpenCV is studied and adapted. The next point is about autonomous driving with deep learning. Finally, the detection of objects and the reactions of the vehicle to them are added.