Diseño de una arquitectura privada para procesamiento y almacenamiento distribuido en cloud

Abstract

Este trabajo de final de grado consiste en el diseño y la preparación de una arquitectura cloud privada para el procesamiento y almacenamiento distribuido de datos La principal idea tras este trabajo es crear un cluster compuesto por 5 computadores, mediante el uso de Kubernetes, que actúen en conjunto para formar un sistema distribuido, siguiendo el modelo de maestro/esclavo, para poder procesar grandes conjuntos de datos. De los cinco equipos será el maestro el encargado de repartir las tareas entre todos los nodos, garantizando el equilibrado de carga. El cluster por su parte implementará los servicios que requieran los usuarios pudiendo añadirlos o quitarlos mediante el uso de Docker y Kubernetes. Inicialmente se configurará el cluster para poder usar dos servicios fundamentales. Para el almacenamiento distribuido se instalará MongoDB y para poder realizar el procesamiento distribuido se instalará Spark. Entre medias Jupyter será el encargado de integrar ambos servicios para completar la arquitectura distribuida. El trabajo pretende mostrar todas las fases que tienen lugar para la correcta implementación del clúster con el objetivo de que pueda ser sencillamente replicado en otras máquinas, por lo que la memoria también pretende ser un manual de instrucciones ante posibles réplicas. Para la correcta implementación de la arquitectura es imprescindible garantizar la privacidad y consistencia del sistema asegurando una alta tolerancia a fallos, al igual que la correcta elaboración de una red privada funcional en la que solo un único nodo, el maestro, tendrá acceso a internet.

Finalmente también se incluirá un servicio de monitorización que facilite todas las tareas de supervisión al administrador del clúster.

This final degree project consists of the design and elaboration of a private cloud architecture for distributed data processing and storage. The main idea behind this work is to create a cluster composed of 5 computers, through the use of Kubernetes, that act together to form a distributed system, following the master/slave model, to be able to process large sets of data. Of the five teams, the master will be in charge of distributing the tasks among all the nodes, making sure that load balancing is happening. The cluster, for its part, will have implemented the services that users require, who will be able to add or remove them through the use of Docker and Kubernetes. Initially the cluster will be configured to host two fundamental services. For distributed storage, MongoDB will be installed and to perform distributed processing, Spark will also be installed. In between, Jupyter will be in charge of integrating both services to complete the distributed architecture. The work aims to show all the phases that take place for the correct implementation of the cluster with the main goal of being easy to replicate on other machines. Due to this the memory is also intended to be a manual of instructions for the possible replicas. For the correct implementation of the architecture it is essential to guarantee the privacy and consistency of the system ensuring high fault tolerance, just as the right development of a functional private network in which only one node, the master, will have access to the internet.

Finally, a monitoring service will also be included so it facilitates all supervising tasks to the cluster administrator.