Predicción de series temporales con k-NN sobre Spark

Abstract

Este trabajo ha tenido como objetivo la implementación de un algoritmo de predicción k-NN para series temporales, haciendo uso del paradigma de procesamiento distribuido Spark, con el fin conseguir una solución Big Data. Conseguir esta solución es muy interesante, puesto que es un algoritmo de aprendizaje basado en instancias no genera un modelo para realizar las predicciones, sino que se apoya de un histórico. Un histórico lo suficientemente grande podría desbordar la memoria de cualquier computador. Con el uso del algoritmo distribuido, se puede procesar sin limitaciones este histórico por muy grande que sea, permitiendo tener en cuenta más datos para componer la solución, obteniendo mejores predicciones que las que se obtendrían usando una solución mono-máquina con un histórico limitado.The objective of this work was to implement a k-NN forecasting algorithm for time series, using the distributed processing paradigm Spark, in order to achieve a Big Data solution. This solution is very useful, since it’s an instance based learning algorithm and it does not generate a model to make predictions, instead it uses historical data. With enough historical data, it is possible to overflow the memory of any computer.. With the use of the distributed algorithm, this historical can be processed without limitations, no matter how big it is, allowing to have more data to compose the solution, obtaining better predictions than what would be obtained using a mono-machine solution with a limited historical.