Apache Flink vs Apache Kafka Streams: Procesamiento de eventos en múltiples ventanas de tiempo

Abstract

En el mundo empresarial moderno el procesamiento de eventos en tiempo real toma cada día más importancia. Debido a la gran cantidad de información que las empresas tienen que procesar se están desarrollando nuevas tecnologías constantemente, dejando algunas otras antiguas u obsoletas. Actualmente, existen nuevas herramientas como son Apache Flink y Apache Kafka Streams que nos permiten cumplir con las necesidades que están presentando las empresas. Así pues, el objetivo principal de este proyecto es desarrollar un flujo de procesamiento de eventos utilizando Apache Flink y Apache Kafka Streams, de esta forma evaluar el funcionamiento de cada implementación enfocándonos en los aspectos de escalabilidad, mantenimiento, tolerancia a fallos, flexibilidad, así como el manejo de estados y ventanas de tiempos de cada implementación.

In the modern business world, real-time event processing is becoming increasingly important. Due to the large amount of information that companies have to process, new technologies are constantly being developed, leaving some others old or obsolete. Currently, there are new tools such as Apache Flink and Apache Kafka Streams that allow us to meet the needs that companies are presenting. Thus, the main objective of this project is to develop an event processing flow using Apache Flink and Apache Kafka Streams, in this way evaluate the operation of each implementation focusing on the aspects of scalability, maintenance, fault tolerance, flexibility, etc. such as the management of states and time windows of each implementation.