Perspectiva del DoubleDQN en los sistemas de recomendación para resolver el problema de item cold-start

Abstract

Los sistemas de recomendación se utilizan ampliamente en nuestra vida. Por ejemplo, se recomiendan unos productos que le pueden interesar a partir de su historial de compra o visitas (Amazon); unas películas que le puedan gustar según su popularidad (Netflix), etc. De hecho, esos no solo ayudan a los consumidores a encontrar productos que les puedan interesar, sino que también permiten a las empresas a atraer y retener a más clientes. Muchas empresas aplican el filtrado colaborativo en sus sistemas de recomendación para proporcionar una lista de elementos potenciales a cada usuario. No obstante, la mayoría de los modelos del filtrado colaborativo no tienen en cuenta los cambios dinámicos de las preferencias de los usuarios y hacen recomendaciones siguiendo una estrategia estática. Otro problema grave del filtrado colaborativo es el arranque en frío (cold-start, en inglés), que ocurre cuando el sistema de recomendación no ha sido capaz de detectar los productos similares debido a la falta de la información de los comportamientos de usuarios o la calificación de productos. En consecuencia, el objetivo de este trabajo es diseñar un novedoso algoritmo de recomendación basado ene l aprendizaje por refuerzo (Reinforcement Learning, en inglés), que favorece encontrar automáticamente la estrategia óptima de recomendación mediante las interacciones continuas con los usuarios. Al mismo tiempo, verificaría si éste tuviera capacidad de resolver el problema de item cold-start y el efecto temporal de las recomendaciones. Se han usado 2 conjuntos de datos de MovieLens, uno de 610 usuarios que puntuaron 9724 películas en la plataforma MovieLens entre el 29 de marzo de 996 y el 24 de septiembre de 2018 (MovieLensSLD), y el otro de 943 usuarios que puntuaron 1682 películas antes del año 1999 (MOvieLens 100K). Se han depurado los datos a través de SAS Miner, y posteriormente los analizaron con Python mediante los algoritmos clásicos de sistemas de recomendación, el algoritmo Deep Q Network (en adelante DQN) y Double Deep Q-Network (en adelante DoubleDQN) con el fin de comparar sus rendimientos en cada conjunto de dato.