Uso de algoritmos genéticos para búsqueda y evaluación de estrategias en HU-NLHE

Abstract

El NLHE es un juego muy atractivo, desde el punto de vista de la inteligencia artificial, pues se trata de un juego de información imperfecta, con una alta componente de azar a corto plazo y caracterizado por un espacio de estados de gran magnitud. Por ello, existen numerosos trabajos de investigación en busca de crear agentes inteligentes que sean capaces de jugar de forma óptima. En este trabajo presentamos una primera aproximación al mundo de la creación de agentes de poker y lo enfocamos a la aplicación de técnicas evolutivas, en concreto, al uso de algoritmos genéticos. Nos centraremos en un escenario más reducido al general, concretamente, en la variante en la que se restringe el número de jugadores a dos, Heads Up. Además, suponemos que las opciones a tomar en la mano se deciden preflop e imponemos limitaciones en la ronda de apuestas. En este marco, creamos jugadores con capacidades evolutivas que siguen estrategias sencillas y que evolucionamos hasta la solución buscada mediante un mecanismo de torneos. En este tipo de trabajo cobran especial importancia los mecanismos para estudiar gráficamente la exploración de los espacios de jugadores. Como resultado final, es posible concluir que los algoritmos genéticos se comportan bien a la hora de encontrar soluciones eficientes en este marco limitado, pero tienen dificultades a la hora de determinar decisiones óptimas conforme aumenta la complejidad de las decisiones que tienen que tomar los jugadores.

In the field of Artificial Intelligence, NLHE is a very attractive game since it exhibits imperfect information, a significant element of chance and it features a large state space. Consequently, there exist a great deal of research work seeking the development of intelligent agents that play optimally. In this work, we give a humble approach to the world of poker agents, focusing on evolutionary techniques and specifically on genetic algorithms. We will restrict the original conditions and we will work with the two-player poker variant, Heads Up. In addition, all the strategical decisions will be made during the preflop stage and some limitations will be established in the betting round. In this context, we will define players with simple strategies and evolutionary abilities that will evolve by means of a tournament mechanism. In this work, they are particularly relevant all the mechanisms to study graphically the exploration of player spaces. As a result, it is possible to conclude that genetic algorithms are suitable to find efficient solutions in this limited framework, however, they find difficulties while trying to delimit optimal decisions as those decisions increase in complexity.