Entrenamiento de modelos LLM open source en entornos específicos y comparativa con modelos comerciales

Abstract

Este trabajo analiza y compara el rendimiento de modelos de lenguaje de gran tamaño (LLM) en un entorno específico. Estos modelos, ampliamente utilizados en inteligencia artificial por su capacidad para comprender y generar texto con precisión, pueden optimizarse para contextos concretos, permitiendo el uso de versiones más ligeras sin comprometer la calidad [1]. No obstante, este proceso puede implicar un elevado consumo de tiempo y recursos. El objetivo principal del trabajo es ajustar un modelo LLM open source a un dominio concreto y evaluar su rendimiento frente a soluciones comerciales. Para ello, se han considerado métricas como la precisión de las respuestas, la eficiencia computacional y la calidad textual. El proceso ha implicado la construcción de un dataset legal propio, el ajuste fino del modelo utilizando técnicas de entrenamiento eficiente, y su integración en un sistema conversacional con recuperación aumentada de información (RAG). Los resultados obtenidos demuestran que los modelos open source pueden ser una alternativa viable y rentable en entornos específicos, ofreciendo un rendimiento competitivo frente a herramientas comerciales. El enlace a los repositorios con el código del proyecto está disponible en el anexo.This paper analyzes and compares the performance of large language models (LLM) in a specific environment. These models, widely used in artificial intelligence for their ability to understand and generate text accurately, can be optimized for specific contexts, allowing the use of lighter versions without compromising quality [1]. However, this process can be time and resource consuming. The main objective of the work is to fit an open source LLM model to a specific domain and to evaluate its performance against commercial solutions. For this purpose, metrics such as response accuracy, computational efficiency and textual quality have been considered. The process has involved the construction of a proprietary legal dataset, the fine tuning of the model using efficient training techniques, and its integration into a conversational system with augmented information retrieval (AGR). The results obtained demonstrate that open-source models can be a viable and cost-effective alternative in specific environments, offering competitive performance against commercial tools.