Evaluación académica con inteligencia artificial : comparación entre docentes y ChatGPT en Trabajos de Fin de Máster

Abstract

RESUMEN: La expansión de la inteligencia artificial ha reconfigurado los modos de enseñar, aprender y evaluar, planteando nuevos retos. Este estudio examina la correspondencia entre las evaluaciones realizadas por docentes universitarios y las generadas por un sistema de inteligencia artificial (ChatGPT) en el contexto de Trabajos de Fin de Máster. Se adopta una metodología mixta, cuantitativa y cualitativa. A partir del análisis de 45 trabajos evaluados por ambos agentes utilizando una rúbrica común, se analizan las diferencias. Los resultados muestran una correlación global moderada y estadísticamente significativa entre ambas formas de evaluación, aunque se detectan discrepancias en los ítems relacionados con la estructura formal y la redacción académica, donde la IA tiende a ser más rigurosa. El análisis cualitativo revela diferencias sustanciales en el enfoque y el contenido de los comentarios: mientras que los docentes priorizan la profundidad conceptual y ofrecen retroalimentación contextualizada, la IA se enfoca en aspectos formales con observaciones más genéricas. Estos hallazgos sugieren que la IA puede ser una herramienta útil en procesos evaluativos, siempre que se complemente con el juicio pedagógico humano. Se discuten las implicaciones de estos resultados para el diseño de sistemas de evaluación mixtos y la formación docente en el uso de tecnologías emergentes.

ABSTRACT: The increasing use of artificial intelligence in education has transformed the way we teach, learn and assess, creating new challenges for academic assessment processes. This study examines the correspondence between academic assessments carried out by university teachers and those generated by an artificial intelligence system (ChatGPT) in the context of Master's Theses. Based on an analysis of 45 master’s theses evaluated by both agents using a common 9-item rubric, this study analyses the differences in the scores awarded. The results reveal a moderate and statistically significant overall correlation between the two forms of assessment. However, discrepancies are evident in items related to formal structure and academic writing, where AI tends to be more rigorous. Qualitative analysis reveals substantial differences in the focus and content of the comments: teachers prioritise conceptual depth and offer contextualised feedback, whereas AI focuses on formal aspects and makes more generic observations. These findings suggest that, when complemented by human pedagogical judgement, AI can be a useful tool to support assessment processes. The implications of these results for the design of mixed assessment systems and teacher training in critically using emerging technologies are discussed.