ChatGPT as a source of information in Higher Education: how are the results provided by generative AI valued?

Abstract

The release of ChatGPT-3 in November 2022, followed by its subsequent versions up to the current 4.0, and its rapid expansion and widespread use, has raised several questions of particular interest regarding its role as an information source in Higher Education. Recognising the growing generalisation of generative Artificial Intelligence (AI), this article is based on the premise that it is essential to understand how university students perceived and evaluated ChatGPT-3 a few months after its launch. The research conducted using a mixed-methods approach, analyses 4,800 university student responses to an online survey using bivariate and multiple segmentation methods. The survey asked participants to state their level of knowledge and experience with AI, as well as their evaluations of the information provided by ChatGPT. Additionally, experts conducted a thematic analysis of ChatGPT's responses using an example based on the 11-M attacks. The findings reveal significant differences in students' levels of knowledge, prior experience with ChatGPT, and their evaluations of the information it provides, linked to various sociodemographic and educational variables. The results also underline that prior experience with generative AI influences its evaluation, both as an information source and as a tool for disseminating fake news. Finally, the comparison of student evaluations with those of experts stresses the need to teach students how to effectively train ChatGPT to generate better responses and how to critically evaluate them. This approach could serve as a foundation for designing educational strategies to integrate generative AI into Higher Education.La irrupción de ChatGPT 3 en noviembre de 2022, y sus distintas versiones posteriores hasta la actual 4-o, y su expansión y creciente utilización masiva, está planteando diferentes cuestiones de especial interés relacionadas con su uso como fuente de información en la Educación Superior. Siendo conscientes de que estamos asistiendo a la generalización de la Inteligencia Artificial (IA) generativa, este artículo parte de la idea de que es fundamental comprender cómo los estudiantes universitarios percibían y evaluaban ChatGPT 3 a los pocos meses de su lanzamiento. La investigación, llevada a cabo con una metodología mixta, analiza con métodos bivariados y de segmentación múltiple las 4.800 respuestas de estudiantes universitarios a una encuesta online, en la que debían indicar su grado de conocimiento y experiencia previa con la IA y sus valoraciones sobre la información proporcionada por ChatGPT. Por otro lado, a partir de un ejemplo sobre los atentados del 11-M, se ha realizado un análisis temático de las respuestas de ChatGPT, con una valoración experta. Los resultados obtenidos muestran que existen diferencias significativas en el grado de información del alumnado y su experiencia previa con ChatGPT, así como en la valoración sobre la información que aporta ChatGPT, en relación a algunas variables sociodemográficas y educativas. Se constata asimismo que la experiencia previa de uso con la IA generativa incide en su valoración como fuente de información o como herramienta de difusión de bulos o fake news. Por último, el contraste de sus puntuaciones con la valoración experta pone de relieve la necesidad de enseñar a los estudiantes a entrenar adecuadamente ChatGPT para obtener mejores respuestas y valorarlas críticamente. Esta aproximación puede servir de base para el diseño de estrategias formativas que permitan introducir la IA generativa en la Educación Superior.