Ortho-Heterodox Biases and the Economist Algorithms of ChatGPT

Abstract

Recommendations for economic policies can be based on different theoretical perspectives and may present hidden biases. Identifying these biases is challenging when they are embedded in recommendations from sources with high technological and social disruptive potential, where a proficient level of impartiality is expected, such as contemporary large language models. Thus, a questionnaire was administered to economists affiliated with the Brazilian academic community to assess their perception of orthodox/heterodox biases in economic policy recommendations derived from interactions with ChatGPT. The results showed that: i) there is still no consensus on the concepts of orthodoxy and heterodoxy in Brazil; ii) there are indications of a positive relationship between how self-proclaimed heterodox (orthodox) an economist is and how heterodox (orthodox) the perceived bias in an economic policy is; iii) it was not possible to identify a consistently orthodox or heterodox bias in ChatGPT’s recommendations, which exhibited a good degree of impartiality

Las recomendaciones para políticas económicas pueden basarse en diferentes perspectivas teóricas y pueden presentar sesgos ocultos. Identificar estos sesgos es un desafío cuando están incorporados en recomendaciones de fuentes con alto potencial tecnológico y disruptivo social, donde se espera un buen nivel de imparcialidad, como los grandes modelos de lenguaje contemporáneos. Por lo tanto, se administró un cuestionario a economistas afiliados a la comunidad académica brasileña para evaluar su percepción de sesgos ortodoxos/heterodoxos en las recomendaciones de políticas económicas derivadas de interacciones con ChatGPT. Los resultados mostraron que: i) todavía no hay consenso sobre los conceptos de ortodoxia y heterodoxia en Brasil; ii) existen indicios de una relación positiva entre cuán autodenominado heterodoxo (ortodoxo) es un economista y cuán heterodoxo (ortodoxo) es el sesgo percibido en una política económica; iii) no fue posible identificar un sesgo consistentemente ortodoxo o heterodoxo en las recomendaciones de ChatGPT, que exhibió un buen grado de imparcialidad

Recomendações de políticas econômicas podem se basear em diferentes visões teóricas e apresentar vieses que nem sempre são perceptíveis ao público. A identificação desses vieses é ainda mais difícil caso eles estejam inseridos em recomendações advindas de fontes com um elevado potencial tecnológico e social disruptivo, onde se espera um alto nível de imparcialidade, como os grandes modelos de linguagem contemporâneos. Assim, aplicou-se um questionário com economistas inseridos no meio acadêmico brasileiro, a fim de verificar sua percepção sobre a presença de vieses ortodoxos ou heterodoxos nas recomendações de políticas econômicas extraídas a partir de interações com o ChatGPT em abril de 2023. Os resultados mostraram que: i) ainda não existe uma visão consensual sobre os conceitos de ortodoxia e heterodoxia no Brasil; ii) há indícios de uma relação positiva entre o quão heterodoxo (ortodoxo) se autointitula um economista e o quão heterodoxo (ortodoxo) é o viés percebido por ele em uma política econômica; iii) não foi possível identificar um viés consistentemente ortodoxo ou heterodoxo nas recomendações do ChatGPT, que apresentou um bom grau de imparcialidade