Government by Algorithms at the Light of Freedom of Information Regimes. A Case-by-Case Approach on ADM Systems within Public Education Sector

Abstract

What Houston Court qualified as “mysterious ‘black box’, impervious to challenge” was in practice a sophisticated software of many layers of calculations, which rated teachers’ effectiveness to make employment decisions. In the European Union, a system as such would fall under the Proposal for AI Regulation of 2021, that qualifies AI models in education and vocational training as “high-risks” systems. Automated decision-making systems (ADM systems), AI-driven or not, are being increasingly used by governments in public education for different purposes, such as handling applications for undergraduate admission or profiling students and teachers to assess their performance. Across cases and jurisdictions, there is growing evidence of how the use of ADM systems in the education sector is becoming quite problematic: arbitrary assignment of teaching posts in mobility procedures, undue barriers to access undergraduate studies, and frequent lack of transparency in their implementation and decisions. This Article discusses how Freedom of Information Act (FOIA) regimes may contribute to rendering government’s ADM systems (AI-driven or not) accountable. The analysis of the FOIA cases (Parcoursoup saga in France, MIUR in Italy and Ofqual in the United Kingdom) shows to what extent decisions granting access to the source code, functional and technical specifications, or third-party audits may allow public scrutiny of ADM systems, detection of their pathologies, and better understanding of their adverse impacts in rights and freedoms, individual or collective. This Article also addresses the constitutional value of the right of access to public records (Parcoursup), and the importance of proactive and mandatory public dissemination to ensure traceability, transparency, and accountability of the ADM systems for FOIA purposes. In this sense, some legal initiatives across jurisdictions (Canada, France, Spain, United States, European Union) enhancing transparency and accountability of algorithmic systems will be examined.Lo que el Tribunal de Houston calificó como «una misteriosa «caja negra», impermeable a cualquier impugnación» era, en la práctica, un sofisticado software con múltiples capas de cálculos que evaluaba la eficacia de los profesores para tomar decisiones sobre su contratación. En la Unión Europea, un sistema de este tipo entraría en el ámbito de aplicación de la Propuesta de Reglamento sobre la IA de 2021, que califica los modelos de IA en la educación y la formación profesional como sistemas de «alto riesgo». Los sistemas de toma de decisiones automatizados (sistemas ADM, por sus siglas en inglés), impulsados por algoritmos de IA o no, son cada vez más utilizados por los gobiernos en la educación pública con diferentes fines, como la tramitación de solicitudes de admisión a estudios de grado o la elaboración de perfiles de estudiantes y profesores para evaluar su rendimiento. En todos los casos y jurisdicciones, cada vez hay más pruebas de que el uso de los sistemas ADM en el sector educativo se está convirtiendo en un problema: asignación arbitraria de puestos docentes en los procedimientos de movilidad, barreras indebidas para acceder a los estudios universitarios y frecuente falta de transparencia en su aplicación y en las decisiones. En este artículo se analiza cómo los regímenes de de Libertad de Información (por sus siglas en inglés, FOIA) o de transparencia y acceso a la información pública pueden contribuir a que los sistemas ADM de las Administraciones Públicas (impulsados por la IA o no) rindan cuentas. El análisis de los casos de la FOIA (la saga Parcoursoup en Francia, el MIUR en Italia y Ofqual en el Reino Unido) muestra hasta qué punto las decisiones que conceden acceso cualificado al código fuente, a las especificaciones funcionales y técnicas y/o a las auditorías de terceros pueden permitir el escrutinio público de los sistemas ADM, la detección de sus patologías y una mejor comprensión de sus efectos adversos en los derechos y libertades, individuales o colectivos. Este artículo también aborda el valor constitucional del derecho de acceso a la información pública (Parcoursup) y la importancia de la difusión pública proactiva y obligatoria para garantizar la trazabilidad, la transparencia y la rendición de cuentas de los sistemas ADM a efectos de la FOIA. En este sentido, se examinarán algunas iniciativas legales en distintas jurisdicciones (Canadá, Francia, España, Estados Unidos, Unión Europea) que mejoran la transparencia y la rendición de cuentas de los sistemas algorítmicos.