Revista Iberoamericana de Evaluación Educativa, 2018, 11(2), 35-52. https://doi.org/10.15366/riee2018.11.2.002 *Contacto: carlacub@ucm.es issn: 1989-0397 www.rinace.net/riee/ https://revistas.uam.es/riee Recibido: 1ª Evaluación: Aceptado: 09 de marzo de 2018 29 de abril de 2018 22 de mayo de 2018 Diseño y Validación de una Rúbrica para Valorar la Resolución de Casos Prácticos Relativos a Derechos Humanos Design and Validation of a Rubric to Assess the Resolution of Practical Cases on Human Rights Carla Cubillos-Veja * Magdalena Ferrán-Aranaz Universidad Complutense de Madrid, España La valoración del aprendizaje de los derechos humanos presenta una gran dificultad por la indefinición de las dimensiones que comprende; así mismo, porque se confrontan la subjetividad inherente a las actitudes y desempeños en los cuales se manifiesta dicho aprendizaje y la objetividad que requiere una evaluación. Para valorar estos aspectos, la rúbrica puede ser una herramienta idónea. Este trabajo tiene el objetivo de presentar una rúbrica útil para evaluar las respuestas en la resolución de casos prácticos relativos a cuestiones relacionadas con derechos humanos, describiendo su proceso de diseño y validación. Mediante la técnica de viñetas con casos, la rúbrica se ha aplicado para evaluar las respuestas del alumnado. Se ha podido valorar de manera objetiva aspectos subjetivos en las respuestas, tales como el compromiso con los valores de los derechos humanos y el ejercicio del pensamiento crítico, que a su vez evidencian la comprensión adecuada de los aspectos teóricos. Se ha obtenido un instrumento apropiado para evaluar objetivamente las respuestas abiertas sobre el aprendizaje en el campo de los derechos humanos. Palabras clave: Educación en derechos humanos; Rúbrica; Educación superior; Evaluación; Indicadores educativos; Compromiso; Pensamiento crítico. The assessment of human rights learning face a large difficulty due to the lack of definition of its dimensions; likewise, because are confronted both, the inherent subjectivity of attitudes and the performances in which is manifested this learning, and the objectivity that their evaluation requires. To assess these subjects, the rubric can be a suitable tool. This work describes the process of design and validation of a useful rubric to evaluate the answers in the resolution of practical cases on human rights issues. Using the case vignettes method, the rubric has been applied to evaluate student responses. It has been possible to value objectively subjective aspects such as commitment to the values of human rights and critical thinking related to them, which also demonstrate an adequate understanding of the theoretical aspects. An appropriate instrument has been obtained to objectively assess open answers about ethical learning in the field of human rights. Keywords: Human rights education; Rubric; Higher education; Assessment; Educational indicators; Commitment; Critical thinking. mailto:carlacub@ucm.es C. Cubillos-Vega y M. Ferrán-Aranaz 36 1. Introducción La resolución 53/144 de 1999 aprobada por la Asamblea General de Naciones Unidas (NU) establece que los estados tienen la responsabilidad de promover y facilitar la enseñanza de los derechos humanos (DH) y las libertades fundamentales en todos los niveles de educación, y –especialmente- de asegurar que quienes tienen a su cargo la formación de abogados, funcionarias/os encargados del cumplimiento de la ley, personal de fuerzas armadas, y de potenciales funcionarios públicos en general, incluyan en sus programas de formación elementos apropiados para la enseñanza de los derechos humanos. En ese marco, cabe destacar el Programa Mundial para la Educación en Derechos Humanos (2005-en curso) que se ha articulado en tres etapas consecutivas, el cual contempla un Plan de Acción para cada etapa, con estrategias concretas y orientaciones prácticas para los países. Este Plan ya ha sido concretado a nivel doméstico por algunos estados miembros de NU1, bien en Planes nacionales para la educación en materia de derechos humanos (EDH), o bien como Estrategias de acción para la EDH incluidas dentro de Planes más amplios sobre derechos humanos. La primera etapa (2005-2009) estuvo enfocada a los sistemas de enseñanza primaria y secundaria; la segunda, (2010-2014) a la educación en derechos humanos en el ámbito de la enseñanza superior, así como la capacitación para profesionales (docentes y educadores, funcionarios públicos, fuerzas del orden y personal militar) cabe destacar aquí no solo la importancia de este documento en el ámbito de la educación superior, que es el tema que nos ocupa, sino también que entre las/los profesionales se contempla especialmente aquellos que prestan servicio público; y la tercera etapa (2015-2019) orientada a reforzar la aplicación de las dos primeras y a la promoción de la EDH para profesionales de los medios de comunicación y periodistas (ACNUDH, 2018). Los objetivos de la educación en materia de derechos humanos apuntan a cambios complejos de comportamientos y actitudes (Equitas y ACNUDH, 2010; Hung, 2014) buscando principalmente la construcción de aprendizajes significativos. Este tipo de aprendizaje se produce cuando lo aprendido pasa a formar parte de los sentimientos influyendo en el desarrollo de ciertas actitudes y comportamientos (Mujica, 2002). Por ello, la evaluación de una acción formativa de EDH requerirá valorar, además del aprendizaje teórico de los derechos humanos (DH), la comprensión de los mismos, la adhesión a sus valores o el compromiso con éstos, y el desarrollo de un pensamiento crítico en torno a sus implicaciones morales y políticas relacionadas con la toma de conciencia de los derechos, deberes y libertades para ejercer una ciudadanía democrática y responsable (Adami, 2014); todo ello se circunscribe en una educación en, sobre y para los derechos humanos. 1 Los países que a la fecha tan desarrollado Planes específicos sobre EDH son: Brasil, Burundi, Colombia, Costa Rica, Croacia, República Dominicana, Fiyi, Francia, Grecia, Honduras, Japón, Jordania, México, Níger, Perú, Filipinas, Portugal, Senegal, Eslovaquia, Turquía y Uruguay. Respecto a Estrategias de acción para la EDH contenidas en planes generales sobre derechos humanos, solo 36 Estados Miembros las han incorporado en los mismos; España no ha desarrollado Planes específicos sobre EDH (ACNUDH, 2018). Revista Iberoamericana de Evaluación Educativa 37 Dado que los derechos humanos deben ser percibidos tanto en un plano intelectual como emocional, la EDH debe ser desarrollada en un marco de respeto a los valores de los DH y con un enfoque didáctico, crítico y activo, que suscite la reflexión y la deliberación (Barrantes, 2014; Carvalho y Estêvão, 2013; Chen y Tang, 2017; Fernández, 2017; Løkke, 2012; Magendzo, 2003, 2011; Nipperess, 2013; Tibbitts y Kirchschlaeger, 2010). Uno de los mayores desafíos de esta educación en la actualidad es el desarrollo de instrumentos idóneos para su evaluación, dado que se trata de valorar no solo conocimientos, sino también actitudes y el desempeño de ciertas capacidades. Respondiendo a dicho desafío, en este trabajo se presenta el proceso de diseño y validación de una rúbrica orientada a valorar la resolución de casos prácticos relativos a derechos humanos, para evaluar la adquisición de conocimiento sobre estos derechos, de actitudes favorables hacia éstos, y de un cierto grado de pensamiento crítico aplicado a los mismos. 2. Justificación y fundamentación teórica La evaluación educativa se puede definir como la valoración del aprendizaje o la adquisición de ciertas habilidades, realizada a partir de unos datos obtenidos durante el proceso de enseñanza, ya sea de manera directa o indirecta (Rubio, 2012). Si bien evaluar es un proceso sistemático que va más allá de la mera medición, los instrumentos de medición se consideran una herramienta de gran utilidad a la hora de permitir establecer comparaciones, formando parte del proceso de valoración integral. Además, aunque la medición se expresa en una escala numérica, ésta puede reflejar indicadores cualitativos. En materia de EDH, es muy complejo evaluar las actitudes y desempeños relacionados con el aprendizaje de los derechos humanos, dada la dificultad que entraña valorar dimensiones subjetivas a través de juicios supuestamente objetivos. Son muchas las herramientas disponibles en la actualidad para valorar el aprendizaje y el éxito de una acción educativa; en nuestro marco, la rúbrica se presenta como un instrumento idóneo pues permite “valorar aspectos complejos, imprecisos y subjetivos, aportando una evaluación fácilmente interpretable, justa y transparente” (García-Sanz, 2014, p. 92). Una rúbrica es un instrumento que se puede definir como una guía de puntuación o evaluación que sirve para valorar diversas dimensiones de aprendizaje o de producción (Cano, 2015; Dickinson, y Adams, 2017; Gatica-Lara y Uribarren-Berrueta, 2013; Moskal, 2000; Panadero y Jonsson, 2013; Paul y Elder, 2005). En las últimas décadas la rúbrica ha venido adquiriendo bastante atención dado que es una herramienta muy versátil que puede usarse para evaluar el desempeño del alumnado en variadas materias y actividades (Moskal, 2000), siendo especialmente abundante su utilización en la evaluación formativa, pues permite establecer el feedbak necesario con el alumnado, de modo que las/los alumnos pueden conocer de manera explícita qué se espera de ellas/os en su proceso de aprendizaje (Cano, 2015; Fraile, Pardo y Panadero, 2017; Lipnevich, McCallen, Miles y Smith, 2014; Mauri, Colomina y de Gispert, 2014; Panadero y Jonsson, 2013; Picornell- Lucas, 2014; Popham, 1997). Una rúbrica se compone de tres características esenciales: un criterio de evaluación, definiciones de calidad y una estrategia de puntuación (Popham, 1997). Puesto que las rúbricas se constituyen por unos criterios que permiten valorar el trabajo del alumnado, C. Cubillos-Vega y M. Ferrán-Aranaz 38 será fundamental definir los mismos (qué queremos valorar) de manera previa (Gallo, 2004); dichos criterios pueden ser tanto cualitativos como cuantitativos, pudiendo versar sobre conocimientos conceptuales, comportamientos, desarrollo de tareas, etc. En cuanto a las definiciones de calidad, éstas se refieren a unos criterios de logro que se han de establecer, los cuales se definirán en conjunto con una estrategia de puntuación. Respecto a la validación de las rúbricas como instrumento de evaluación, pese a que es preciso demostrar que una rúbrica tiene suficiente validez y confiabilidad para establecer su utilidad (Papadakis, Kalogiannakis y Zaranis, 2017) son variados y heterogéneos los criterios encontrados en la literatura respecto a los métodos seguidos para validar su contenido, sin ser posible encontrar una apreciación general sobre el método más efectivo para definir con exactitud la fiabilidad y validez de este instrumento (Andreu-Andrés y García-Casas, 2014; Brizuela, 2016; Capella-Peris, Gil-Gómez, Chiva-Bartoll y Martí- Puig, 2015; García-Sanz, 2014; Guzmán, Flores y Tirado, 2012; Trace, Meier y Janssen, 2016; Papadakis et al., 2017; Wang y Rairigh, 2006). Dado que este trabajo se ha realizado en el ámbito de la educación superior, consideramos pertinente matizar que, en el mismo, desde la década de los 90 el diseño de rúbricas se ha venido desarrollando en torno al enfoque de competencias. Se valoran las competencias transversales y específicas adquiridas por las/los estudiantes durante su proceso educativo, competencias que además funcionarían como un elemento regulador del aprendizaje (Cano, 2015; García-Sanz, 2014; Guzmán, Flores y Tirado, 2012; Picornell- Lucas, 2014). Sin embargo, nuestro trabajo no se ciñe al enfoque centrado en competencias, de ahí que nuestra rúbrica no se diseñó sobre la base de los estándares desplegados por las recomendaciones de la convergencia europea en el Espacio Europeo de Educación Superior (EEES) ni su adaptación en España recomendada por la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA). Aunque reconocemos que en Europa uno de los aspectos positivos de dicho enfoque ha sido la sustitución del tradicional modelo de enseñanza basado en la transmisión de conocimientos por un modelo más activo que apunta al aprendizaje, consideramos que este tipo de competencias no se corresponde con el marco que exige la EDH. No podemos ignorar que el enfoque de competencias se centra básicamente en un aprendizaje útil al mercado laboral, en la formación -más que de intelectuales públicos y ciudadanas/os responsables- de técnicos de calidad que sirvan a los intereses de las empresas; de ahí que se ha venido nutriendo de recomendaciones emanadas de instituciones financieras tales como la Organización para la Cooperación y el Desarrollo Económico (OCDE) o el Banco Mundial (Dias, 2010; Díaz- Barriga, 2006). Por ello en la elaboración de nuestro instrumento hemos apostado por un enfoque crítico de EDH y usado, como referencia de los aspectos a valorar en la misma, los principales criterios subrayados por los autores/as que han aportado desarrollos teóricos en este ámbito a nivel internacional, señalados arriba. La evaluación en el marco de la EDH, tanto de las acciones formativas como de sus efectos particulares en los sujetos, aún es un área en pleno desarrollo por lo cual se torna imprescindible la construcción del conocimiento mutuo mediante la puesta en común de experiencias evaluativas y de desarrollos metodológicos (Equitas y ACNUDH, 2010). Revista Iberoamericana de Evaluación Educativa 39 3. Método Este trabajo tiene el objetivo de presentar una rúbrica útil para evaluar las respuestas en la resolución de casos prácticos relativos a cuestiones relacionadas con derechos humanos, describiendo su proceso de diseño y validación. Por ello, en este apartado se detallará el método seguido en el diseño o construcción de la rúbrica (proceso compuesto de tres fases), la población con la cual se realizó su validación, y el procedimiento de recogida y análisis de datos seguido para realizar la misma. 3.1. El diseño de la rúbrica La rúbrica, como instrumento de evaluación, se basa en una escala que puede ser cuantitativa, cualitativa o mixta, según una serie de criterios establecidos previamente que servirán para medir los desempeños del alumnado en torno a una actividad; en su proceso de construcción es preciso seguir tres pasos: 1) identificar las dimensiones a valorar, 2) redactar los indicadores para medir tales dimensiones, y 3) determinar los niveles de logro y su puntuación en una escala nominal (Andreu-Andrés y García-Casas, 2014; Gallo, 2004; García-Sanz, 2014; Torres y Perera, 2010; Wang y Rairigh, 2006); en la construcción de la matriz de nuestra rúbrica se han seguido dichos pasos en tres fases consecutivas, que se describen a continuación. 3.2. Primera fase: Construcción de las dimensiones a valorar El primer paso en la construcción de una rúbrica es determinar las dimensiones que se van a valorar. Para ello nos enfocamos en los objetivos educativos de la EDH, que serán aquellos logros alcanzados en un corto plazo, los cuales podrán variar según el colectivo hacia el cual se dirija (Tibbitts, 2002). No obstante, en un plano general, la EDH tiene tres dimensiones básicas de aprendizaje: (a) conocimientos sobre derechos humanos, (b) la capacidad para actuar en su promoción y defensa, y (c) actitudes favorables hacia sus valores (Løkke, 2012). En consecuencia, las dimensiones que nos propusimos evaluar fueron: 1) el compromiso con los DH; 2) la comprensión de los conocimientos adquiridos; y 3) la capacidad de pensamiento crítico (PC), que permitirá aplicar el conocimiento a diversas problemáticas relacionadas con tales derechos. A continuación se describe cada una de las dimensiones (Compromiso y pensamiento crítico) y sus componentes (los ítems que forman cada una de ellas se presentarán en el siguiente epígrafe). 1) Compromiso con los principios de los derechos humanos. El compromiso como componente actitudinal de los DH (McFarland y Mathews, 2005) se identifica con aspectos como la adhesión hacia los mismos, la creencia de que éstos son relevantes y el compromiso con aplicarlos (Chen y Tang, 2017; Cubillos-Vega, Ferran-Aranaz, Mercado-García y Pastor- Seller, 2017; McPherson y Abell, 2012). Siguiendo la definición de compromiso ético de Marzo y Sabariego (2013) el compromiso ético con los derechos humanos se podrá apreciar en la capacidad para responder y argumentar coherentemente aplicando sus valores. 2) La Comprensión. Involucra la capacidad de aplicar en la práctica un concepto o un tópico determinado, a una variedad amplia de cosas o situaciones; implica estimular el pensamiento para poder explicar, demostrar, generalizar, establecer analogías, dar C. Cubillos-Vega y M. Ferrán-Aranaz 40 ejemplos y/o reestructurar los conceptos o tópicos aprendidos (Blythe, 2004; Salgado- García, 2012), en este caso, en relación con los derechos humanos. 3) Pensamiento crítico (PC). La concienciación crítica en materia de DH es uno de los objetivos fundamentales de la EDH (Adami, 2014; Tibbitts, 2002), para la cual se requiere el fomento del pensamiento crítico o reflexivo, pues se asume que en la medida en que los sujetos aprenden a pensar críticamente, se convertirán en ciudadanos capaces de razonar éticamente y actuar en beneficio de la sociedad (Adami, 2014; Paul y Elder, 2005). Sin embargo, el PC es la dimensión más compleja de determinar, pues las abundantes concepciones sobre su significado son bastante heterogéneas, con varios elementos repetidos que se sobreponen, a los cuales se les van añadiendo o quitando alguna categoría (Cargas, Williams y Rosemberg, 2017; Lai, 2011; López; 2012). Entre los enfoques que han nutrido nuestra propuesta destacamos los siguientes: en el ámbito cognitivo, Kurfiss (1988) define el PC como la resolución de problemas en situaciones donde las soluciones no pueden ser verificadas empíricamente, siendo el argumento que se ofrece el que debe fundamentarse en muy buenas razones. De acuerdo con esta autora, el pensamiento crítico se puede concebir como: 1) lógica informal (competencias para analizar y construir argumentos y justificarlos); 2) procesos cognitivos (construcción de significado, es decir, cómo las personas llegan a las conclusiones y el conocimiento influye en su proceso de razonamiento); y 3) desarrollo intelectual (manifestación de una teoría contextual del conocimiento o una postura epistemológica, esto es, la conciencia de cómo el conocimiento depende del contexto). En la misma línea, Paul y Elder (2005) lo identifican con habilidades en la comunicación efectiva y en la resolución de problemas, superando las tendencias egocéntricas y sociocéntricas. Para ello, los sujetos dispondrían de disposiciones hacia el PC y de ciertas destrezas cognitivas como la interpretación, el análisis, la evaluación, la inferencia, la explicación y la autorregulación (Facione, 2000, 2007). Willingham (2007) lo define como la capacidad para resolver problemas viendo los dos lados del mismo, la disposición a admitir nuevas pruebas que refuten nuestras ideas, razonar sin pasiones y exigir evidencias que respalden los juicios, habiendo diferentes tipos de pensamientos críticos para diferentes temas o disciplinas, si bien, a mayor información sobre una materia, mayor será la posibilidad de ejercer el PC al respecto. En Freire (2012) se puede interpretar el PC como la capacidad de percibir la realidad en su complejidad, con sus contradicciones, como un proceso dinámico, problematizándola. Como se puede apreciar, todas estas nociones de PC tienen como denominador común su vinculación con la resolución de situaciones o problemas cotidianos argumentada y razonada al tiempo que identificando su complejidad. 3.3. Segunda fase: Elaboración de indicadores o ítems a valorar En la segunda fase se determinaron los indicadores de las dimensiones que definimos basándonos en la literatura, resultando nueve ítems dirigidos a valorar la presencia del compromiso, la comprensión y el pensamiento crítico (cuadro 1). Revista Iberoamericana de Evaluación Educativa 41 Cuadro 1. Indicadores de la rúbrica por dimensiones COMPROMISO a. Aplicación de principios éticos de los DH b. Adhesión a los valores de los DH c. Aplicación de aspectos teóricos de DH COMPRENSIÓN d. Aplicación de conceptos a situaciones prácticas (reales o hipotéticas) e. Identificación de formas de desigualdad estructural o violencia estructural f. Proposición de soluciones enmarcadas en el enfoque de DH PENSAMIENTO CRÍTICO g. Identificación de aspectos contrastados o matices h. Identificación de causas y efectos i. Fundamentación y argumentación Fuente: Elaboración propia. 3.4. Tercera fase: Determinación de niveles de logro en una escala Una vez establecidos los criterios de evaluación se determinaron sus niveles de logro de acuerdo a una escala. Las escalas de las rúbricas suelen tener un valor numérico de entre 1 a 4 o 5 niveles (Wang y Rairigh, 2006), dispuestos generalmente en orden descendente, cada uno enumerando un criterio de valoración (criterios o niveles de logro) para cada ítem o indicador: desde un mayor nivel de logro a un menor nivel de logro. García-Sanz (2014) concluye que cuatro criterios o niveles de logro son adecuados para evaluar el grado de desempeño de una habilidad, basando los mismos en las calificaciones universitarias (4: sobresaliente -nivel excelente de dominio-; 3: notable -buen dominio-; 2: aprobado -nivel aceptable-; 1: suspenso -nivel insuficiente-). Nuestra rúbrica, igualmente, se estableció en una escala de cuatro niveles de desempeño, con valores descendentes, donde 4 sería “muy bien” y 1, “insuficiente” (Apéndice 1). Respecto al tipo de rúbrica, éstas pueden ser globales o analíticas. Las globales se establecen para valorar una característica en su totalidad, por lo cual la puntuación será integral, y las analíticas, se centran en uno o varios aspectos concretos, pudiendo ser divididas de acuerdo a los mismos, puntuándose por separado cada parte (Andreu-Andrés y García-Casas, 2014; Torres y Perera, 2010). Nuestra rúbrica fue diseñada como una rúbrica analítica, esto es, requiere puntuar cada dimensión y obtener luego un promedio final. 3.5. Participantes La rúbrica se validó con alumnado del Grado en Trabajo Social de la Universidad Complutense de Madrid, al término del primer semestre del curso 2015-2016, con una muestra de N=179 sujetos, caracterizados por estar cursando el primer año de la titulación de trabajo social (de nuevo ingreso); tener edades comprendidas en un tramo de 17 a 20 años, residentes en la comunidad de Madrid, y ser mayoritariamente de nacionalidad española y mujeres (85,5%). En este alumnado se distinguieron dos perfiles: aquel que tuvo formación sobre derechos humanos (Grupo A, N=117) y alumnado que no tuvo formación en la materia (Grupo B, N=62). La utilización de submuestras (grupo A y B) se fundamenta en la necesidad de ofrecer mayor rigor a los resultados de la validación, evitando así los sesgos que se presentarían C. Cubillos-Vega y M. Ferrán-Aranaz 42 si sólo se hubiese validado el instrumento con alumnado que conocía a fondo la materia examinada o por el contrario, con aquel que la desconocía en absoluto, variando sensiblemente las respuestas. En consecuencia, el análisis de los resultados se realizó sin diferenciar ambos perfiles. Los sujetos fueron seleccionados siguiendo el criterio de conveniencia, atendiendo a la facilidad del acceso a los mismos. La participación fue voluntaria, durante el horario de clases, informándose al alumnado del anonimato de las respuestas y la confidencialidad de sus datos. 3.6. Procedimiento de recogida y análisis de datos Para poner a prueba la rúbrica diseñada mediante su aplicación (Capella-Peris et al., 2015) se formuló un supuesto práctico mediante la técnica de las viñetas con casos, ampliamente utilizada en el ámbito de la enseñanza de la bioética (Bremberg y Nilstun, 2000; Orellana- Peña, 2014; Sogi, Zavala y Ortiz, 2005), consistente en la presentación una situación problemática (real) sobre la cual se plantean una serie de cuestiones a resolver. Así, a través de la rúbrica diseñada se valoraron las respuestas del alumnado a dichas cuestiones. En todo caso, el diseño de la presente rúbrica no contempla un material concreto para su posterior aplicación, pudiendo ser utilizada sobre cualquier material escrito que requiera responder a cuestiones o problemas planteados en base al enfoque de derechos humanos. En el proceso de diseño de una rúbrica la valoración de su idoneidad es fundamental. Esta comprobación la realizamos en tres pasos: 1. La rúbrica inicialmente propuesta fue evaluada en su contenido (validez lógica) mediante el juicio de un grupo de tres personas expertas en: EDH en la educación superior; trabajo social y pedagogía, psicología educativa y procesos cognitivos, quienes, tras revisar el contenido y legibilidad de la propuesta, identificaron leves mejoras relativas a la redacción de los indicadores/ítems y sus criterios de valoración. 2. Una vez ajustada la rúbrica con los cambios propuestos, se valoró por segunda vez aplicándola a una muestra piloto conformada por 20 sujetos para comprobar el adecuado funcionamiento de la misma (Wang y Rairigh, 2006) Tras la prueba piloto se comprobó la adecuación de los criterios de valoración y de las dimensiones respecto a los indicadores propuestos, por lo cual no se realizaron cambios. 3. La rúbrica definitiva se aplicó directamente por un investigador del equipo administrándola a las respuestas de las viñetas con casos. Siguiendo la experiencia de Llovet, Prat, Boixadós y Parra (2014), las respuestas se analizaron mediante un mecanismo de revisión ciega para garantizar la imparcialidad y evitar un sesgo en las valoraciones. Para ello se anonimizaron previamente las hojas de respuestas con el objeto de no identificar a las/los participantes de manera individual ni su pertenencia a un grupo determinado. Así mismo, los indicadores se fueron aplicando a medida que aparecían en las respuestas a cada caso. Una vez recopilados y codificados los datos, se realizaron pruebas estadísticas para medir la consistencia de las dimensiones propuestas. Así, se valoró la estructura interna de la rúbrica (Capella-Peris et al., 2015) es decir, la asociación interna significativa de sus indicadores mediante la técnica de Análisis de Componentes Principales Revista Iberoamericana de Evaluación Educativa 43 (ACP). Se utilizaron como datos de entrada para la extracción de los componentes, los valores de los coeficientes de correlación de Pearson y Gamma entre los indicadores (en ambos casos con extracción de dos componentes y rotación varimax), utilizando el paquete estadístico SPSS versión 22. 4. Resultados Los resultados del ACP nos permitieron apreciar la estructura interna de la rúbrica constatando la asociación entre las variables (indicadores) e identificando las dimensiones en las cuales se agrupaban las mismas. En el cuadro 2 mostramos el primer ACP extrayendo dos componentes y aplicando la rotación varimax. Al considerar el coeficiente de correlación de Pearson, se aprecia que los ítems tienden a agruparse en dos dimensiones (componentes) y no en las tres esperadas (cuadro 1): una conformada por A, B, C y F (caracterizada por los valores de las proyecciones sobre el primer componente claramente más altos que sobre el segundo), y otra conformada por E, G, H e I (caracterizada por los valores de las proyecciones sobre el segundo componente claramente más altos que sobre el primero). Así mismo, el indicador D queda en una posición intermedia (caracterizado por valores similares de las proyecciones sobre los dos componentes). Al estar los resultados en discordancia con el planteamiento inicial, se procedió a realizar un segundo ACP utilizando como medida de similitud entre los indicadores el coeficiente Gamma, con el objeto de confirmar los resultados obtenidos y medir el grado de concordancia entre los indicadores -como alternativa al grado de asociación lineal-. Al repetir el análisis con este coeficiente, la magnitud de las proyecciones sobre el componente dominante se acentuó, y nuevamente el indicador D se situó entre los dos grupos (cuadro 2). Cuadro 2. Análisis de componentes principales con correlación de Pearson y Coeficiente Gamma: Matriz de componentes rotados CORRELACIÓN DE PEARSON COEFICIENTE GAMMA Componente Componente 1 2 1 2 G ,782 ,226 ,856 ,334 I ,765 ,331 ,830 ,482 E ,764 ,263 ,848 ,299 H ,725 ,335 ,791 ,475 C ,160 ,861 ,282 ,903 B ,362 ,802 ,463 ,858 A ,372 ,796 ,447 ,864 F ,398 ,625 ,434 ,726 D ,496 ,497 ,654 ,557 Fuente: Elaboración propia. Al confirmar que las categorías observadas no coincidían con la propuesta inicial (cuadro 1), se estimó modificar la organización de los ítems siguiendo los resultados del ACP: 1. Puesto que el ítem D “Aplicación de conceptos a situaciones prácticas (reales o hipotéticas)” resultó ser un indicador ambiguo que podría situarse tanto en la dimensión del compromiso (si los ejemplos proporcionados se referían a derechos C. Cubillos-Vega y M. Ferrán-Aranaz 44 humanos) como del pensamiento crítico (si, entre todos los argumentos, se proporcionaban ejemplos), se decidió eliminarlo de la rúbrica al no contribuir a la calidad de ésta. 2. El otro cambio sustancial que se realizó fue la eliminación de la dimensión “comprensión”, dado que sus otros dos componentes, E y F, se situaban en dimensiones distintas: claramente E “Identificación de formas de desigualdad estructural o violencia estructural” se situaba en el grupo del pensamiento crítico, mientras que F “Proposición de soluciones enmarcadas en el enfoque de derechos humanos”, en el compromiso. Así, se decidió que la rúbrica final quedaría compuesta por dos dimensiones: compromiso y pensamiento crítico. Por último, tras los cambios señalados se procedió a estimar la consistencia interna o fiabilidad de la rúbrica resultante a través del estadístico Alfa de Cronbach. Esta medida asume que los ítems de una escala miden un mismo constructo y están altamente correlacionados, de modo que si alfa se sitúa en un valor cercano a 1 tendrá mayor consistencia interna (Capella-Peris et al., 2015). Nuestros resultados fueron los siguientes: alfa=0.864 para la dimensión compromiso; alfa=0.826 para el pensamiento crítico; y alfa=0.894 para REEDHED en su conjunto, resultando un instrumento altamente fiable. La rúbrica definitiva se denominó “Rúbrica para valorar la resolución de casos prácticos relativos a Derechos Humanos” (Rúbrica RECAPRADH) en el contexto de la educación en materia de derechos humanos (Apéndice 1). 5. Discusión y conclusiones A la luz de los resultados podemos afirmar que esta rúbrica ha cumplido con el objeto de su creación: disponer de una guía que permitiera valorar las respuestas del alumnado respecto a cuestiones éticas relativas a los derechos humanos y de un instrumento dirigido a valorar el componente cualitativo presente en el texto a evaluar. Así, consideramos que la rúbrica diseñada permite valorar objetivamente situaciones subjetivas, tan complejas como son las relativas al ámbito del aprendizaje de cuestiones éticas y en concreto, de los derechos humanos. Al realizar las pruebas estadísticas se pudo considerar que, en general, la rúbrica estaba bien correlacionada. No obstante, el análisis de componentes principales permitió apreciar que las variables A, B, C y F conformaron un grupo distinto al de E, G, H e I, quedando D en una zona intermedia entre estas dos dimensiones notoriamente establecidas; de ahí que nuestra decisión fue reconfigurar la rúbrica a la luz de esta evidencia. Los cambios introducidos afectaron la composición de cada dimensión, pero también de la rúbrica en su conjunto pues en vez de constituir una rúbrica de tres dimensiones, éstas se redujeron a dos, a saber, compromiso y pensamiento crítico. Respecto a la eliminación del indicador D “Aplicación de conceptos a situaciones prácticas (reales o hipotéticas)”, aunque estaba correlacionado con todo el resto, se apreció que no pertenecía plenamente a ningún grupo, los cuales estaban claramente diferenciados. Este ítem se refería a un indicador de la comprensión según el cual se esperaba que el alumnado ilustrara sus ideas con fuentes, evidencia empírica y ejemplos apropiados o, al menos, experiencias personales. En las respuestas en las que D estuvo presente, también se pudo apreciar la ambigüedad que evidenció el ACP realizado: las respuestas podían ser atribuibles bien al Revista Iberoamericana de Evaluación Educativa 45 compromiso, cuando los ejemplos proporcionados se referían a otras situaciones relacionadas con derechos humanos que los sujetos quisieran destacar, o bien al pensamiento crítico, cuando los ejemplos eran utilizados como un recurso para argumentar sus opiniones. En vista de la ambigüedad referida, se decidió eliminar dicho indicador de la rúbrica, no afectando a la calidad de la misma ni tampoco a la cantidad de información valorada, dada la duplicidad señalada. Puesto que los otros dos indicadores que componían nuestra dimensión de comprensión, E y F, se separaron ubicándose en polos opuestos, cada uno en un grupo diferente, valoramos así mismo la reducción de dimensiones, eliminando la dimensión de la “comprensión”, pues dos de sus ítems se solapaban con el compromiso (F) y con el pensamiento crítico (E). En el caso de F “Proposición de soluciones enmarcadas en el enfoque de derechos humanos”, si bien la comprensión implica, entre otras destrezas, la de aplicar en la práctica un conocimiento determinado (por lo que esperábamos que se aplicara a la solución de un problema el conocimiento teórico adquirido) no obstante, no es menos cierto que aplicar una solución en base al enfoque crítico de los derechos humanos implica también un grado considerable de compromiso, si entendemos éste como la creencia de que estos valores son relevantes y por ende se deben aplicar (Chen y Tang, 2017; Cubillos-Vega et al., 2017; McPherson y Abell, 2012); tanto los valores como el marco jurídico y político que en torno a los DH se ha construido. Respecto a E “Identificación de formas de desigualdad estructural o violencia estructural”, este indicador se puso en un inicio dentro de la “comprensión” porque implicaba la destreza de identificar en una situación práctica, elementos teóricos aprendidos (Blythe, 2004; Salgado-García, 2012), en nuestro caso, debatidos en el análisis de las violaciones de DH. Sin embargo, el sesgo en el diseño inicial del instrumento no se detectó en ninguna de las dos etapas de comprobación previas al ACP, análisis que luego evidenció que este indicador está estrechamente relacionado con aquellos que identifican el pensamiento crítico. No obstante este hallazgo tampoco es de sorprender, pues también es cierto que, entre las múltiples definiciones y concepciones existentes en torno al pensamiento crítico, una de las perspectivas desde la cual éste se puede identificar es “como desarrollo intelectual”, es decir, como una manifestación de una postura epistemológica dependiente de un contexto (Kurfiss, 1988), superando las tendencias egocéntricas y sociocéntricas (Paul y Elder, 2005), y percibiendo la realidad en toda su complejidad (Freire, 2012). Identificar que ciertas violaciones de derechos humanos se relacionan con la existencia de grupos que han sido sistemática e históricamente excluidos de ámbitos que son relevantes para el desarrollo de su autonomía y de sus planes de vida, que dichas violaciones son producto de formas de desigualdad estructural, esto es, de situaciones en las que no es una decisión política manifiesta la que determina excluir a las personas de ciertos beneficios o instancias, sino que quienes toman dichas decisiones no han sabido prever o controlar esa consecuencia (Saba, 2012), o de formas de violencia estructural, donde dichos agentes políticos incluso no han querido prever o controlar tal exclusión (Galtung, 1990). Identificar estos matices, desde luego, implica tener una suficiente capacidad reflexiva o PC. C. Cubillos-Vega y M. Ferrán-Aranaz 46 Este trabajo ha descrito el proceso de diseño y validación de una rúbrica para ser utilizada en el ámbito de la EDH, con el objeto de establecer la calidad de dicho instrumento. Respecto a sus limitaciones, consideramos que una de las debilidades del proceso de validación consistió en que la prueba se aplicó directamente por el equipo de investigación, al no contar con los recursos para disponer de un panel de evaluadores externos que revisaran y puntuaran las respuestas aplicando el instrumento. No obstante, se procuró la máxima objetividad al asignar las puntuaciones a los trabajos (las viñetas con casos) asegurando que la revisión fuese anónima; así mismo, otro aspecto a resaltar es que el propio mecanismo de contestación a las preguntas de las viñetas y, por ende, de corrección, propició revisar las respuestas y puntuar los indicadores establecidos de manera no ordenada: no se fueron identificando los indicadores de acuerdo al orden asignado en la propia rúbrica, sino que éstos se fueron identificando a medida que aparecían en las respuestas de cada alumna/o y en cada caso o viñeta (1 o 2). Pese a que consideramos que las pruebas realizadas gozan de un adecuado rigor metodológico, sería deseable que en el futuro este instrumento sea probado y validado por equipos de evaluadores externos, con una muestra más amplia y en contextos más diversos. Otra de las limitaciones, es que, tal como lo advirtieron Rivas y Saiz (2012) respecto a su prueba PENCRISAL, una medida enfocada a evaluar los procesos de pensamiento crítico utilizando situaciones cotidianas en un formato de respuestas abiertas, en el caso de la rúbrica RECAPRADH -al ser igualmente un instrumento que evalúa respuestas abiertas- esta requerirá emplear un tiempo considerable para su aplicación, es decir, en la corrección de las respuestas de acuerdo a los indicadores establecidos y sus niveles de puntuación. Sin embargo, creemos que dichas limitaciones no deben empañar las fortalezas de este instrumento, principalmente que se trata del primer instrumento diseñado y validado, disponible en castellano, para valorar objetivamente respuestas abiertas sobre el aprendizaje ético en materia de derechos humanos en dos dimensiones: compromiso con los derechos humanos y pensamiento crítico aplicado a los mismos. Esta contribución responde, así mismo, a una necesidad expresada desde hace tiempo en el ámbito de la EDH: la escasez de instrumentos para su evaluación y, a nuestro juicio, la falta de instrumentos cualitativos para la evaluación de ciertos componentes del aprendizaje integral de los derechos humanos que no solo debe referirse a conocimientos sobre determinados contenidos, sino que debe pasar a formar parte de las actitudes y comportamientos; ámbitos donde el desarrollo del compromiso con los mismos y del pensamiento crítico, serán fundamentales. Agradecimientos Este trabajo ha contado con la financiación del Programa Formación de Capital Humano Avanzado CONICYT, Becas Chile Doctorado. Se agradece la colaboración en la revisión del instrumento a las Dras. Virginia Jiménez Rodríguez, Elena Roldán García y Blanca Rodríguez López. Revista Iberoamericana de Evaluación Educativa 47 Referencias ACNUDH. (2018). Planes o estrategias de acción para la educación en derechos humanos. Recuperado de: http://www.ohchr.org/SP/Issues/Education/EducationTraining/Pages/NationalAction PlansHumanRightsEducation.aspx) Adami, R. (2014). Human rights for more than one voice: rethinking political space beyond the global/local divide. Ethics & Global Politics, 7(4), 163-180. Andreu-Andrés, M. A. y García-Casas, M. (2014). Evaluación del pensamiento crítico en el trabajo en grupo. Revista de Investigación Educativa, 32(1), 203-222. https://doi.org/10.6018/rie.32.1.157631 Barrantes, L. (2014). Pensamiento crítico y derechos humanos: componentes esenciales en la educación superior del siglo XXI. Revista Latinoamericana de Derechos Humanos, 25(2), 93- 105. Blythe, T. (2004). La enseñanza para la comprensión. Guía para el docente. Buenos Aires: Paidós. Bremberg, S. y Nilstun, T. (2000). Patient’s autonomy and medical benefit: ethical reasoning among GPs. Family Practice, 17, 124-8. Brizuela, A. (2016). Construcción y validación de una rúbrica para medir la expresión escrita en estudiantes universitarios. Universitas Psychologica, 15(1), 349-360. https://doi.org/10.11144/Javeriana.upsy15-1.cvrm Cano, E. (2015). Las rúbicas como instrumento de evaluación de competencias en educación Superior: ¿uso o abuso?. Profesorado. Revista de Currículum y Formación de Profesorado, 19(2), 265-280. Capella-Peris, C., Gil-Gómez, J., Chiva-Bartoll, O. y Martí-Puig, M. (2015). Diseño y validación de una rúbrica para valorar la competencia docente en la didáctica de juegos motores y expresión corporal en Educación Infantil. Ágora para la Educación Física y el Deporte, 17(2), 148-167. Cargas, S., Williams, S. y Rosemberg, M. (2017). An approach to teaching critical thinking across disciplines using performance tasks with a common rubric. Thinking Skills and Creativity, 26, 24–37. Carvalho, M. y Estêvão, C. (2013). Pedagogia crítica e Direitos Humanos: fundamentos para uma proposta pedagógico-crítica em Direitos Humanos. Ensaio: Avaliação, Políticas Públicas de Educação, 21(80), 405-432. Chen, H. y Tang, I. CH. (2017). Social workers’ attitudes toward human rights in a sample from Taiwan. International Social Work, 1, 1-14. https://doi.org/10.1177/0020872817725138 Cubillos-Vega, C., Ferran-Aranaz, M., Mercado-García, E. y Pastor-Seller, E. (2017). Nociones y compromiso con los derechos humanos en estudiantes de Trabajo Social en España. Revista Mexicana de Investigación Educativa, 22(75), 1047-1075. Dias, M. A. R. (2010). ¿Quién creó este monstruo? Educación y globalización: sus relaciones con la sociedad. Revista Iberoamericana de Educación Superior, 1(2), 3-19. http://www.ohchr.org/SP/Issues/Education/EducationTraining/Pages/NationalActionPlansHumanRightsEducation.aspx http://www.ohchr.org/SP/Issues/Education/EducationTraining/Pages/NationalActionPlansHumanRightsEducation.aspx C. Cubillos-Vega y M. Ferrán-Aranaz 48 Díaz-Barriga, A. (2006). El enfoque de competencias en la educación: ¿Una alternativa o un disfraz de cambio?. Perfiles Educativos, 28(111), 7-36. Dickinson, P. y Adams J. (2017). Values in evaluation. The use of rubrics. Evaluation and Program Planning, 65, 113–116. https://doi.org/10.1016/j.evalprogplan.2017.07.005 Equitas y ACNUDH. (2010). Cómo evaluar las actividades de capacitación en derechos humanos. Manual para educadores en derechos humanos. Montreal: Equitas y ACNUDH. Facione, P. (2000). Critical thinking: A statement of expert consensus for purposes of educational assessment and instruction (The Delphi Report). Recuperado de https://philpapers.org/archive/FACCTA.pdf Facione, P. (2007). Pensamiento Crítico: ¿Qué es y por qué es importante? Insight Assessment, 2007, 23-56. Fernández, M. (2017). Educación en derechos humanos: compromiso ético-político con la democracia. Revista Interdisciplinar de Direitos Humanos, 5(2), 183-208. Fraile, J., Pardo, R. y Panadero, E. (2017). ¿Cómo emplear las rúbricas para implementar una verdadera evaluación formativa? Revista Complutense de Educación, 28(4), 1321-1334. https://doi.org/10.5209/RCED.51915 Freire, P. (2012). Pedagogía del oprimido. Madrid: Siglo XXI. Gallo, A. M. (2004). 5 Simple Steps to Designing a Rubric. Strategies, 17(5), 21-24. García-Sanz, M. (2014). La evaluación de competencias en Educación Superior mediante rúbricas: un caso práctico. Revista Electrónica Interuniversitaria de Formación del Profesorado, 17(1), 87- 106. Galtung, J. (1990). Cultural violence. Journal of Peace Research, 27(3), 291-305. Gatica-Lara, F. y Uribarren-Berrueta, T. (2013). ¿Cómo elaborar una rúbrica? Investigación en Educación Médica, 2(1), 61-65. Guzmán, Y. Flores, R. y Tirado, F. (2012). La evaluación de la competencia argumentativa en foros de discusión en línea a través de rúbricas. Innovación Educativa, 12(60), 17-40. Hung, R. (2014). Toward an affective pedagogy of human rights education. Journal of Pedagogy, 5(1), 48-64. https://doi.org/10.2478/jped-2014-0003 Kurfiss, J. G. (1988). Critical thinking: Theory, research, practice and possibilities. ASHE-ERIC Higher Education, Report No. 2. Washington, DC: Association for the Study of Higher Education. Lai, E. (2011). Critical Thinking: A Literature Review Research Report. Londres: Pearson. Lipnevich, A., McCallen, L, Miles, K. y Smith, J. (2014). Mind the gap! Students’ use of exemplars and detailed rubrics as formative assessment. Instructional Science, 42, 539–559. Llovet, M., Prat, N., Boixadós, A. y Parra, B. (2014). La rúbrica como instrumento para mejorar la aprehensión, el desarrollo y la evaluación del pensamiento analítico en el Grado de Trabajo Social. En E. Pastor Seller (Ed.), El Trabajo Social ante el reto de la crisis y la educación superior (pp.157-166). Madrid: Universitas. Løkke, M. (2012). The Human Rights Education Toolbox. A Practitioner’s Guide to Planning and Managing Human Rights Education. Copenague: The Danish Institute for Human Rights. López, G. (2012). Pensamiento crítico en el aula. Docencia e Investigación, 27(22), 41-60. Magendzo, A. (2003). Pedagogía Crítica y Educación en Derechos Humanos. Paulo Freire. Revista de Pedagogía Crítica, 2(2), 19-27. Revista Iberoamericana de Evaluación Educativa 49 Magendzo, A. (2011). Educación en derechos humanos, un desafío impostergable. En F. Cousiño y A. Foxley (Eds.), Políticas Públicas para la Infancia (pp. 101-119). Santiago de Chile: UNESCO. Marzo, L. y Sabariego, M. (2013). Compromiso ético. En J. Alsina (Coord). Rúbricas para la evaluación de competencias (pp. 17-23). Barcelona: ICE y Ediciones Octaedro. Mauri, T., Colomina, R y de Gispert, I. (2014). Transformando las tareas de escritura colaborativa en oportunidades para aprender: ayuda educativa y uso de rúbricas en la Educación Superior. Cultura y Educación, 26(2), 298-348. Mujica, R. (2002). La metodología de Educación en Derechos Humanos. Instituto Interamericano de Derechos Humanos. Recuperado de: http://www.dhnet.org.br/educar/mundo/a_pdf/mujica_metodologia_educacion.pdf McFarland, S. y Mathews, M. (2005). Who cares about human rights? Political Psychology, 26(3), 365-385. McPherson, J. y Abell, N. (2012). Human rights engagement and exposure new scales to challenge social work education. Research on Social Work Practice, 22(6), 704-713. Moskal, B. (2000). Scoring Rubrics: What, When and How? Practical Assessment. Research & Evaluation, 7(3), 1-5. Nipperess, S. (2013). Human rights: a challenge to critical social work practice and education. Recuperado de https://espace.curtin.edu.au/handle/20.500.11937/479 Orellana-Peña, CM. (2014). Médicos humanistas. Persona y Bioética, 18(1), 57-69. Panadero, E. y Jonsson, A. (2013). The use of scoring rubrics for formative assessment purposes revisited: A review. Educational Research Review, 9, 129–144. Papadakis, S. Kalogiannakis, M. y Zaranis, N. (2017). Designing and creating an educational app rubric for preschool teachers. Education and Information Technologies, 22(6), 3147-3165. Paul, R. y Elder, L. (2005). Estándares de competencia para el pensamiento crítico. Estándares, Principios, Desempeño, Indicadores y Resultados. Con una Rúbrica Maestra en el Pensamiento Crítico. San Francisco, CA: Fundación para el pensamiento crítico. Picornell-Lucas, A. (2014). La coevaluación de competencias en el Grado en Trabajo Social mediante el uso de la rúbrica. Azarbe. Revista Internacional de Trabajo Social y Bienestar, 3, 7- 14. Popham, J. (1997). What´s Wrong and What´s right with rubrics. Educational Leadership, octubre, 72-75. Rivas, S. y Saiz, C. (2012). Validación y propiedades psicométricas de la prueba de pensamiento crítico PENCRISAL. REMA. Revista Electrónica de Metodología Aplicada, 17(1), 18-34. Rubio, M. (2012). La evaluación del aprendizaje en la enseñanza de los derechos humanos. Ciudad de México: Comisión de Derechos Humanos del Distrito Federal. Saba, R. (2012). Pobreza, derechos y desigualdad estructural. Ciudad de México: Suprema Corte de Justicia de la Nación. Salgado-García, E. (2012). Enseñanza para la comprensión en la educación superior: la experiencia de una universidad costarricense. Revista Iberoamericana de Educación Superior (RIES), 3(8), 34-50. C. Cubillos-Vega y M. Ferrán-Aranaz 50 Sogi, C., Zavala, S. y Ortiz, P. (2005). ¿Se puede medir el aprendizaje de la ética médica? Anales de la Facultad de Medicina, 66(2), 174-185. Tibbitts, F. y Kirchschlaeger, P. (2010). Perspectives of Research on Human Rights Education. Journal of Human Rights Education, 2(1), 8-29. Tibbitts, F. (2002). Understanding what we do: Emerging models for human rights education. International Review of Education, 48(3-4), 159-171. Torres, J. y Perera, V. (2010). La rúbrica como instrumento pedagógico para la tutorización y evaluación de los aprendizajes en el foro online en educación superior. Pixel-Bit. Revista de Medios y Educación, 36, 141-149. Trace, J., Meier, V. y Janssen, G. (2016). “I can see that”: Developing shared rubric category interpretations through score negotiation. Assessing Writing, 30, 32–43. Wang, J. y Rairigh, R. (2006). Using instructional rubrics in physical education. Teaching Elementary Physical Education, Mayo, 41-46. Willingham, D. T. (2007). Critical thinking: Why is it so hard to teach? American Educator, 31(2), 8-19. Revista Iberoamericana de Evaluación Educativa 51 Apéndice 1 Cuadro 3. Rúbrica para valorar la resolución de casos prácticos relativos a Derechos Humanos (Rúbrica RECAPRADH) Ítem CRITERIOS DE VALORACIÓN Muy bien (4) Bien (3) Regular (2) Insuficiente (1) COMPROMISO A Sustenta sus argumentos en principios de derechos humanos, profundizando en las ideas Sustenta sus argumentos en principios de derechos humanos, pero no profundiza en las ideas Menciona algún principio de los derechos humanos, pero no profundiza en las ideas No alude a principios de los derechos humanos B Destaca su adhesión a los principios de los derechos humanos Se adhiere a los principios de los derechos humanos Mínima adhesión a los principios de los derechos humanos No se aprecia adhesión a los principios de los derechos humanos C Aplica correctamente aspectos teóricos de los DH, profundizando en las ideas Aplica aspectos teóricos, aunque con alguna confusión o sin profundizar en las ideas Aplica superficial o escasamente aspectos teóricos o parece no comprenderlos. No hace referencia a aspectos teóricos de los DH D Todas las soluciones propuestas se enmarcan en el enfoque de los derechos humanos Algunas soluciones se pueden integrar en el enfoque de derechos humanos Proporciona soluciones que no se enmarcan en el enfoque de derechos humanos No proporciona soluciones o estas son incompatibles con un enfoque de derechos humanos PENSAMIENTO CRÍTICO E Identifica claramente una o más formas de desigualdad estructural y/o violencia estructural Insinúa alguna forma de desigualdad estructural y/o violencia estructural Solo identifica alguna situación de desigualdad formal o de violencia cultural No identifica situaciones de desigualdad / solo identifica formas de violencia directa F Reconoce matices, diversas perspectivas o aspectos contrastados, profundizando en las ideas Reconoce matices, diversas perspectivas o aspectos contrastados, pero sin profundizar en las ideas Señala diversos aspectos o matices, sin argumentar sus ideas No señala matices o aspectos contrastados G Identifica causas y efectos de los problemas, profundizando en las ideas Identifica causas y efectos, pero sin profundizar en las ideas Identifica causas y efectos, sin argumentar No identifica causas ni efectos / confunde ambos conceptos H Proporciona opiniones razonadas, profundizando en las ideas Proporciona opiniones razonadas, pero sin profundizar en las ideas Proporciona opiniones, pero no las argumenta /éstas son estereotipadas / o los argumentos son incongruentes No proporciona opiniones Fuente: Elaboración propia. C. Cubillos-Vega y M. Ferrán-Aranaz 52 Breve CV de las autoras Carla Cubillos Vega Trabajadora Social. Master en Trabajo Social Comunitario, evaluación y gestión de servicios sociales. En la actualidad es investigadora predoctoral y colaboradora honorífica del Departamento de Trabajo Social y Servicios Sociales de la Facultad de Trabajo Social, Universidad Complutense de Madrid. Sus principales líneas de investigación son la educación en derechos humanos, el enfoque de derechos, la ética en el ámbito de la intervención social, y las tecnologías reproductivas. ORCID ID: 0000-0002-3306-8787. Email: carlacub@ucm.es Magdalena Ferrán Aranaz Licenciada en Ciencias Matemáticas y Doctora por la Universidad Complutense de Madrid. Profesora Titular de la Facultad de Estudios Estadísticos de la UCM. Sus líneas de investigación son análisis multivariante, series temporales, modelos estadísticos en el mercado inmobiliario y aplicaciones de la Estadística en las Ciencias Sociales. ORCID ID: 0000-0001-8582-3193. Email: maenafer@estad.ucm.es