AIEM -Avances de Investigación en Educación Matemática -2021, 20, 89-103 POEMat.ES: Pauta de observación de la enseñanza de matemáticas en educación secundaria en España Studying and improving Mathematics instruction in secondary schools in Spain study group (grupo de estudio SiMiS1) 1 Real Colegio Complutense, Harvard University (Estados Unidos) -------------------------------------------------------------------------------------------- POEMat.ES: Pauta de observación de la enseñanza de matemáticas en educación secundaria en España Resumen El objetivo de este artículo es presentar y justificar el diseño de POEMat.ES, una pauta de obser- vación de acciones del profesor de matemáticas en clase. POEMat.ES ha sido desarrollado por un gru- po de investigadores con perfiles diversos en cuanto a experiencia docente e investigadora, a fin de sistematizar la observación de la práctica de enseñanza para entender e interpretar con precisión el proceso de enseñanza de matemáticas en educación secundaria en el contexto español. El diseño de POEMat.ES se ha basado en modelos específicos del conocimiento del profesor de matemáticas. La construcción del instrumento se aborda desde dos aproximaciones complementarias: se proponen cate- gorías de observación de acciones del profesor desde una revisión sistemática de la literatura, y se re- definen, refinan y validan a través de los visionados de vídeos. Palabras clave. Pauta de observación; enseñanza de matemáticas; educación secundaria; práctica docente; desarrollo profesional. POEMat.ES: Observational tool of mathematics teaching in secondary education in Spain Abstract The purpose of this paper is to present and justify the design of POEMat.ES, an observational tool of the mathematics teacher's actions in the classroom. POEMat.ES was developed by a group of re- searchers with diverse profiles in terms of teaching and research experience, with the aim of systematiz- ing the observation of teaching practice in order to understand and accurately interpret the process of teaching mathematics in secondary education in the Spanish context. POEMat.ES design is based on specific models of mathematics teacher knowledge. The construction of the tool is based on two com- plementary approaches: from a systematic literature review, categories of observation of teacher's ac- tions are proposed through systematic literature review, and categories are then redefined, refined and validated through the viewing of videos. Keywords. Observational tool; mathematics teaching; secondary education; teaching practice; pro- fessional development. 1. Introducción y antecedentes En los últimos años, numerosas investigaciones se han centrado en diseñar instru- mentos para estudiar acciones del profesorado a través de observaciones sistemáticas en el aula. En 2018, ZDM Mathematics Education dedicó un número al estudio de si- nergias y complementariedades de una docena de instrumentos de observación (Chara- lambous y Praetorius, 2018). Para comparar dichos instrumentos, los autores utilizan un guion a modo de pauta de observación para analizar tres episodios de vídeo de cla- ses de matemáticas de grado 4 (estudiantes de 9-10 años) de tres profesores estadouni- denses abordando un contenido distinto cada uno. Charalambous y Praetorius finalizan su revisión haciendo un llamamiento al trabajo colaborativo y a la búsqueda de catego- rías para entender y estudiar las prácticas de enseñanza de las matemáticas. Ninguno POEMat.ES: Pauta de observación de la enseñanza de matemáticas 90 de los instrumentos descritos en su compilación ha sido desarrollado ni utilizado para la observación de aulas en España. En 2018, expertos en evaluación de instituciones educativas mexicanas y chilenas presentaron Promate, una pauta de observación de clases de matemáticas con profeso- res noveles. La idea de partida del grupo era utilizar instrumentos de observación de clases en la evaluación y formación en cursos de formación continua (Barriendos et al., 2018). Aunque esta pauta se basa en el instrumento Mathematics Quality Instruction (Hill, Ball et al., 2008), diseñado para analizar la calidad de la enseñanza de matemáti- cas en Estados Unidos, trata de adaptarse tanto al contexto formativo como a los nive- les educativos y a la cultura escolar y académica mexicana y chilena (Martínez-Videla y Perdomo-Díaz, 2019). Recientemente, se ha presentado en la revista Enseñanza de las Ciencias un ins- trumento diseñado para caracterizar el conocimiento matemático del profesorado para enseñar probabilidad en Educación Primaria a partir del análisis de la práctica. IOC- PROB (Vásquez-Ortiz et al., 2020) se desarrolla para el área de la probabilidad y no incorpora explícitamente aspectos culturales de un sistema educativo concreto. Encontramos otros proyectos para comprender la práctica docente en diferentes áreas de conocimiento, particularmente en matemáticas. La Organización para la Cooperación y el Desarrollo Económicos (OCDE) en 2016 puso en marcha el estudio internacional TALIS Vídeo, http://www.oecd.org/education/school/talisvideostudy.htm, con el objetivo comprender qué prácticas docentes se utilizan, cómo se interrelacionan y cuáles están más relacionadas con el rendimiento académico de los estudiantes (OECD, 2018). TALIS Vídeo utiliza la observación basada en vídeo para obtener una visión de la enseñanza y del aprendizaje. Ese estudio abarca ocho sistemas escolares (Chile, China, Colombia, Alemania, Japón, México, España y Reino Unido), y se utili- zan procedimientos estandarizados para garantizar el análisis comparativo al no pre- tender analizar aspectos singulares de la enseñanza de matemáticas de cada sistema. Es necesario considerar instrumentos para analizar las acciones de los profesores de matemáticas que capturen particularidades de su enseñanza en Educación Secunda- ria en España. Ante esta necesidad, se forma el grupo de estudio SiMiS (Studying and improving Mathematics instruction in secondary schools in Spain, https://rcc.harvard.edu/studying-and-improving-mathematics-instruction-secondary- schools-spain-simis), firmante de este artículo, consolidado en junio de 2017 como grupo de estudio dentro del Real Colegio Complutense (centro universitario de la Uni- versidad Complutense de Madrid, afiliado a Harvard University, en adelante RCC). El RCC tenía, a finales de 2016, especial interés en la formación de un grupo de estudio de Didáctica de la Matemática con el objetivo de comprender y mejorar la en- señanza de matemáticas en Educación Secundaria en España. El propósito del grupo SiMiS es sistematizar la observación de la práctica de los profesores de matemáticas en esta etapa. Se plantea como punto de partida la identificación de elementos de la práctica del profesor en clase que podrían facilitar la caracterización de la práctica do- cente. En este artículo se describe el proceso de diseño de una nueva pauta de observa- ción, POEMat.ES (Pauta de Observación de la Enseñanza de Matemáticas en Educa- ción Secundaria en España), y se reflexiona sobre cómo ha emergido desde la obser- vación de la práctica y la discusión desde diferentes aproximaciones teóricas. En la segunda sección del artículo se describe globalmente el proceso de construc- ción en cinco etapas de POEMat.ES; en la tercera sección, se explicitan sus bases teó- http://www.oecd.org/education/school/talisvideostudy.htm https://rcc.harvard.edu/studying-and-improving-mathematics-instruction-secondary-schools-spain-simis https://rcc.harvard.edu/studying-and-improving-mathematics-instruction-secondary-schools-spain-simis SiMiS study group 91 rico-metodológicas (etapas 1 y 2); en la cuarta sección, se describen en detalle los pa- sos de la construcción de la primera versión de la pauta (etapa 3); y en la quinta sec- ción, se presenta el proceso iterativo de refinamiento y validación del instrumento abordado en las dos etapas finales del diseño de su versión última (POEMat.ES-III). Acabamos con reflexiones sobre posibilidades de trabajo futuro. 2. Descripción global del proceso de construcción de POEMat.ES POEMat.ES es una pauta de observación diseñada para identificar elementos de la práctica del profesor de matemáticas de secundaria en el contexto español a través de la observación de sus acciones en el aula grabadas en vídeo. Según la categorización de Charalambous y Praetorius (2018), para analizar herramientas de observación de clases de matemáticas, el modelo POEMat.ES es analítico híbrido con aspectos de ob- servación pedagógicas generales y específicas de educación matemática. Así, recoge información sobre acciones en el aula del profesor en cuanto a contenido matemático, didáctica del contenido matemático y gestión de aula. Estas tres dimensiones están or- ganizadas en 17 indicadores; cada uno se puede valorar en cuatro niveles de desempe- ño que describen características concretas de acciones del profesor. El instrumento in- cluye, además, ejemplos de cada nivel de desempeño de cada indicador. El proceso de construcción de POEMat.ES (Tabla 1) consta de cinco etapas clara- mente diferenciadas desarrolladas a lo largo de tres años por parte del grupo de estu- dio, que incorpora profesores de matemáticas de secundaria y formadores de maestros e investigadores en el área de educación matemática. En diferentes momentos del pro- ceso de construcción, se contó con la participación de especialistas externos, tanto co- nocedores como no conocedores del sistema escolar en España, lo cual promovió dis- cusiones relevantes en la validación cualitativa del instrumento. Tras crearse el grupo de estudio, se recopilan 33 vídeos de clases de matemáticas de secundaria de unos 50 minutos cada uno. Fueron grabados 12 profesores, en su ma- yoría de centros públicos de tres regiones, abordando 12 temas, desde grado 7 hasta grado 12. Cuatro de los vídeos han sido facilitados por el proyecto METE (Andrews et al., 2005). El hecho de usar estos vídeos se basa en la disponibilidad y en su represen- tatividad de la enseñanza de matemáticas en el contexto español. Hubo dificultades para conseguir grabaciones de aula y, dado que miembros del grupo de estudio tenían acceso y permisos para usar ese material, consideramos útil contar con ellos. Si bien se trata de vídeos que pueden estar desactualizados (porque ha habido cambios en la le- gislación educativa), entendemos que esencialmente recogen formas de enseñar mate- máticas en el contexto español. Un vez recopilados y organizados, los vídeos recogidos se segmentan en un total de 129 episodios de unos 10 minutos, siguiendo criterios que se explican más adelante. POEMat.ES: Pauta de observación de la enseñanza de matemáticas 92 Tabla 1. Etapas del proceso de construcción de POEMat.ES Etapa Responsables Tareas Fechas Producto 1 Grupo de coordinación RCC Revisión inicial de literatura, planteamiento del problema, búsqueda de especialistas para formar el grupo de estudio Enero-mayo 2017 Grupo de estudio SiMiS 2 Grupo de estudio SiMiS Revisión de literatura sobre instrumentos de observación y conocimiento del profesor, re- cogida, edición y primer visionado de vídeos Junio- diciembre 2017 Tres dimensiones 3 SiMiS y exper- tos externos al sistema escolar español Visionado de vídeos, construcción y refina- miento de indicadores y niveles, redacción de ejemplos, estancia en RCC, validación cuali- tativa Enero-agosto 2018 POEMat.ES-I 4 SiMiS y exper- tos externos conocedores del sistema escolar español Refinamiento cíclico de indicadores y niveles, compleción de ejemplos, reuniones interme- dias en gran grupo, validación cualitativa Septiembre 2018-mayo 2019 POEMat.ES-II 5 SiMiS Proceso Delphi Junio 2019- enero 2020 POEMat.ES-III La construcción de la pauta se aborda con dos aproximaciones complementarias. Por un lado, se realizan revisiones sistemáticas de la literatura que dan lugar a la pro- puesta de categorías de observación de acciones del profesor (top-down). Por otro lado, se realizan visionados de vídeos para refinar y validar las categorías iniciales, incluso para proponer nuevas categorías que emergen de observar la práctica docente (bottom- up). Esta doble aproximación es cíclica en varias fases durante las etapas 2, 3 y 4 del proceso de construcción, teniendo más peso la revisión teórica en la etapa 2 y la obser- vación de la práctica en las etapas 3 y 4. La validación del contenido del instrumento es continua desde la etapa 3 y combina técnicas cualitativas y cuantitativas (a través de un proceso Delphi en la etapa 5 no descrito aquí). 3. Comienza la investigación: Sentando las bases del proceso de construcción del instrumento En esta sección se describen las dos primeras etapas del proceso de construcción del instrumento, en las que se fundamenta metodológica y teóricamente el trabajo. La primera etapa consiste en la constitución del grupo de coordinación amparado institu- cionalmente por el RCC. Este grupo, formado por los dos coordinadores actuales del grupo de estudio SiMiS, se encarga inicialmente de abordar una tarea de revisión de literatura sobre modelos de conocimiento del profesor de matemáticas y sobre estudios con foco en la enseñanza de matemáticas. Es claro que el conocimiento del profesor tiene impacto directo en la práctica de enseñanza, por tanto, se consideró importante conocer y escoger referentes teóricos sobre modelos de conocimiento que ayudaran, más adelante, a diseñar el instrumento de observación de la práctica. En este punto, el grupo de coordinación se encargó de contactar con formadores de profesorado de matemáticas en España para constituir el grupo de estudio. Se tiene en cuenta que todos los especialistas seleccionados ejerzan como profesores e investiga- dores en universidades públicas españolas asociadas en aquel momento al RCC (https://simisrcc.wordpress.com); se trata de una muestra de conveniencia en la que los https://simisrcc.wordpress.com/ SiMiS study group 93 formadores participan voluntariamente. Los miembros del grupo tienen una experien- cia media de 18 años como docentes en matemáticas (10 años en programas de forma- ción inicial de profesorado de matemáticas). La experiencia investigadora en didáctica de las matemáticas supera los 10 años de media y más de la mitad de los miembros del grupo tienen experiencia en observación de aula. Una vez conformado el grupo SiMiS, comienza la segunda etapa del proceso de construcción de POEMat.ES desde una aproximación que conjuga, cíclicamente, revi- siones de literatura y visionados de vídeos de práctica de aula. Se amplía la revisión de literatura a estudios relacionados con la gestión de aula y con instrumentos de observa- ción del docente, especialmente aquellos que han sido diseñados para observar leccio- nes de matemáticas en secundaria. Durante esta etapa se trabaja en grupos de 3 a 5 ex- pertos y se organizan reuniones en gran grupo presencialmente o en línea. Usando esta forma de trabajo, comienza el visionado de vídeos de clases de matemáticas para com- plementar, desde la observación de la práctica in situ, la propuesta de dimensiones de observación. Este doble abordaje da lugar a una primera versión de la estructura del instrumento en tres dimensiones: Contenido matemático, Didáctica del contenido ma- temático y Gestión de aula. Esta estructura en tres dimensiones permite acotar el pro- blema de la identificación de elementos de la práctica del profesor, siempre teniendo en cuenta que, aunque la separación facilita el análisis, las tres dimensiones están inter- relacionadas (Karsenty y Arcavi, 2017). Durante esta segunda etapa se lleva a cabo también la recopilación de vídeos. Se decide usar grabaciones en vídeo porque pueden capturar y preservar varios aspectos de la interacción en el aula, en particular aquellos que tienen que ver con las acciones del profesor: lenguaje no verbal, uso de la pizarra, acciones derivadas de preguntas o actitudes de los estudiantes, entre otros; según Planas (2006), Un vídeo puede mostrar cómo no se cede la palabra a un alumno que levanta la mano para participar, cómo se gestionan y consideran los errores conceptuales de dos alumnos dis- tintos, cuáles son las diferencias en las demandas de tareas a los diferentes alumnos, etc. y, además, puede mostrar cambios en las relaciones entre participantes producidos en pe- riodos breves (p. 42). La grabación en vídeo también permite la observación repetida del mismo evento, dando la oportunidad de realizar análisis desde diferentes perspectivas como microaná- lisis o análisis profundos de eventos puntuales (Planas, 2006; Roschelle, 2000). Aun- que se ha tratado de considerar una muestra representativa en cuanto a experiencia do- cente y formación de los profesores, contenidos matemáticos abordados, cursos o tipo de centro, la elección de los participantes ha sido por conveniencia. Solo un centro de la muestra no es público. Salvo un profesor en prácticas, el resto cuenta con al menos 2 años de experiencia docente (4 profesores cuentan con más de 10 años). Aproximada- mente el 60 % de la muestra son graduados o licenciados en Ciencias Matemáticas, el resto son ingenieros o físicos. Tras la lectura de Schoenfeld (2000), se decide recortar cada vídeo en episodios de unos 10 minutos, siguiendo como criterio principal el cam- bio de objetivos del profesor. En relación con los referentes teóricos que han sido más relevantes en la fase ini- cial del proceso de construcción de POEMat.ES, pese a que se ha considerado la di- mensión pedagógica relativa a la gestión de aula, las referencias de mayor peso y en concreto las propias del área científica de educación matemática pertenecen a la inves- tigación sobre conocimiento del profesor, práctica de enseñanza y contenido matemá- tico. Como se ve en la Tabla 2, apenas ha habido revisión de la literatura sobre gestión POEMat.ES: Pauta de observación de la enseñanza de matemáticas 94 de aula y la que se ha considerado es de tipo generalista (e. g. sobre gestión que el pro- fesor hace del uso de la pizarra en su práctica de enseñanza), no específica para el caso de gestión de aulas de matemáticas, esto es, donde contenidos de la enseñanza son de matemáticas. Los indicadores son también, por tanto, generalistas y un punto de parti- da para futuros trabajos donde esta dimensión se deberá atender en profundidad y con la especificidad propia del aula de matemáticas. Tabla 2. Organización de las dimensiones de observación y referencias clave Dimensiones Indicadores iniciales Referencias Contenido matemático Registros de representación. MTSK-MK: Cono- cimiento de los temas (KoT), Registros de repre- sentación. MKT-MQI: Richness of mathematics, mathematical representation. Knowledge Quar- tet: Transformation, choice of representations Duval (1993), Hill, Blunk et al. (2008), Rowland et al. (2009), Carrillo et al. (2018) Práctica matemática. MTSK-MK: Conocimiento de la práctica matemática (KPM), validación y demostración. MKT-MQI: Richness of mathe- matics, mathematical practices (proof & reason- ing). Knowledge Quartet: Connections. Video- LM: Lens 1. Mathematical and meta- mathematical ideas Escudero et al. (2014), Rowland et al. (2009), Carrillo et al. (2018), Hill, Blunk et al. (2008), Karsenty y Arcavi (2017) Discurso matemático. MTSK-MK: Conocimien- to de la práctica matemática (KPM), Uso de lenguaje formal. MKT-MQI: Mathematical lan- guage Carrillo et al. (2018), Hill, Ball et al. (2008), Hill, Blunk et al. (2008), Planas et al. (2018) Errores. MKT-MQI: Mathematics errors Hill, Ball et al. (2008), Barrien- dos et al. (2018) Didáctica del contenido matemático Tareas. MTSK-PCK: Conocimiento de la ense- ñanza de las matemáticas (KMT), Estrategias, técnicas, tareas y ejemplos. MKT-MQI: Rich- ness of mathematics. Video-LM: Lens 3. Tasks. IQA: Task potential, Task implementation Hill, Ball et al. (2008), Sullivan et al. (2010), Karsenty y Arcavi (2017), Boston y Candela (2018), Carrillo et al. (2018) Respuesta a intervención de alumno. MTSK- PCK: Conocimiento de las características de aprendizaje (KFLM). MKT-MQI: Responding to students. Knowledge Quartet: Contingency. Vid- eo-LM: Lens 4. Interactions. IQA: Teacher link- ing, Mathematical residue Ma (1999), Hill, Ball et al. (2008), Rowland et al. (2009), Karsenty y Arcavi (2017), Bos- ton y Candela (2018), Carrillo et al. (2018) Cesión de responsabilidad. Video-LM: Lens 4. Interactions. IQA: Teacher press, Student provi- ding, Student linking Brousseau (1998), Llinares (2013), Karsenty y Arcavi (2017), Boston y Candela (2018) Gestión de aula Uso de libro de texto. Knowledge Quartet: Foundations, adherence to textbook Rowland et al. (2009), Lepik et al. (2015), Villella y Contreras (2005) Gestión de pizarra Greiffenhagen (2014) Gestión de conducta disruptiva Jurado y Olmos (2012) Bajo la premisa de que la práctica del profesor se sustenta en su conocimiento, se ha partido del posicionamiento general de Shulman (1986) sobre el conocimiento del profesor, si bien los dos modelos específicos que han permeado el diseño de POE- SiMiS study group 95 Mat.ES son los modelos Mathematical Knowledge for Teaching (MKT, Thames y Ball, 2010) y Mathematics Teachers’ Specialised Knowledge (MTSK, Carrillo et al., 2018). Ambos distinguen dos componentes del conocimiento del profesor: el conoci- miento de la materia y el conocimiento pedagógico de la materia, si bien la diferencia entre ambos modelos radica en la consideración del conocimiento especializado. Den- tro de los estudios de la enseñanza de matemáticas que incorporan observaciones del aula, se han considerado los que surgen con fin evaluativo o formativo. De los prime- ros, destacamos los trabajos de los grupos de Ball y Hill en los que explotan un ins- trumento de evaluación de la calidad de la enseñanza de matemáticas en el contexto estadounidense llamado MQI, acrónimo de Mathematical Quality of Instruction, aso- ciado al modelo de conocimiento MKT (Hill, Ball et al., 2008). Dentro de los segun- dos, se han considerado los trabajos del grupo de Karsenty y Arcavi (2017) y del equi- po de Llinares (2013). Además, se ha estudiado el instrumento Instructional Quality Assessment (IQA) descrito en Boston y Candela (2018), cuyo diseño pone el foco en el potencial y la implementación de la tarea y en las interacciones entre estudiantes y pro- fesor. La Tabla 2 organiza las referencias que han determinado la definición de las tres dimensiones de observación y que han dado lugar a los indicadores de POEMat.ES, que emergen durante la etapa 3. 4. Primera versión: POEMat.ES-I Tras la aproximación inicial desde la revisión teórica, en la etapa 3 del proceso de construcción de POEMat.ES se concretan los indicadores que emergen de la observa- ción de la práctica, manteniendo referencias teóricas para definirlos y justificarlos. Así, el peso del trabajo durante esta fase, desarrollada durante una estancia de parte del grupo en el RCC en julio de 2018, lo ocupa el continuo visionado de vídeos y las dis- cusiones en pequeño y gran grupo. Los miembros del grupo utilizan las sucesivas ver- siones de la pauta de observación para analizar diferentes episodios. Durante esta etapa, cada investigador realiza de forma autónoma el visionado del episodio correspondiente tomando anotaciones sobre la plantilla del instrumento (en sus sucesivas versiones). Tras cada visionado, se desarrollan discusiones en gran grupo con la técnica de grupo nominal, un método estructurado para la generación de ideas en grupo que fomenta las contribuciones de todos los participantes y facilita un acuer- do rápido (McMillan et al., 2016, p. 656). Se trata de poner en común las ideas que emergen de los visionados en las discusiones, así, las sesiones de discusión dan lugar a la creación y refinamiento de indicadores, a la descripción de los niveles de desempeño de cada uno, y a la redacción de los primeros ejemplos para cada nivel de cada indica- dor. Este proceso iterativo deriva en el cierre de la primera versión completa de POE- Mat.ES (POEMat.ES-I). La Tabla 3 recoge los indicadores definidos en esta primera versión de la pauta; se aprecia una concreción de los indicadores iniciales. Por ejem- plo, el indicador inicial Práctica Matemática se concreta en un indicador más preciso, Flexibilidad Matemática. Este indicador pretende recoger si, durante el fragmento ana- lizado, el profesor usa distintas estrategias para una misma tarea, independientemente de si son representadas en el mismo o en diferentes registros. Se entiende por flexibili- dad matemática la capacidad de generar varias estrategias para una tarea, idealmente comparándolas explícitamente y reflexionando sobre las características de cada una (Rittle-Johnson y Star, 2007). En esta etapa, se realizó una evaluación de los observadores. Tras cada visionado y para cada indicador, se hallaba la moda sobre el global de valoraciones, así los obser- vadores eran evaluados según su grado de acuerdo con la mayoría. El objetivo de esta POEMat.ES: Pauta de observación de la enseñanza de matemáticas 96 evaluación continuada es doble: por un lado, se promueve que cada observador justifi- que sus valoraciones con base en su interpretación de los indicadores y niveles (revi- sando la redacción a lo largo del proceso para tratar de obtener una formulación que no dé lugar a ambigüedades); por otro lado, se garantiza que todos los observadores ten- gan una visión unificada sobre cada elemento de POEMat.ES-I. En las sucesivas visualizaciones, los observadores cuentan con una ficha de la se- sión del episodio que van a valorar con información del profesor (datos personales, años de experiencia docente y formación académica), de la sesión (fecha, curso, grupo, centro, tema y breve descripción) y datos técnicos de la grabación (duración, formato y calidad). De esta forma se pretende que consideren lo que pueden ver y escuchar. Co- mo en Karsenty y Arcavi (2017), no se trata de evaluar ni de juzgar al profesor; siem- pre se asume que su práctica actúa a favor del máximo beneficio de los alumnos. Tam- poco se persigue demostrar una supuesta mejor práctica; se trata de identificar elemen- tos de la práctica del profesor que podrían facilitar su caracterización. Al finalizar la etapa 3, cada observador había visualizado 29 episodios. En algunas reuniones participaron expertos externos al grupo de España, Estados Unidos, Israel, Argentina y Finlandia. Esta participación, con algunos especialistas desconocedores del contexto español, fue enriquecedora y relevante. Por ejemplo, tras el visionado conjunto de un episodio con expertos finlandeses y estadounidenses emergieron indi- cadores que no habían sido considerados por el grupo de estudio, tales como Densidad matemática dentro de Gestión de aula. Este indicador, también considerado por otros autores de instrumentos de observación como el MQI (Hill, Ball et al., 2008), mide la razón del tiempo dedicado a la enseñanza de matemáticas respecto al tiempo total, pero ignora la intensidad, profundidad o calidad del tratamiento del contenido matemático durante ese tiempo. Cabe tener en cuenta que la valoración se realiza en base al frag- mento observado, por tanto, se refiere al tiempo efectivo del episodio. La Figura 1 muestra los cuatro niveles de desempeño correspondientes al indicador Flexibilidad matemática en la versión actual de POEMat.ES. 0 No se desarrolla ninguna tarea matemática o se desarrollan usando en cada caso solamente una argumentación o estrategia de resolu- ción. 1 El profesor presenta o admite varias argumentaciones o estrategias de resolución para una misma tarea matemática, sin compararlas ex- plícitamente. 2 El profesor presenta o admite varias argumentaciones o estrategias de resolución para una misma tarea matemática, comparándolas ex- plícitamente sin reflexionar sobre las características de cada una. 3 El profesor presenta o admite varias argumentaciones o estrategias de resolución para una misma tarea matemática, comparándolas ex- plícitamente y reflexionando sobre las características de cada una. Figura 1. Niveles de desempeño del indicador Flexibilidad Matemática Los cuatro niveles de desempeño no obedecen a una escala ordinal, sin embargo, para ciertos indicadores, niveles altos indican una alineación mayor con los estándares de enseñanza y aprendizaje considerados por nuestro grupo. Se incluyen, además, para cada indicador, los primeros ejemplos en cada nivel. La Figura 2 muestra los ejemplos de cada nivel para el indicador Flexibilidad matemática. SiMiS study group 97 0 El profesor resuelve ecuaciones de una única manera: 3(x + 1) = 9 ⇒ 3x + 3 = 9 ⇒ 3x = 6 ⇒ x = 2 1 El profesor resuelve una ecuación de dos maneras diferentes, pero no las compara: 3(x + 1) – 9 → 3x + 3 – 9 → 3x – 6 → x – 2 3(x + 1) = 9 ⇒ x + 1 = 3 ⇒ x = 2 2 El profesor escribe las dos estrategias anteriores en paralelo y las compara para mostrar que no son la misma, pero no reflexiona sobre la bondad de cada una. 3 El profesor escribe las dos estrategias anteriores en paralelo y las compara para indicar que no son la misma, indicando que, si bien la primera estrategia es más sistemática, la segunda es más rápida en este caso particular. Figura 2. Ejemplos para cada nivel en Flexibilidad matemática La etapa 3 culmina, al finalizar la estancia del grupo en el RCC, con una primera versión de la pauta de observación: POEMat.ES-I. Esta versión incluye 3 dimensiones y 17 indicadores, y cada indicador se valora en 4 niveles de desempeño. La Tabla 3 incluye los indicadores considerados en cada fase de diseño del instrumento de obser- vación, desde el origen ya comentado hasta la versión actual POEMat.ES-III. Tabla 3. Evolución de los indicadores de la pauta Dimensiones Indicadores Iniciales POEMat.ES I POEMat.ES III Contenido Matemático Registros de representación. Práctica matemática. Discurso matemático. Errores. 1.1. Uso de representaciones. 1.2. Tratamiento de representa- ciones. 1.3. Conversión de re- presentaciones. 1.4. Definicio- nes. 1.5. Razonamiento. 1.6. Flexibilidad matemática. Pregunta Sí/No: “Ha observado errores del profesor en el frag- mento”. 1.1. Uso de representacio- nes. 1.2. Conversión de representaciones. 1.3. De- finiciones. 1.4. Argumen- tación. 1.5. Flexibilidad matemática. 1.6. Conexio- nes. 1.7. Errores matemáti- cos del profesor. Didáctica del contenido matemático Tareas. Respuesta a intervención de alumno. Cesión de responsabilidad. 2.1. Uso de recurso TIC/ mani- pulativo. 2.2. Naturaleza de las tareas. 2.3. Secuenciación y co- nexiones. 2.4. Contextualización de contenido matemático. 2.5. Cesión de responsabilidad de actividad matemática. 2.6. Len- guaje matemático. 2.7. Explota- ción didáctico-matemática de intervención de alumno. 2.1. Uso de materiales. 2.2. Naturaleza de las tareas. 2.3. Contextualización de contenido matemático. 2.4. Cesión de responsabilidad de actividad matemática. 2.5. Adecuación del dis- curso. 2.6. Explotación de intervención de alumno. Gestión de aula Uso de libro de texto. Gestión de pizarra. Gestión de conducta disruptiva. 3.1. Densidad. 3.2. Gestión de recursos. 3.3. Uso de material escrito. 3.4. Gestión de conducta disruptiva. 3.1. Densidad. 3.2. Uso de recurso expositivo. 3.3. Uso de material escrito. 3.4. Gestión de conducta disruptiva. POEMat.ES: Pauta de observación de la enseñanza de matemáticas 98 5. Refinamiento y validación iterativa: POEMat.ES-II y POEMat.ES-III Durante la etapa 4, se realiza un proceso de refinamiento de los indicadores y de sus niveles y se revisan en profundidad los ejemplos. Se trabaja en grupos pequeños de 3 a 5 observadores que ven y analizan con POEMat.ES-I episodios de forma indepen- diente para luego organizar reuniones de consenso mediante la técnica de grupo nomi- nal si hay discrepancias. Durante las reuniones de consenso, se consideran seis niveles de acuerdo en las valoraciones de cada indicador y vídeo. Puede ocurrir que los obser- vadores coincidan espontáneamente en su valoración de un indicador; esto es lo que hemos llamado coincidencia, nivel 1. Si no se produce esta coincidencia, pero a través de una breve discusión los observadores llegan a un acuerdo, es una coincidencia, ni- vel 2. En este segundo nivel, el desacuerdo suele ser por un problema técnico de al- guno de los observadores al volcar su valoración (coincidencia, nivel 2a) o por un des- piste (coincidencia, nivel 2b). El resto de situaciones requieren de discusiones más ela- boradas por parte del equipo de observadores concreto que, en base a todas las ideas de cada miembro, busca una valoración común que puede ser de consenso (consenso, ni- vel 3) o de desacuerdo (desacuerdo nivel 4a si solo un observador discrepa, o desacuerdo nivel 4b si hay mayor discrepancia). Además, se celebran dos reuniones en gran grupo, una en la mitad de la etapa, en la que se discuten modificaciones del ins- trumento a partir de los análisis cuantitativos de los porcentajes de los niveles de acuerdo definidos en las valoraciones de los episodios, y otra al final, en la que se cie- rra una segunda versión de la pauta: POEMat.ES-II (formada de nuevo por 17 indica- dores organizados en las tres dimensiones iniciales). Comienza en ese momento la etapa 5 de construcción del instrumento de observa- ción, en la que se procede a analizar y validar los indicadores a través de un proceso Delphi con la formación de un panel de expertos constituido por los miembros del grupo de estudio SiMiS. La etapa 5 culmina con la construcción del instrumento POEMat.ES-III, que puede consultarse en https://roderic.uv.es/handle/10550/78572. Aunque es en esta etapa donde se acomete la validación del instrumento desde una perspectiva cuantitativa, el proceso global de desarrollo del instrumento se ha acompa- ñado de un proceso de validación cualitativa. Como cualquier instrumento de este tipo, POEMat.ES-III es una herramienta que, si bien deriva de un proceso cíclico de revi- siones sucesivas, es susceptible de ser mejorado en el futuro. 6. Conclusiones En este artículo se han mostrado momentos de la evolución del instrumento de ob- servación POEMat.ES a través de la descripción del proceso de diseño. Esta descrip- ción puede resultar útil para otros estudios similares, al tiempo que sirve como base de futuros trabajos basados en la explotación de POEMat.ES. En línea con la fundamentación del diseño de otros instrumentos de observación de lecciones de matemáticas (e. g. Hill, Ball et al. 2008; Vásquez Ortiz et al., 2020), nuestro diseño ha conjugado el visionado de fragmentos de vídeos con la revisión sis- temática de literatura, dando lugar a una serie de indicadores tales como: establecer metas enfocadas al aprendizaje; implementar tareas que promuevan el razonamiento y la resolución de problemas; usar y vincular representaciones matemáticas; favorecer el discurso matemático significativo; plantear preguntas que promuevan el razonamiento y den sentido al conocimiento matemático; potenciar la fluidez procedimental a partir de la comprensión conceptual; favorecer el esfuerzo productivo en el aprendizaje de matemáticas, dando apoyo al alumno; evaluar y utilizar evidencias del pensamiento de https://roderic.uv.es/handle/10550/78572 SiMiS study group 99 alumnos para adecuar la enseñanza. El hecho de que el diseño se haya basado en el análisis de vídeos de clases en España ha contribuido a que la pauta recoja rasgos ca- racterísticos y diferenciadores de la enseñanza de matemáticas en este contexto, tales como el uso de libro de texto. Si bien la observación no sistemática de vídeos de otros países (vimos alguno durante las discusiones con expertos externos) permite intuir que otros elementos relativos a la dimensión Gestión de aula, así como al indicador Cesión de responsabilidad de actividad matemática pueden dar lugar a particularidades. Para analizar la especificidad de algunos indicadores, en el futuro convendrá comparar nuestros análisis con el análisis de fragmentos de clase de otros países. Durante el proceso de diseño del instrumento se ha estudiado la práctica de la en- señanza de matemáticas a través de la observación por parte de componentes del grupo de estudio. En trabajos futuros basados en el uso de POEMat.ES, sería interesante en- trenar a observadores para abordar estudios más ambiciosos en cuanto al número de profesores informantes. Por ello, el instrumento incluye, para cada nivel de cada indi- cador, un ejemplo ilustrativo de ayuda al observador en su valoración. POEMat.ES tiene un importante potencial en la formación de profesorado. La formación inicial de profesorado de matemáticas en España incluye, en todas las uni- versidades, un periodo de prácticas durante el cual se debe observar la práctica de uno o varios profesores en sus clases. A menudo, los estudiantes tienen dificultades para observar, por lo que puede ser útil introducir en clases teóricas los fundamentos del diseño del presente instrumento para que los futuros docentes dispongan de una pauta orientadora. El uso de POEMat.ES para analizar la propia práctica es también prome- tedor, como lo están siendo otras herramientas (Boston y Candela, 2018). El desarrollo de la investigación que ha conducido al diseño de la actual versión del instrumento de observación tiene ciertas limitaciones, algunas basadas en las difi- cultades a la hora de obtener grabaciones de clase. En España no existe una cultura consolidada de observación por pares entre docentes, y para grabar una clase es nece- sario contar con varios permisos (por parte de las administraciones públicas, así como de los centros y de las familias). Sin embargo, es importante contar con estos vídeos que, como se deduce de este estudio, son valiosos para el desarrollo de investigaciones con impacto potencial en la formación del profesorado. Sin duda la recopilación de más vídeos y su posterior análisis con la versión actual del instrumento, POEMat.ES- III, permitirá revisar su diseño, en particular para la dimensión relativa a la gestión de aula, que es la que ha dado lugar a menos revisiones a lo largo del proceso de diseño y construcción descrito en este trabajo. Agradecimientos A los profesores y estudiantes; al apoyo institucional y financiero del Real Colegio Complutense (RCC) de Harvard; a los especialistas externos Dimitri Tuom, Peter Hästö y Riikka Palkki, University of Oulu, Finlandia; Bárbara M. Brizuela, Tufts Uni- versity, Estados Unidos; Heather C. Hill, Harvard University, Estados Unidos; Rafael Ramírez, Universidad de Granada; Sara Galán, Alliance High School at Haifa, Israel; a la financiación parcial de “Conocimiento especializado del profesorado de matemáti- cas y formación del profesorado” RTI2018-096547-B-I00, AEI, España. POEMat.ES: Pauta de observación de la enseñanza de matemáticas 100 Referencias Andrews, P., Carrillo, J. y Climent, N. (2005). Proyecto METE (Mathematics Educa- tion Traditions of Europe): El foco matemático. En A. Maz, B. Gómez y M. To- rralbo (eds.), IX Simposio de la Sociedad Española de Educación Matemática (pp. 131-138). SEIEM. Barriendos, A., Berger, B., Domínguez, E. y Martínez, M. V. (2018). Manual Proma- te. Pauta de observación de clases de Matemáticas impartidas por profesores principiantes. Centro de Investigación Avanzada en Educación. Boston, M. y Candela, A. (2018). The Instructional Quality Assessment as a tool for reflecting on instructional practice. ZDM Mathematics Education, 50(3), 427-444. https://doi.org/10.1007/s11858-018-0916-6 Brousseau, G. (1998). Théorie des Situations Didactiques. La Pensée Sauvage. Carrillo, J., Climent, N., Montes, M., Contreras, L. C., Flores-Medrano, Escudero- Ávila, D., Vasco, D., Rojas, N., Flores, P., Aguilar-González, A., Ribeiro, M. y Muñoz-Catalán, M. C. (2018). The Mathematics Teacher’s Specialised Knowledge (MTSK) model. Research in Mathematics Education, 20(3), 236-253. https://doi.org/10.1080/14794802.2018.1479981 Charalambous, C. Y. y Praetorius, A. K. (2018). Studying mathematics instruction through different lenses: Setting the ground for understanding instructional quality more comprehensively. ZDM Mathematics Education, 50(3), 355-366. https://doi.org/10.1007/s11858-018-0914-8 Duval, R. (1993). Registres de représentation sémiotique et fonctionnement cognitif de la pensée. Annales de Didactique et de Science Cognitives, 5, 37-65. Escudero, I. M., Gavilán, J. M. y Sánchez-Matamoros, G. (2014). Una aproximación a los cambios en el discurso matemático generados en el proceso de definir. RELIME, 17(1), 7-32. https://doi.org/10.12802/relime.13.1711 Greiffenhagen, C. (2014). The materiality of mathematics: Presenting mathematics at the blackboard. The British Journal of Sociology, 65(3), 502-528. https://doi.org/10.1111/1468-4446.12037 Hill, H. C., Ball, D. L. y Schilling, S. G. (2008). Unpacking pedagogical content knowledge: Conceptualizing and measuring teachers’ topic-specific knowledge of students. Journal for Research in Mathematics Education, 39(4), 372-400. Hill, H. C., Blunk, M. L., Charalambous, C. Y., Lewis, J. M., Phelps, G. C., Sleep, L. y Ball, D. L. (2008). Mathematical Knowledge for Teaching and the Mathematical Quality of Instruction: An exploratory study. Cognition and Instruction, 26(4), 430-511. https://doi.org/10.1080/07370000802177235 Jurado, P. y Olmos, P. (2012). Comportamientos disruptivos y proceso de aprendizaje del alumnado en Educación Secundaria Obligatoria. En J. A. Gonzalez-Pienda, C. Rodríguez, D. Alvarez, R. Cerezo, E. Fernández, M. Cueli, T. García, E. Tuero y N. Suárez (eds.), Learning disabilities: Present and future (pp. 926-936). Univer- sidad de Oviedo. Karsenty, R. y Arcavi, A. (2017). Mathematics lenses and videotapes: A framework and a language for developing reflective practices of teaching. Journal of Mathe- matics Teacher Education, 20, 433-455. https://doi.org/10.1007/s10857-017-9379-x https://doi.org/10.1007/s11858-018-0916-6 https://doi.org/10.1080/14794802.2018.1479981 https://doi.org/10.1007/s11858-018-0914-8 https://doi.org/10.12802/relime.13.1711 https://doi.org/10.1111/1468-4446.12037 https://doi.org/10.1080/07370000802177235 https://doi.org/10.1007/s10857-017-9379-x SiMiS study group 101 Lepik, M., Grevholm, B. y Viholainen, A. (2015). Using textbooks in the mathematics classroom. The teachers’ view. Nordic Studies in Mathematics Education, 20(3-4), 129-156. Llinares, S. (2013). Professional noticing: A component of the mathematics teacher’s professional practice. Journal of Education, 1(3), 6-93. Ma, L. (1999). Knowing and teaching elementary mathematics: Teachers’ understand- ing of fundamental mathematics in China and the United States. Lawrence Erl- baum. https://doi.org/10.4324/9781410602589 Martínez-Videla, M. V., y Perdomo-Díaz, J. (2019). Construcción y validación de una pauta de observación de clases de Matemáticas. En J. M. Marbán, M. Arce, A. Maroto, J. M. Muñoz-Escolano y Á. Alsina (eds.), Investigación en Educación Matemática XXIII (p. 631). SEIEM. McMillan, S. S., King, M. y Tully, M. P. (2016). How to use the nominal group and Delphi techniques. International Journal of Clinical Pharmacy, 38(3), 655-662. https://doi.org/10.1007/s11096-016-0257-x OECD (2018). What does teaching look like? A new video study. Teaching in Focus, 20. OECD. Planas, N. (2006). Modelo de análisis de videos para el estudio de procesos de cons- trucción de conocimiento matemático. Educación Matemática, 18(1), 37-72. Planas, N., Arnal-Bailera, A. y García-Honrado, I. (2018). El discurso matemático del profesor: ¿Cómo se produce en clase y cómo se puede investigar? Enseñanza de las Ciencias, 36(1), 45-60. https://doi.org/10.5565/rev/ensciencias.2240 Rittle-Johnson, B. y Star, J. R. (2007). Does comparing solution methods facilitate conceptual and procedural knowledge? An experimental study on learning to solve equations. Journal of Educational Psychology, 99(3), 561-574. https://doi.org/10.1037/0022-0663.99.3.561 Roschelle, J. (2000). Choosing and using video equipment for data collection. En A. Kelly y R. Lesh (eds.), Handbook of Research Design in Mathematics and Science Education (pp. 709-729). Lawrence Erlbaum. Rowland, T., Turner, F., Thwaites, A. y Huckstep, P. (2009). Transformation: Using examples in mathematics teaching. Developing Primary Mathematics Teaching: Reflecting on Practice with the Knowledge Quartet (pp. 67-100). Sage. https://doi.org/10.4135/9781446279571.n4 Schoenfeld, A. (2000). Models of the teaching process. Journal of Mathematical Be- havior, 18(3), 243-261. https://doi.org/10.1016/S0732-3123(99)00031-0 Shulman, L. S. (1986). Those who understand: Knowledge growth in teaching. Educa- tional Researcher, 15(2), 4-14. https://doi.org/10.3102/0013189X015002004 Sullivan, P., Clarke, D., Clarke, B. y O’Shea, H. (2010). Exploring the relationship between task, teacher actions, and student learning. PNA, 4(4), 133-142. Thames, M. H. y Ball, D. L. (2010). What math knowledge does teaching require? Teaching Children Mathematics, 17(4), 220-229. https://doi.org/10.5951/TCM.17.4.0220 Vásquez Ortiz, C. A., Alsina, Á., Pincheira Hauck, N. G., Gea Serrano, M. M. y Chandia Muñoz, E. (2020). Construcción y validación de un instrumento de obser- vación de clases de probabilidad. Enseñanza de las Ciencias, 38(2), 25-43. https://doi.org/10.5565/rev/ensciencias.2820 https://doi.org/10.4324/9781410602589 https://doi.org/10.1007/s11096-016-0257-x https://doi.org/10.5565/rev/ensciencias.2240 https://doi.org/10.1037/0022-0663.99.3.561 https://doi.org/10.4135/9781446279571.n4 https://doi.org/10.1016/S0732-3123(99)00031-0 https://doi.org/10.3102/0013189X015002004 https://doi.org/10.5951/TCM.17.4.0220 https://doi.org/10.5565/rev/ensciencias.2820 POEMat.ES: Pauta de observación de la enseñanza de matemáticas 102 Villella, J. A. y Contreras, L. C. (2005). La selección y uso de libros de texto: Un desa- fío para el profesional de la enseñanza de la matemática. Gaceta de la RSME 8(2), 419-433. Referencias de los autores Nuria Joglar, Universidad Complutense de Madrid (España). njoglar@ucm.es Irene Ferrando, Universitat de València (España). irene.ferrando@uv.es Miguel A. Abánades, Universidad Rey Juan Carlos (España). miguelan- gel.abanades@urjc.es Blanca P. Arteaga, Universidad Nacional de Educación a Distancia (España). blanca.arteaga@edu.uned.es Víctor Barrera, Universidad de Sevilla (España). vjbarrera@us.es Juan M. Belmonte, Universidad Complutense de Madrid (España). belmonte@ucm.es Rafael Crespo, Universitat de València (España). rafael.crespo@uv.es Ignacio A. Fernández, Universidad Complutense de Madrid (España). ignfer07@ucm.es Aránzazu Fraile, Universidad de Alcalá (España). arantzazu.fraile@uah.es Esperanza Hernández, Universidad Complutense de Madrid (España). esperahe@ucm.es M. Mar Liñán, Universidad de Sevilla (España). mlinan@us.es Jesús Macías, Universidad Complutense de Madrid (España). j.macias@ucm.es M. Cinta Muñoz-Catalán, Universidad de Sevilla (España). mcmunozcatalan@us.es Marta Pla-Castells, Universitat de València (España). marta.pla@uv.es Mónica Ramírez, Universidad Complutense de Madrid (España). monica.ramirez@edu.ucm.es Carlos Segura, Universitat de València (España). carlos.segura@uv.es Piedad Tolmos, Universidad Rey Juan Carlos (España). piedad.tolmos@urjc.es Jon Star, Harvard University (Estados Unidos). jon_star@gse.harvard.edu mailto:njoglar@ucm.es mailto:irene.ferrando@uv.es mailto:miguelangel.abanades@urjc.es mailto:miguelangel.abanades@urjc.es mailto:blanca.arteaga@edu.uned.es mailto:vjbarrera@us.es mailto:belmonte@ucm.es mailto:rafael.crespo@uv.es mailto:ignfer07@ucm.es mailto:arantzazu.fraile@uah.es mailto:esperahe@ucm.es mailto:mlinan@us.es mailto:j.macias@ucm.es mailto:mcmunozcatalan@us.es mailto:marta.pla@uv.es mailto:monica.ramirez@edu.ucm.es mailto:carlos.segura@uv.es mailto:piedad.tolmos@urjc.es mailto:jon_star@gse.harvard.edu SiMiS study group 103 POEMat.ES: Observational tool of mathematics teaching in secondary education in Spain Studying and improving Mathematics instruction in secondary schools in Spain study group (grupo de estudio SiMiS) Our research group, Studying and improving Mathematics instruction in secondary schools in Spain (SiMiS), was created in June 2017 as a study group affiliated to Real Colegio Complutense (a Spanish center associated with Harvard University). The aim of this group was to design an instrument for observing mathematics teaching practic- es, with the particularity, compared to other existing instruments, to collect and repre- sent particularities of the cultural context of the classroom lessons. The instrument was initially constructed using a top-down approach, with systematic literature reviews leading to three dimensions of instructional practice. Then, a bottom-up approach was adopted in the work with video observations in order to refine and validate the initial indicators and to propose newer ones. This dual approach occurred iteratively across several stages of the process. Overall, the validation of the tool content combined qual- itative and quantitative techniques through a Delphi process at the very end. The com- pleted instrument, POEMat.ES allows for a culturally sensitive analysis of Spanish secondary mathematics instruction. Observational indicators include the prevalence of the use of textbooks, the efficiency of instructional time devoted to mathematical work, and the frequency of student engagement into autonomous mathematical work. POEMat.ES consists of three dimensions and 17 indicators, with each indicator graded into 4 levels. Moreover, our instrument has potential for productive use in initial teacher training and professional development. When prospective teachers first ob- serve school lessons of mathematics, it is often difficult to observe significant events and processes. It may thus be appropriate to use POEMat.ES as a framework to help them ground their observations and interpretations of mathematics instructional prac- tice. POEMat.ES might also be used as an analytical tool to articulate the design of formative tasks in teacher training programs, as well as to analyze teachers’ own prac- tice, which is a promising line of study.