La calidad de la docencia percibida por el alumnado y el profesorado universitarios: análisis de la dimensionalidad de un cuestionario de evaluación docente
Loading...
Official URL
Full text at PDC
Publication date
2020
Advisors (or tutors)
Editors
Journal Title
Journal ISSN
Volume Title
Publisher
Universidad Nacional de Educación a Distancia (UNED)
Citations
Exportar
Citation
Castro Morera, M., Navarro Asencio, E., & Blanco Blanco, A. (2020). La calidad de la docencia percibida por el alumnado y el profesorado universitarios: análisis de la dimensionalidad de un cuestionario de evaluación docente. Educación XX1: Revista de la Facultad de Educación, 23(2), 41-65. https://doi.org/10.5944/EDUCXX1.25711
Abstract
Tras 75 años de investigación sobre los cuestionarios de evaluación de los estudiantes sobre la enseñanza, se mantiene abierto el debate sobre su dimensionalidad. Esta cuestión tiene importantes repercusiones, tanto teóricas (para la validación del constructo “calidad de la docencia”) como prácticas (asociándose ventajas a las medidas unidimensionales para fines sumativos y a las multidimensionales para fines formativos).
La presente investigación se propone un análisis de la dimensionalidad de un cuestionario estándar de evaluación de la docencia por parte del alumnado; así como completar el análisis del constructo calidad de la docencia añadiendo la perspectiva del profesorado, profundizando en la naturaleza de lo que unos y otros perciben como una docencia de calidad.
La doble perspectiva adoptada en este estudio se sustenta en el uso del mismo cuestionario de valoración de la actividad docente con los dos colectivos implicados, profesores y estudiantes de la Universidad Complutense de Madrid (UCM). Se analizan un total de 125.155 encuestas cumplimentadas por estudiantes de grado y máster de la UCM en el curso 2016-2017. La muestra de profesorado incluye las respuestas de los 666 profesores participantes en el Programa DOCENTIA-UCM que impartían clase en grado y máster durante el curso 2016-2017.
Los análisis que se presentan están centrados en la dimensionalidad de los cuestionarios aplicados mediante Análisis Factorial Exploratorio (AFE), aportando una aproximación analítica actualizada que se alinea con las buenas prácticas recomendadas en el presente para los estudios que hacen uso de AFE de ítems ordinales en estudios de validación.
Los resultados muestran que la estructura interna del cuestionario para alumnado se define sobre la base de un solo factor que explica 73,4% de la varianza, denominado Calidad de la Docencia. Los resultados para el cuestionario del profesorado sugieren una configuración bidimensional del constructo calidad de la docencia, explicando el 63,912% de la varianza extraida. Estos dos factores se denominaron Competencia docente general y Desarrollo específico de la propuesta docente, que muestra una perspectiva más diferenciada o matizada que el alumnado en su visión del constructo.
After 75 years of research on student assessment questionnaires on teaching, the debate on their dimensionality is still open. This question has important implications, both theoretically (for the validation of the “quality of teaching” construct) and practically (with advantages associated with one-dimensional measures for summative purposes and multi-dimensional measures for training purposes). The present research proposes an analysis of the dimensionality of a standard questionnaire for the evaluation of teaching by students; as well as completing the analysis of the quality of teaching construct by adding the perspective of the teaching staff, deepening the nature of what some perceive as quality teaching. The double perspective adopted in this study is based on the use of the same teaching activity assessment questionnaire with the two groupsinvolved, professors and students at the Complutense University of Madrid(UCM). A total of 125,155 surveys completed by UCM undergraduate andmaster students in the 2016-2017 academic year are analyzed. The sample of professors includes the answers of the 666 professors participating in the DOCENTIA-UCM Program who taught undergraduate and master’s courses during the 2016-2017 academic year. The analyses presented are focused on the dimensionality of thequestionnaires applied by means of Exploratory Factor Analysis (AFE), providing an updated analytical approach that is aligned with the good practices recommended in the present for studies that make use of AFE of ordinal items in validation studies. The results show that the internal structure of the student questionnaire is defined on the basis of a single factor that explains 73.4% of the variance, called Teaching Quality. The results for the teacher questionnaire suggest a two-dimensional configuration of the teaching quality construct, explaining 63.912% of the variance extracted. These two factors were called General teaching competence and Specific development of the teaching proposal, which shows a more differentiated or nuanced perspective than the students in their view of the construct.
After 75 years of research on student assessment questionnaires on teaching, the debate on their dimensionality is still open. This question has important implications, both theoretically (for the validation of the “quality of teaching” construct) and practically (with advantages associated with one-dimensional measures for summative purposes and multi-dimensional measures for training purposes). The present research proposes an analysis of the dimensionality of a standard questionnaire for the evaluation of teaching by students; as well as completing the analysis of the quality of teaching construct by adding the perspective of the teaching staff, deepening the nature of what some perceive as quality teaching. The double perspective adopted in this study is based on the use of the same teaching activity assessment questionnaire with the two groupsinvolved, professors and students at the Complutense University of Madrid(UCM). A total of 125,155 surveys completed by UCM undergraduate andmaster students in the 2016-2017 academic year are analyzed. The sample of professors includes the answers of the 666 professors participating in the DOCENTIA-UCM Program who taught undergraduate and master’s courses during the 2016-2017 academic year. The analyses presented are focused on the dimensionality of thequestionnaires applied by means of Exploratory Factor Analysis (AFE), providing an updated analytical approach that is aligned with the good practices recommended in the present for studies that make use of AFE of ordinal items in validation studies. The results show that the internal structure of the student questionnaire is defined on the basis of a single factor that explains 73.4% of the variance, called Teaching Quality. The results for the teacher questionnaire suggest a two-dimensional configuration of the teaching quality construct, explaining 63.912% of the variance extracted. These two factors were called General teaching competence and Specific development of the teaching proposal, which shows a more differentiated or nuanced perspective than the students in their view of the construct.
Description
Referencias bibliográficas:
• Alhija, F.N.A. (2017) Guest editor introduction to the special issue “Contemporary evaluation of teaching: Challenges and promises”. Studies in Educational Evaluation, 54, 1-3.
• Apodaca, P., y Grad, H. (2002). Análisis dimensional de las opiniones de los alumnos universitarios sobre sus profesores: comparación entre técnicas paramétricas y noparamétricas. Revista de Investigación educativa, 20(2), 385-409.
• Apodaca, P., y Grad, H. (2005). The dimensionality of student ratings of teaching: integration of uni‐and multidimensional models. Studies in Higher Education, 30(6), 723-748.
• ANECA (s.f.). Docentia: descripción.
• Bandalos, D.L., & Finney, S. J. (2018). Factor analysis: Exploratory and confirmatory. En G.R. Hancock & R.O. Mueller (Eds.), The reviewer’s guide to quantitative methods in the social sciences. (pp. 93-104). Routledge.
• Basto, M., y Pereira, J. M. (2012). An SPSS R-menu for ordinal factor analysis. Journal of statistical software, 46(4), 1-29.
• Benton, S.L. y Cashin, W.E. (2014). Student ratings of instuction in college and university courses En M.B. Paulsen (Ed.). Higher Education: Handbook of Theory and Research, v. 29, (pp. 279–326). Springer.
• Casero, A. (2008). Propuesta de un cuestionario de evaluación de la calidad docente universitaria consensuado entre alumnos y profesores. Revista de Investigación Educativa, 26(1), 25-44.
• Casero, A. (2016). Deconstrucción del “buen profesor”. Análisis de las características formales y no formales de la docencia universitaria. RELIEVERevista Electrónica de Investigación y Evaluación Educativa, 22(2). http://dx.doi.org/10.7203/relieve.22.2.9419.
• Elosua, P. y Zumbo, B. (2008). Coeficientes de fiabilidad para escalas de respuesta categórica ordenada. Psicothema, 20(4), 896-901.
• Escudero, T. (2000). La evaluación y mejora de la enseñanza en la universidad: otra perspectiva. Revista de Investigación Educativa, 18(2), 405-416.
• Feldman, K.A. (1988). Effective college teaching from the students’ and faculty’s view: Matched or mismatched priorities? Research in Higher Education, 28(4), 291-329.
• Gadermann, A.M., Guhn, M., & Zumbo, B. (2012). Estimating ordinal reliability for Likert-type and ordinal item response data: a conceptual, empirical, and practical guide. Practical Assessment, Research & Evaluation, 17(3).
• Godstein, G. S., &; Benassi, V. A. (2006). Students’ and instructors’ beliefs about excellent lecturers and discussion leaders. Research in Higher Education, 47, 685– 707.
• Hu, L., &; Bentler, P. (1999). Cutoff criteria for fit indexes in Covariances Structures Analysis: conventional criteria versus new alternatives. Structural Equation Modeling, 61, 1-55.
• Izquierdo, I., Olea, J., & Abad, F.J. (2014). Exploratory Factor Analysis in validation studies: uses and recommendations. Psicothema, 26(3), 395-400. http://dx.doi.org/10.7334/psicothema2013.349
• Jornet, J., Suárez, J.M., González, J., y Pérez, A. (1996). Evaluación de la actividad universitaria. En G. Quintas (Coord.), Educación, reforma y evaluación de la universidad. (pp. 189-244). Universitat de Valencia.
• Jornet, J.; González Such, J., y Bakieva, M. (2012). Los resultados de aprendizaje como indicador para la evaluación de la calidad de la docencia universitaria. Reflexiones metodológicas. Revista Iberoamericana de Evaluación Educativa, 5(2), 100-115.
• Lizasoain-Hernández, L.; Etxeberria-Murgiondo, J., &; Lukas-Mujika, J. F. (2017). A proposal for a new questionnaire for the evaluation of teachers at the University of the Basque Country. Dimensional, differential and psychometric study. RELIEVE, 23(2), art. 1. https://doi.org/10.7203/relieve.23.2.10436
• Lloret, S., Ferreres, A., Hernández, A., & Tomás, I. (2017). The exploratory factor analysis of items: Guided analysis based on empirical data and software. Anales de Psicología, 33(2), 417-432.
• Lloret-Segura, S., Ferreres-Traver, A., Hernández-Baeza, A. y Tomás-Marco, I. (2014). El análisis factorial exploratorio de los ítems: una guía práctica, revisada y actualizada. Anales de Psicología, 30(3), 1151-1169.
• López-Cámara, A. B., González-López, I., y de León-Huertas, C. (2015). Un análisis factorial exploratorio para la construcción de un modelo de indicadores de evaluación docente universitaria. Cultura y Educación, 27(2), 337-371.
• Mayorga, M.J. y Madrid, D. (2008). Evaluación de la docencia: aproximación a una realidad educativa en la universidad. Enseñanza, 26, 99-122.
• Mayorga, M.J.; Gallardo, M., y Madrid, D. (2018). Cómo construir un cuestionario para evaluar la docencia universitaria. Estudio empírico. Universitas Tarroconensis. Revista de Ciències de l’Educació, 2, 6-22. https://doi.org/10.17345/ute.2016.2.974
• Molero, D. y Ruíz, J. (2005). La evaluación de la docencia universitaria. Dimensiones y variables más relevantes. Revista de Investigación Educativa, 23(1), 57-84.
• Moreno-Murcia, J.A.; Silveira, Y., & Belando, N. (2015). Questionnaire evaluating teaching competencies in the university environment. Evaluation of teaching competencies in the university. New Approaches In Educational Research, 4(1) 54-61.
• Muñoz, J.M., Ríos de Deus, M.P. y Abalde, E. (2002). Evaluación docente vs. Evaluación de la calidad. RELIEVE: Revista Electrónica de Investigación y Evaluación Educativa, 8(2).
• Murillo, F.J. (2008). La Evaluación del Profesorado Universitario en España. Revista Iberoamericana de Evaluación Educativa, 1(3), 29-45.
• Onwuegbuzie, A. J., Daniel, L. G., & Collins, K. M. (2009). A metavalidation model for assessing the score-validity of student teaching evaluations. Quality & Quantity, 43(2), 197-209.
• Onwuegbuzie, A.J.; Witcher, W.A.E.;Collins, K.M.T.; Filer, J.D.; Wiedmaier, C.D., & Moore, C.W (2007). Students’ perceptions of characteristics of effective college teachers: a validity study of a teaching evaluation form using a mixed-method analysis. American Educational Research Journal, 44, 113-160.
• Ordóñez, R. y Rodríguez, M.R. (2015). Docencia en la universidad: valoraciones de los estudiantes de la Universidad de Sevilla. Bordón. Revista de Pedagogía, 3(67), 85-101.
• Perales, M.J., Jornet, J.M. y González, J. (2014). Tendencias en las políticas de formación y evaluación del profesorado en la Educación Superior en España. En Revista Iberoamericana de Evaluación Educativa, 2 (Especial), 53-64.
• Pozo, C., Giménez, M.L. y Bretones, B. (2009). La evaluación de la calidad docente en el nuevo marco del EEES. Un estudio sobre la encuesta de opinión del Programa DOCENTIAANDALUCÍA, Educación XXI, 11, 43-64.
• Rodríguez-Gómez, G. (2000). La evaluación de la actividad docente en la universidad: entre el sueño y la realidad. Revista de investigación educativa, 18(2), 417-432.
• Spooren, P., Brockx, B., & Mortelmans, D. (2013). On the validity of student evaluation of teaching: The state of the art. Review of Educational Research, 83(4), 598-642.
• Spooren, P., Vandermoere, F., Vanderstraeten, & Pepersmans, K. (2017). Exploring high impact scholarship in research on students evaluation of teaching (SET). Educational Research Review, 22, 129-141.
• Tejedor, F. J. y García- Valcárcel, A. (1996). La evaluación de la calidad de la docencia universitaria en el marco de la evaluación institucional desde la perspectiva del alumno. En F.J. Tejedor y J.L. Rodríguez Diéguez, (Coords), Evaluación educativa II: Evaluación institucional fundamentos teóricos y aplicaciones prácticas. (pp. 93-122). IUCE.
• Tejedor, F. J. y Jornet, J. M. (2008). La evaluación del profesorado universitario en España. Revista Electrónica de Investigación Educativa, Especial
• Tejedor, F.J. (2003). Un modelo de evaluación del profesorado universitario. Revista de Investigación Educativa, 21(1), 157-182.
• Tejedor, F.J. (2009). Evaluación del profesorado universitario: enfoque metodológico y algunas aportaciones de la investigación. Estudios sobre Educación- ESE, 16, 74-102