Raters’ Judgments Reliability in the Spotlight : Assessment Challenges in Pronunciation Research within ESP Teaching

Abstract

ABSTRACT: Many researchers nowadays study pronunciation as a means to improving second language students’ communicative skills. Native listeners’ perception tasks are considered a reliable tool although their veracity has been questioned due to the listeners’ subjectivity and/or the type of task performed. The present study investigates the effectiveness of explicit rhythm instruction to Spanish/Catalan bilinguals who were engineering undergraduates to improve their comprehensibility and fluency in English. For this purpose, seven native speakers of English rated the extemporaneous speeches of forty-two students before and after instruction via a 5-point scale. Students were divided into an experimental group, receiving explicit rhythm instruction, and a control group, which did not. Unexpectedly, results showed that the experimental group was less comprehensible after treatment, and that the control group improved more than the experimental group in terms of fluency. However, previous results obtained by different acoustic analyses suggested further improvement in experimental students’ learning process. Hence, the use of a mixed-method assessment is encouraged to support human judgments.

RESUMEN: Actualmente, muchos investigadores estudian la pronunciación como medio para mejorar las habilidades comunicativas de estudiantes de segundas lenguas. Las pruebas de percepción con oyentes nativos se consideran una herramienta fiable, aunque su veracidad ha sido cuestionada debido a la subjetividad de los oyentes y/o al tipo de tarea realizada. El presente estudio investiga la eficacia de la instrucción explícita de ritmo en estudiantes de ingeniería bilingües español/catalán para mejorar su comprensión y fluidez en inglés. Para ello, siete hablantes nativos de inglés calificaron los discursos improvisados de cuarenta y dos estudiantes antes y después de la instrucción mediante una escala de 5 puntos. Los estudiantes se dividieron en un grupo experimental, que recibió instrucción explícita de ritmo, y un grupo de control, que no la recibió. Sorprendentemente, los resultados mostraron que el grupo experimental fue menos comprensible después del tratamiento, y que el grupo de control mejoró más que el grupo experimental en términos de fluidez. Sin embargo, resultados previos obtenidos mediante diferentes análisis acústicos sugirieron una mayor mejora en el proceso de aprendizaje de los estudiantes del grupo experimental. Por lo tanto, se recomienda el uso de una evaluación de métodos mixtos para respaldar los juicios humanos.