2026-06-08T21:56:55Zhttps://docta.ucm.es/rest/oai/requestoai:docta.ucm.es:20.500.14352/1312202026-01-29T00:57:56Zcom_20.500.14352_14col_20.500.14352_15
Docta Complutense
author
Quesada Vázquez, Leticia
2026-01-28T17:31:56Z
2026-01-28T17:31:56Z
2025
Quesada Vázquez, Leticia. «Raters’ Judgments Reliability in the Spotlight : Assessment Challenges in Pronunciation Research within ESP Teaching». Babel – AFIAL, n.º 34, 2025, pp. 137-63, https://doi.org/10.35869/ba.v0i34.6060.
1132-7332
10.35869/ba.v0i34.6060
https://hdl.handle.net/20.500.14352/131220
2660-4906
https://doi.org/10.35869/ba.v0i34.6060
https://revistas.uvigo.es/index.php/AFIAL/article/view/6060https://revistas.uvigo.es/index.php/AFIAL/indexhttps://revistas.uvigo.es/
ABSTRACT: Many researchers nowadays study pronunciation as a means to improving second language students’ communicative skills. Native listeners’ perception tasks are considered a reliable tool although their veracity has been questioned due to the listeners’ subjectivity and/or the type of task performed. The present study investigates the effectiveness of explicit rhythm instruction to Spanish/Catalan bilinguals who were engineering undergraduates to improve their comprehensibility and fluency in English. For this purpose, seven native speakers of English rated the extemporaneous speeches of forty-two students before and after instruction via a 5-point scale. Students were divided into an experimental group, receiving explicit rhythm instruction, and a control group, which did not. Unexpectedly, results showed that the experimental group was less comprehensible after treatment, and that the control group improved more than the experimental group in terms of fluency. However, previous results obtained by different acoustic analyses suggested further improvement in experimental students’ learning process. Hence, the use of a mixed-method assessment is encouraged to support human judgments.RESUMEN: Actualmente, muchos investigadores estudian la pronunciación como medio para mejorar las habilidades comunicativas de estudiantes de segundas lenguas. Las pruebas de percepción con oyentes nativos se consideran una herramienta fiable, aunque su veracidad ha sido cuestionada debido a la subjetividad de los oyentes y/o al tipo de tarea realizada. El presente estudio investiga la eficacia de la instrucción explícita de ritmo en estudiantes de ingeniería bilingües español/catalán para mejorar su comprensión y fluidez en inglés. Para ello, siete hablantes nativos de inglés calificaron los discursos improvisados de cuarenta y dos estudiantes antes y después de la instrucción mediante una escala de 5 puntos. Los estudiantes se dividieron en un grupo experimental, que recibió instrucción explícita de ritmo, y un grupo de control, que no la recibió. Sorprendentemente, los resultados mostraron que el grupo experimental fue menos comprensible después del tratamiento, y que el grupo de control mejoró más que el grupo experimental en términos de fluidez. Sin embargo, resultados previos obtenidos mediante diferentes análisis acústicos sugirieron una mayor mejora en el proceso de aprendizaje de los estudiantes del grupo experimental. Por lo tanto, se recomienda el uso de una evaluación de métodos mixtos para respaldar los juicios humanos.
eng
Attribution-NonCommercial-NoDerivatives 4.0 International
Raters’ Judgments Reliability in the Spotlight : Assessment Challenges in Pronunciation Research within ESP Teaching La fiabilidad de los juicios de los evaluadores en el punto de mira : desafíos de la evaluación en la investigación sobre la pronunciación en la enseñanza del inglés para fines específicos
journal article
UGFyYSBxdWUgZWwgcmVwb3NpdG9yaW8gaW5zdGl0dWNpb25hbCBkZSBsYSBVbml2ZXJzaWRhZCBkZSBNYWRyaWQgcHVlZGEgYWxtYWNlbmFyIHkgZGlzdHJpYnVpciBlbCBvYmpldG8gZGlnaXRhbCBkZXBvc2l0YWRvLCBlcyBuZWNlc2FyaW8gcXVlIGxhIHBlcnNvbmEgcXVlIGhhZ2EgZWwgZGVww7NzaXRvIGxlYSB5IGFjZXB0ZSBsYXMgY29uZGljaW9uZXMgZXN0YWJsZWNpZGFzIGVuIGVzdGEgbGljZW5jaWE6CuKAoiBBY2VwdGFuZG8gZXN0YSBsaWNlbmNpYSwgdXN0ZWQgY29tbyBhdXRvci9yZXMgeS9vIHByb3BpZXRhcmlvL3MgZGUgbG9zIGRlcmVjaG9zIGRlIHByb3BpZWRhZCBpbnRlbGVjdHVhbCwgbyBsYSBwZXJzb25hIGRlbGVnYWRhIHBhcmEgaGFjZXJsbyAsIG90b3JnYSBhbCByZXBvc2l0b3JpbyBkZSBsYSBVbml2ZXJzaWRhZCBDb21wbHV0ZW5zZSBkZSBNYWRyaWQgZWwgZGVyZWNobyBubyBleGNsdXNpdm8gZGUgcmVwcm9kdWNjacOzbiB5IGRpc3RyaWJ1Y2nDs24gZGUgc3Ugb2JyYSBlbiBjdWFscXVpZXIgZm9ybWF0byB5IG1lZGlvLgrigKIgRWwgZGVwb3NpdGFudGUsIGVuIGNhc28gZGUgdW5hIG9icmEgY29uIG3DoXMgZGUgdW4gYXV0b3IsIGdhcmFudGl6YSBxdWUgbG8gaGFjZSByZXNwb25zYWJsZW1lbnRlIGVuIG5vbWJyZSB5IGNvbiBjb25zZW50aW1pZW50byBkZSBsb3MgZGVtw6FzIGF1dG9yZXMuCuKAoiBBY2VwdGEgcXVlIGVsIHJlcG9zaXRvcmlvIGRlIGxhIFVuaXZlcnNpZGFkIENvbXBsdXRlbnNlIGRlIE1hZHJpZCBwdWVkYSBjb25zZXJ2YXIgbcOhcyBkZSB1bmEgY29waWEgZGUgZXN0ZSBkb2N1bWVudG8geSwgc2luIGFsdGVyYXIgc3UgY29udGVuaWRvLCBjb252ZXJ0aXJsbyBhIGN1YWxxdWllciBmb3JtYXRvIGRlIGZpY2hlcm8sIG1lZGlvIG8gc29wb3J0ZSwgcGFyYSBwcm9ww7NzaXRvcyBkZSBzZWd1cmlkYWQgeSBwcmVzZXJ2YWNpw7NuLgrigKIgRGVjbGFyYSBxdWUgZWwgZG9jdW1lbnRvIGVzIHVuIHRyYWJham8gb3JpZ2luYWwgc3V5bywgbyBxdWUgZXMgbGEgcGVyc29uYSBkZWxlZ2FkYSBwYXJhIHJlYWxpemFyIGVsIGRlcMOzc2l0byB5LCBwb3IgdGFudG8sIGN1ZW50YSBjb24gbGEgcG90ZXN0YWQgcGFyYSBvdG9yZ2FyIGxvcyBkZXJlY2hvcyBjb250ZW5pZG9zIGVuIGVzdGEgbGljZW5jaWEuIFRhbWJpw6luIGRlY2xhcmEgcXVlIHN1IGRvY3VtZW50byBubyBpbmZyaW5nZSBsbyBlc3RhYmxlY2lkbyBlbiBsYSB2aWdlbnRlIGxlZ2lzbGFjacOzbiBkZSBwcm9waWVkYWQgaW50ZWxlY3R1YWwuCuKAoiBTaSBlbCBkb2N1bWVudG8gY29udGllbmUgbWF0ZXJpYWxlcyBkZSBsb3MgY3VhbGVzIG5vIHRpZW5lIGxvcyBkZXJlY2hvcyBkZSBhdXRvciwgZGVjbGFyYSBxdWUgaGEgb2J0ZW5pZG8gZWwgcGVybWlzbyBzaW4gcmVzdHJpY2Npw7NuIGRlbCBwcm9waWV0YXJpbyBwYXJhIG90b3JnYXIgYSBsYSBVbml2ZXJzaWRhZCBDb21wbHV0ZW5zZSBkZSBNYWRyaWQgbG9zIGRlcmVjaG9zIHJlcXVlcmlkb3MgcG9yIGVzdGEgbGljZW5jaWEsIHkgcXVlIGVzZSBtYXRlcmlhbCwgY3V5b3MgZGVyZWNob3Mgc29uIGRlIHRlcmNlcm9zLCBlc3TDoSBjbGFyYW1lbnRlIGlkZW50aWZpY2FkbyB5IHJlY29ub2NpZG8gZGVudHJvIGRlbCBjb250ZW5pZG8gZGVsIGRvY3VtZW50by4K4oCiIFNpIGVsIGRvY3VtZW50byBzZSBiYXNhIGVuIHVuYSBvYnJhIHF1ZSBoYSBzaWRvIHBhdHJvY2luYWRhIG8gYXBveWFkYSBwb3IgdW5hIGFnZW5jaWEgdSBvcmdhbml6YWNpw7NuIGRpZmVyZW50ZSBkZSBsYSBVbml2ZXJzaWRhZCBDb21wbHV0ZW5zZSBkZSBNYWRyaWQsIHVzdGVkIGRlY2xhcmEgcXVlIGhhIGN1bXBsaWRvIGNvbiBsYXMgb2JsaWdhY2lvbmVzIHJlcXVlcmlkYXMgcG9yIGVzdGUgY29udHJhdG8gbyBhY3VlcmRvLgrigKIgTGEgVW5pdmVyc2lkYWQgQ29tcGx1dGVuc2UgZGUgTWFkcmlkIGlkZW50aWZpY2Fyw6EgY2xhcmFtZW50ZSBzdS9zIG5vbWJyZS9zIGNvbW8gZWwvbG9zIGF1dG9yL2VzIG8gcHJvcGlldGFyaW8vcyBkZSBsb3MgZGVyZWNob3MgZGVsIGRvY3VtZW50bywgeSBubyBoYXLDoSBuaW5ndW5hIGFsdGVyYWNpw7NuIGRlIHN1IGRvY3VtZW50byBkaWZlcmVudGUgYSBsYXMgcGVybWl0aWRhcyBlbiBlc3RhIGxpY2VuY2lhLgrigKIgVHJhYmFqb3MgZGVwb3NpdGFkb3MgcG9yIHN1IHByb3BpbyBhdXRvcjogYWwgYXV0by1hcmNoaXZhciBlc3RhIGNvbGVjY2nDs24gZGUgZmljaGVyb3MgeSBtZXRhZGF0b3MgYmlibGlvZ3LDoWZpY29zIGFzb2NpYWRvcywgb3RvcmdvIGFsIHJlcG9zaXRvcmlvIGluc3RpdHVjaW9uYWwgZGUgbGEgVW5pdmVyc2lkYWQgQ29tcGx1dGVuc2UgZGUgTWFkcmlkIGVsIGRlcmVjaG8gcGFyYSBhbG1hY2VuYXJsb3MgeSBkaXN0cmlidWlybG9zLiBEZWNsYXJvIHF1ZSBlc3RlIG1hdGVyaWFsIGVzIGRlIG1pIHByb3BpZWRhZCBpbnRlbGVjdHVhbCB5IHF1ZSBlbCByZXBvc2l0b3JpbyBpbnN0aXR1dGljaW9uYWwgZGUgbGEgVW5pdmVyc2lkYWQgQ29tcGx1dGVuc2UgZGUgTWFkcmlkLCBubyBhc3VtZSByZXNwb25zYWJpbGlkYWQgYWxndW5hIGVuIGNhc28gZGUgcXVlIHNlIHByb2R1emNhIHVuYSB2aW9sYWNpw7NuIGRlIGRlcmVjaG9zIGRlIHByb3BpZWRhZCBhbCBkaXN0cmlidWlyIGVzdG9zIGZpY2hlcm9zIG8gbWV0YWRhdG9zLgrigKIgVHJhYmFqb3MgZGVwb3NpdGFkb3MgcG9yIG90cm9zIHF1ZSBubyBzZWFuIHN1IGF1dG9yOiBkZWNsYXJvIHF1ZSBsb3MgbWV0YWRhdG9zIGJpYmxpb2dyw6FmaWNvcyBxdWUgZXN0b3kgYXJjaGl2YW5kbyBlbiBlbCByZXBvc2l0b3JpbyBpbnN0aXR1Y2lvbmFsIGRlIGxhIFVuaXZlcnNpZGFkIENvbXBsdXRlbnNlIGRlIE1hZHJpZCwgc29uIGRlIGRvbWluaW8gcMO6YmxpY28uIFNpIG5vIGZ1ZXNlIGVsIGNhc28sIGFjZXB0byBwbGVuYSByZXNwb25zYWJpbGlkYWQgcG9yIGN1YWxxdWllciBpbmZyYWNjacOzbiBkZSBkZXJlY2hvcyBkZSBhdXRvciBxdWUgY29ubGxldmUgbGEgZGlzdHJpYnVjacOzbiBkZSBlc3RvcyBmaWNoZXJvcyBvIG1ldGFkYXRvcy4K4oCiIFBvciB0YW50bywgdG9kb3MgbG9zIG1ldGFkYXRvcyBwdWJsaWNhZG9zIGVuIGVsIHJlcG9zaXRvcmlvIGluc3RpdHVjaW9uYWwgZGUgbGEgVW5pdmVyc2lkYWQgQ29tcGx1dGVuc2UgZGUgTWFkcmlkLCBlc3TDoW4gZGlzcG9uaWJsZXMgY29uIGxhIGxpY2VuY2lhIENyZWF0aXZlIENvbW1vbnMgQ0MwIDEuMCBVbml2ZXJzYWwgT2ZyZWNpbWllbnRvIGFsIERvbWluaW8gUMO6YmxpY28gKENDMCAxLjApLiBFc3RhIGxpY2VuY2lhIHBlcm1pdGUgY29waWFyLCBtb2RpZmljYXIsIGRpc3RyaWJ1aXIsIHJldXRpbGl6YXIgeSBjb21wYXJ0aXIgcMO6YmxpY2EgeSBsaWJyZW1lbnRlIGxvcyBtZXRhZGF0b3MgKGluY2x1eWVuZG8gc3UgdXNvIGNvbWVyY2lhbCksIHNpbiB0ZW5lciBxdWUgcGVkaXIgcGVybWlzby4gU2kgdGVyY2VyYXMgcGFydGVzIHVzYW4gZXN0b3MgbWV0YWRhdG9zLCBkZWJlbiBoYWNlciB1biByZWNvbm9jaW1pZW50byB5IHVuYSBhdHJpYnVjacOzbiBhIGxhcyBmdWVudGVzIGRlIGxvcyBtaXNtb3MuIExhIHJldXRpbGl6YWNpw7NuIGRlIGVzdG9zIG1ldGFkYXRvcyB0YW1iacOpbiBlcyBsaWJyZSwgdGFsIHkgY29tbyBlc3RhYmxlY2UgbGEgbGljZW5jaWEgZGUgdXNvIENDMC4K
URL
https://docta.ucm.es/bitstreams/ad69645e-71d4-4274-aaaf-50f9ea46f6f6/download
File
MD5
b7b5e7d796b375aff9226282eed8896d
1999239
application/pdf
Docta_revistas,+BABEL+34_A07_137-163+1.pdf