The influence of facial information on language comprehension: an event-related brain potential study on syntax and semantics

Abstract

Psycholinguistic research has traditionally focused on the study of the processes that make possible the comprehension of a linguistic message. Despite language is an inherent social capacity, face-to-face contexts have not received enough attention. In such situations, language comprehension entails an audiovisual processing, that is, auditory speech rapidly combines with visual information from the speaker’s face. Further, just seeing the speaker situates language processing in a social context. In this dissertation I investigate the effect of speaker’s face-related factors on semantic and morphosyntactic processing. Along three studies, participants listened to connected speech while seeing the speaker’s face. Meanwhile, an electroencephalogram (EEG) was recorded. The event related-potentials (ERPs) were computed to the critical words, which varied either on semantic congruency, expectancy or morphosyntactic correctness...Tradicionalmente, la investigación en psicolingüística se ha centrado en el estudio de los procesos que hacen posible la comprensión de un mensaje lingüístico. Sin embargo, a pesar de que el lenguaje es una capacidad humana inherentemente social, los contextos cara a cara no han recibido atención suficiente. En tales situaciones la comprensión del lenguaje es un proceso audiovisual y el habla auditiva se combina rápidamente con información visual procedente de la cara del hablante. Además, solo ver al hablante es suficiente para contextualizar socialmente el procesamiento lingüístico. A lo largo de tres estudios, esta tesis investiga el efecto que tienen diferentes variables relacionadas con la cara del hablante sobre el procesamiento semántico y morfosintáctico. Los participantes escucharon oraciones mientras veían la cara del hablante y al mismo tiempo se registró su actividad eléctrica cerebral mediante un electroencefalograma (EEG). Además, se calcularon potenciales evento-relacionados (PERs) a las palabras críticas, las cuales, dependiendo del experimento, variaban en congruencia semántica, expectativa o corrección morfosintáctica...