Empirical performance of optimal Bayesian adaptive estimation

Abstract

Simulation studies have shown how Bayesian adaptive estimation methods should be set up for optimal performance. We assessed the extent to which these results hold up for human observers, who are more subject to failure than simulation subjects. Discrimination and detection experiments with two-alternative forced-choice (2AFC) tasks were used for that purpose. Forty estimates of the point of subjective equality (PSE, or the 50% correct point on the psychometric function for discrimination) and 32 estimates of detection threshold (the 80% correct point on the psychometric function for detection) were taken for each of four observers with the optimal Bayesian method, while data for fitting the psychometric function psi were gathered concurrently with an adaptive method of constant stimuli governed by fixed-step-size staircases. The estimated parameters of the psychometric function served as a criterion for comparison. In the discrimination task, PSEs for each observer were distributed around the independently estimated 50% correct point on psi and their variability was occasionally minimally larger than simulation results indicated it should be. In the detection task, the distribution of threshold estimates was consistently above the independently estimated 80% correct point on psi and their variability was as expected from simulations. A close analysis of these results suggests that the optimal Bayesian method is affected by growing inattention or fatigue in detection tasks (factors that are not considered in simulations), and limits the practical applicability of Bayesian estimation of detection thresholds.

Los métodos bayesianos de estimación adaptativa han sido optimizados en varios estudios de simulación. En este trabajo evaluamos hasta qué punto los resultados obtenidos en las simulaciones son aplicables a observadores humanos. Para ello se sometió a cuatro observadores a dos tipos de experimento (discriminación y detección) con la tarea de elección forzada entre dos alternativas (2AFC). La configuración óptima del método bayesiano sirvió para obtener, por cada observador, 40 estimaciones del punto de igualdad subjetiva (PSE, que es el punto de la función psicométrica que lleva aparejado un porcentaje de éxito del 50% en un experimento de discriminación) y 32 estimaciones del umbral de detección, definido como el punto de la función psicométrica cuyo porcentaje de éxito asociado es el 80%. Simultáneamente, se utilizó el método adaptativo de los estímulos constantes para obtener una estimación independiente de los parámetros la función psicométrica Ψ de cada observador que sirviera como criterio de comparación. En la tarea de discriminación, y para todos los observadores, las distribuciones de los PSE se situaron en torno a los puntos del 50% de Ψ estimados de manera independiente y la variabilidad fue sólo ligeramente superior a la esperada a partir de las simulaciones. Por el contrario, en la tarea de detección, las distribuciones de estimaciones del umbral se situaron consistentemente por encima de los puntos del 80% de Ψ, aunque su variabilidad fue similar a la registrada en las simulaciones. Un análisis minucioso de estos resultados sugiere que el método bayesiano óptimo se ve muy afectado por la creciente falta de atención y la fatiga en las tareas de detección (factores que no fueron contemplados en las simulaciones), lo que limita la aplicabilidad de los métodos bayesianos en la estimación práctica de umbrales de detección.