Transformer acceleration in heterogeneous platforms

Abstract

Diseñamos una las operaciones necesarias para ejecutar un Transformer óptimamente en plataformas heterogéneas como FPGAs, GPUs y CPU. En HELENNA, por limitaciones de tiempo, tuvimos que limitar la implementación a CPU, sirviendo como prueba de concepto para la traslación a las otras plataformas, pero sin obtener un rendimiento competitivo mediante OpenMP y configuración de la memoria.