¿Qué es un Transformer?

Es innegable el enorme impacto social y tecnológico que implican los modelos generativos de transformers como el Chat GPT y otras variantes. Sin embargo, como público laico es muy poco lo que conocemos sobre el funcionamiento de estas máquinas y la forma cómo logran simular razonamiento humano usando procesamiento secuencial de texto u otras modalidades. El objetivo de esta charla es dar, desde mi perspectiva no-experta de físico diletante en el tema, un recuento de lo que he logrado entender sobre la arquitectura de los modelos de transformers y en particular del principio arquitectónico básico que los subyace: el llamado ‘’Mecanismo de Atención’’.