Dentro de la arquitectura Transformer hay un concepto especialmente importante: la atención. No hace falta dominar sus fórmulas para captar su valor. Basta con entender que permite al modelo evaluar qué partes del texto son más relevantes en relación con otras partes mientras procesa la secuencia.

Cuando una persona lee una frase compleja, no presta el mismo peso mental a todas las palabras en todo momento. Intenta relacionar unas con otras según el sentido de la frase. La atención, salvando todas las distancias, cumple una función análoga a nivel técnico: ayuda al modelo a decidir qué elementos de la secuencia deben influir más en la interpretación de un token o en la generación del siguiente.

Esto es crucial porque el lenguaje depende mucho de relaciones internas: referencias, concordancias, contexto previo, matices y dependencias que pueden estar cerca o lejos dentro del texto. La atención permite que el modelo no trate todos los fragmentos como si valieran lo mismo en cada instante.

Gracias a este mecanismo, el modelo puede construir representaciones más ricas y mantener coherencia mucho mejor que enfoques más antiguos. Esa es una de las razones por las que los Transformers se volvieron tan influyentes en el procesamiento del lenguaje.