"Attention is all you need": llega el Transformer (2017)
Un artículo de 2017 sustituyó la maquinaria secuencial de las redes anteriores por pura atención. El Transformer se convirtió en la arquitectura tras casi todos los grandes modelos de lenguaje posteriores.
En junio de 2017, un equipo de Google publicó un artículo de título inusualmente seguro: “Attention Is All You Need”. Presentaba el Transformer, que resultó ser una de las arquitecturas más trascendentales de la historia de la IA.
El problema que resolvió
Antes del Transformer, los principales modelos de lenguaje leían el texto como quien lee una frase en voz alta: una palabra tras otra, en orden. Ese procesamiento secuencial los hacía lentos de entrenar y propensos a “olvidar” información del principio de un pasaje largo.
El Transformer desechó esa maquinaria. En su lugar usó un mecanismo llamado autoatención, que permite a cada palabra de una frase mirar directamente a todas las demás y decidir cuáles importan. Como esas comparaciones pueden ocurrir todas a la vez en lugar de paso a paso, los Transformers se entrenan mucho más eficientemente en el hardware moderno y manejan mucho mejor las conexiones a larga distancia en el texto.
Por qué lo cambió todo
El artículo original trataba de traducción automática, un objetivo bastante acotado. Pero la arquitectura se generalizó casi de forma embarazosa. En un par de años sostenía los modelos que definirían la siguiente era del procesamiento del lenguaje natural:
- Los Transformers de tipo codificador impulsaron tareas de comprensión como la búsqueda y la clasificación.
- Los Transformers de tipo decodificador impulsaron la generación, la familia que conduce directamente a los modernos grandes modelos de lenguaje.
Y algo crucial: los Transformers escalan. Haz más grande la red neuronal, aliméntala con más texto, dale más cómputo, y sigue mejorando de forma bastante predecible. Esa propiedad hizo viable la estrategia de “solo escalarlo” de la década de 2020.
Por qué importa
El Transformer es la bisagra entre los avances del aprendizaje profundo de comienzos de los 2010 y el auge de los modelos de lenguaje posterior. Casi todo sistema que hoy se llama “una IA”, incluido el modelo tras GPT-3 y sus sucesores, es en el fondo un Transformer.
Es raro que una sola arquitectura domine un campo durante años. El Transformer ha hecho justo eso, y la frase de su título se ha convertido en una de las más citadas de la disciplina.