Seq2Seq en NeurIPS 2014: codificadores-decodificadores LSTM para traducción

El 10 de septiembre de 2014 investigadores de Google publicaron en arXiv el artículo «Sequence to Sequence Learning with Neural Networks». Presentado en NeurIPS 2014 en diciembre, el codificador-decodificador LSTM se convirtió en referencia para la traducción neuronal antes de que los Transformers con atención dominaran el procesamiento del lenguaje.

Fecha del evento: Publicado:
HistoriaInvestigación

El 10 de septiembre de 2014, Ilya Sutskever, Oriol Vinyals y Quoc Le en Google publicaron en arXiv Sequence to Sequence Learning with Neural Networks (1409.3215). El artículo entrenó un modelo profundo secuencia a secuencia (Seq2Seq): un codificador LSTM leyó una frase fuente en un vector fijo, y un decodificador LSTM generó la traducción palabra a palabra. Presentado en NeurIPS 2014 en diciembre, se convirtió en la arquitectura de referencia para traducción automática con redes neuronales hasta que los Transformers con atención dominaron el procesamiento del lenguaje.

Codificador-decodificador con recurrencia

Los modelos de lenguaje anteriores a menudo predecían el siguiente token desde una ventana fija. Seq2Seq mapeaba en cambio una secuencia de entrada completa a una secuencia de salida de distinta longitud, justo lo que exige la traducción. Apilar LSTMs a ambos lados permitió reutilizar en aprendizaje profundo la misma retropropagación que AlexNet popularizó en visión, ahora sobre pares de frases en aprendizaje supervisado.

Los autores informaron grandes mejoras en inglés-francés frente a bases neuronales anteriores, con el truco simple de invertir la secuencia fuente para acercar contexto a corto plazo al decodificador. La idea se extendió rápido: voz, resumen y diálogo adoptaron plantillas codificador-decodificador con redes recurrentes.

Antes de la atención

Seq2Seq comprimía toda la frase fuente en un vector, un cuello de botella en textos largos. Trabajos posteriores añadieron atención para que los decodificadores miraran estados del codificador, un paso hacia la pila de atención pura del artículo del Transformer. NeurIPS honró más tarde el artículo de 2014 junto con las GAN en premios Test of Time, señal de lo central que era el PLN codificador-decodificador.

Por qué importa

Seq2Seq demostró que las redes neuronales de extremo a extremo podían superar pipelines estadísticos fuertes en traducción sin rasgos manuales. Unió la línea del modelo de lenguaje neuronal con los LLM modernos y formó a investigadores que pronto sustituirían LSTM por autoatención. La arquitectura sigue siendo el modelo mental en muchos tutoriales de aprendizaje automático sobre mapeo de secuencias, aunque la implementación sea un Transformer.

#procesamiento-lenguajes-naturales#aprendizaje-profundo