Seq2Seq à NeurIPS 2014 : encodeurs-décodeurs LSTM pour la traduction
Le 10 septembre 2014, des chercheurs de Google ont déposé sur arXiv l’article « Sequence to Sequence Learning with Neural Networks ». Présenté à NeurIPS 2014 en décembre, l’encodeur-décodeur LSTM est devenu la référence pour la traduction neuronale avant que les Transformers à attention ne dominent le traitement du langage.
Le 10 septembre 2014, Ilya Sutskever, Oriol Vinyals et Quoc Le chez Google ont déposé sur arXiv Sequence to Sequence Learning with Neural Networks (1409.3215). L’article entraînait un modèle profond séquence à séquence (Seq2Seq) : un encodeur LSTM lisait une phrase source dans un vecteur fixe, un second LSTM décodeur générait la traduction mot à mot. Présenté à NeurIPS 2014 en décembre, il devint l’architecture de référence pour la traduction automatique par réseaux de neurones jusqu’à ce que les Transformers à attention dominent le traitement du langage.
Encodeur-décodeur et récurrence
Les modèles de langage antérieurs prédisaient souvent le token suivant depuis une fenêtre fixe. Seq2Seq mappe au contraire une séquence d’entrée entière vers une séquence de sortie de longueur différente, ce qu’exige la traduction. Empiler des LSTM des deux côtés a permis à l’apprentissage profond de réutiliser la rétropropagation popularisée par AlexNet en vision, appliquée ici à des paires de phrases en apprentissage supervisé.
Les auteurs ont rapporté de grands gains anglais-français par rapport aux bases neuronales antérieures, avec l’astuce simple d’inverser la séquence source pour rapprocher le contexte à court terme du décodeur. L’idée s’est propagée vite : parole, résumé et dialogue ont adopté des gabarits encodeur-décodeur à réseaux récurrents.
Avant l’attention
Seq2Seq compressait toute la phrase source en un vecteur, goulot d’étranglement pour les longs textes. Les travaux suivants ont ajouté de l’attention pour que les décodeurs regardent les états de l’encodeur, une marche vers la pile d’attention pure de l’article Transformer. NeurIPS a plus tard distingué l’article de 2014 avec les GAN dans ses Test of Time awards, signe de la place centrale du TAL encodeur-décodeur.
Pourquoi c’est important
Seq2Seq a montré que des réseaux de neurones de bout en bout pouvaient battre de solides pipelines statistiques en traduction sans traits manuels. Il relie la lignée du modèle de langage neuronal aux LLM modernes et a formé des chercheurs qui remplaceraient bientôt les LSTM par l’auto-attention. L’architecture reste le modèle mental de nombreux tutoriels d’apprentissage automatique sur le mapping de séquences, même lorsque l’implémentation est un Transformer.