Séquence à séquence (Seq2Seq)

Architecture neuronale qui mappe une séquence d'entrée vers une séquence de sortie, souvent avec encodeur et décodeur ; l'article LSTM de 2014 a fixé des repères en traduction avant les Transformers.

Séquence à séquence (Seq2Seq) couvre les tâches où entrée et sortie sont des séquences ordonnées : traduction, reconnaissance vocale, résumé, etc. Un encodeur neuronal lit la source, un décodeur émet la cible pas à pas.

Ilya Sutskever et collègues chez Google ont popularisé en 2014 des encodeurs-décodeurs LSTM profonds pour la traduction (article). Les systèmes suivants ont ajouté de l’attention sur les états de l’encodeur ; le Transformer (article) a gardé encodeur-décodeur mais a remplacé la récurrence par l’auto-attention à grande échelle en TAL.