Seq2Seq auf der NeurIPS 2014: LSTM-Encoder-Decoder für Übersetzung
Am 10. September 2014 stellten Google-Forscher auf arXiv den Beitrag „Sequence to Sequence Learning with Neural Networks“ ein. Auf der NeurIPS 2014 präsentiert, wurde der LSTM-Encoder-Decoder zur Referenz für neuronale Übersetzung, bevor Transformer mit Attention die maschinelle Sprachverarbeitung prägten.
Am 10. September 2014 stellten Ilya Sutskever, Oriol Vinyals und Quoc Le bei Google den Beitrag Sequence to Sequence Learning with Neural Networks auf arXiv ein (1409.3215). Das Paper trainierte ein tiefes Sequenz-zu-Sequenz-Modell (Seq2Seq): Ein LSTM-Encoder las einen Quellsatz in einen festen Vektor, ein zweiter LSTM-Decoder erzeugte die Übersetzung Wort für Wort. Auf der NeurIPS 2014 im Dezember vorgestellt, wurde es zur Referenzarchitektur für neuronale maschinelle Übersetzung, bevor Transformer mit Attention die Sprachverarbeitung prägten.
Encoder-Decoder mit Rekurrenz
Frühere Sprachmodelle sagten oft das nächste Token aus einem festen Fenster voraus. Seq2Seq bildete stattdessen eine ganze Eingabesequenz auf eine Ausgabesequenz anderer Länge ab, genau das, was Übersetzung braucht. LSTMs auf beiden Seiten ließen Deep Learning dasselbe Backpropagation-Werkzeug nutzen, das AlexNet für die Bilderkennung popularisiert hatte, jetzt für Satzpaare im überwachten Lernen.
Die Autoren berichteten große Gewinne bei Englisch-Französisch gegenüber früheren neuronalen Baselines, unter anderem durch Umkehrung der Quellsequenz, damit mehr Kurzzeitkontext nahe am Decoder liegt. Die Idee verbreitete sich schnell: Sprache, Zusammenfassung und Dialog übernahmen Encoder-Decoder-Vorlagen mit rekurrenten Netzen.
Vor der Attention
Seq2Seq presste den ganzen Quellsatz in einen Vektor, ein Engpass bei langen Texten. Folgearbeit ergänzte Attention, damit Decoder auf Encoder-Zustände zurückblicken konnten, ein Schritt Richtung reinem Attention-Stack im Transformer-Artikel. NeurIPS ehrte das Paper von 2014 später gemeinsam mit GANs mit Test-of-Time-Awards, ein Zeichen dafür, wie zentral Encoder-Decoder-Übersetzung geworden war.
Warum es wichtig ist
Seq2Seq zeigte, dass end-to-end-neuronale Netze starke statistische Übersetzungspipelines ohne handgebaute Merkmale schlagen konnten. Es verband die Linie der neuronalen Sprachmodelle mit modernen LLMs und bildete Forscher aus, die LSTMs bald durch Self-Attention ersetzten. Die Architektur bleibt das mentale Modell hinter vielen Machine-Learning-Tutorials zu Sequenzabbildungen, auch wenn die Implementierung ein Transformer ist.