"Attention is all you need": der Transformer kommt (2017)
Ein Paper von 2017 ersetzte die sequenzielle Mechanik früherer Netze durch reine Aufmerksamkeit. Der Transformer wurde die Architektur hinter fast jedem großen Sprachmodell seither.
Im Juni 2017 veröffentlichte ein Team bei Google ein Paper mit ungewöhnlich selbstbewusstem Titel: „Attention Is All You Need”. Es führte den Transformer ein, und der erwies sich als eine der folgenreichsten Architekturen in der Geschichte der KI.
Das Problem, das er löste
Vor dem Transformer lasen die führenden Sprachmodelle Text so, wie man einen Satz laut vorliest: ein Wort nach dem anderen, der Reihe nach. Diese sequenzielle Verarbeitung machte sie langsam im Training und anfällig dafür, Information vom Anfang einer langen Passage zu „vergessen”.
Der Transformer warf diese Mechanik über Bord. Stattdessen nutzte er einen Mechanismus namens Self-Attention, der jedes Wort in einem Satz direkt auf jedes andere Wort blicken und entscheiden lässt, welche wichtig sind. Weil diese Vergleiche alle auf einmal statt Schritt für Schritt geschehen können, trainieren Transformer auf moderner Hardware weit effizienter und meistern weitreichende Bezüge im Text deutlich besser.
Warum er alles veränderte
Das ursprüngliche Paper drehte sich um maschinelle Übersetzung, ein recht enges Ziel. Doch die Architektur verallgemeinerte sich fast peinlich gut. Binnen weniger Jahre trug sie die Modelle, die die nächste Ära der maschinellen Sprachverarbeitung prägten:
- Encoder-Transformer trieben Verständnisaufgaben wie Suche und Klassifikation an.
- Decoder-Transformer trieben die Erzeugung an, die Familie, die direkt zu modernen großen Sprachmodellen führt.
Entscheidend: Transformer skalieren. Macht man das neuronale Netz größer, füttert es mit mehr Text und gibt ihm mehr Rechenleistung, wird es auf recht vorhersehbare Weise immer besser. Diese Eigenschaft machte die Strategie „einfach hochskalieren” der 2020er möglich.
Warum es wichtig ist
Der Transformer ist das Scharnier zwischen den Deep-Learning-Durchbrüchen der frühen 2010er und dem Sprachmodell-Boom danach. Fast jedes System, das man heute „eine KI” nennt, darunter das Modell hinter GPT-3 und seinen Nachfolgern, ist im Kern ein Transformer.
Es ist selten, dass eine einzige Architektur ein Feld über Jahre dominiert. Der Transformer hat genau das getan, und die Zeile aus seinem Titel wurde zu einem der meistzitierten Sätze der Disziplin.