BERT: bidirektionales Pre-Training für Sprachverständnis (2018)

Am 11. Oktober 2018 veröffentlichten Jacob Devlin und Kollegen bei Google den BERT-Beitrag auf arXiv. Ein Transformer-Encoder mit maskiertem Sprachmodell nutzt Text in beide Richtungen und setzte neue Maßstäbe in Benchmarks. Das Muster aus Vortraining und Feinabstimmung verbreitete sich in der gesamten Sprachverarbeitung.

Ereignisdatum: Veröffentlicht:
GeschichteForschung

Am 11. Oktober 2018 veröffentlichten Jacob Devlin und Kollegen bei Google den Beitrag BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding auf arXiv (1810.04805). Das Paper plädierte für ein schlichtes Rezept: nimm die Encoder-Hälfte des Transformers aus „Attention is all you need“, trainiere sie tief auf Fließtext vor und wende anschließend Feinabstimmung auf gelabelte Aufgaben an.

In beide Richtungen lesen

Frühere Sprachmodelle verarbeiteten Text oft strikt von links nach rechts – das Muster, das spätere GPT-ähnliche Decoder in GPT-3 extrem skalierten. BERT nutzte stattdessen bidirektionalen Kontext: jedes Token konnte auf beide Seiten blicken. Das passt schlecht zur reinen Vorhersage des nächsten Worts, weil künftige Token die Antwort verraten würden. BERTs Ausweg war maskiertes Sprachmodell (MLM): zufällig maskierte Eingabe-Tokens, deren Wiederherstellung aus dem Umfeld trainiert wird.

Eine zweite Hilfsaufgabe, Next-Sentence Prediction, sollte Repräsentationen fördern, die Absatzbeziehungen erfassen. Zusammen lieferten die Ziele allgemeine Vektoren, die sich per Feinabstimmung für Klassifikation, Beantwortung und Named-Entity Recognition mit relativ wenig Labels pro Aufgabe anpassen ließen.

Benchmarks und Verbreitung

Bei GLUE und SQuARd der Zeit sprang BERT mit deutlichem Abstand an die Spitze. Das wog über akademische Tabellen hinaus. Suche, Werbung und unternehmensinterne maschinelle Sprachverarbeitung liefen oft auf flachen Merkmalen oder spezialisierten Modellen; BERT bot ein gemeinsames Rückgrat, das viele Pipelines nach einer Feinabstimmung verbesserte.

Google stellte vortrainierte Checkpoints bereit, und das Hugging-Face-Ökosystem machte „BERT laden, auf eigenen Labels feinjustieren“ zum Standard. Encoder-only-Transformer wurden zum Normalfall für Verständnis-Aufgaben, während Decoder-only-Modelle die Erzeugungs-Linie trugen.

Warum es wichtig ist

BERT ersetzte nicht die Skalierungs-Erzählung, die GPT-3 zwei Jahre später verstärkte. Es teilte das Feld klar: bidirektionale Encoder für Klassifikation und Retrieval, autoregressive Decoder für offenen Text. Beide Linien stammen vom selben Transformer von 2017 – deshalb mischen moderne Stapel oft Ideen aus beiden.

Für Praktiker ist BERTs Erbe das Muster Vortraining, dann Feinabstimmung auf einem Sprachmodell mit Ziel für Kontext in beide Richtungen. Sie trägt noch Embeddings in Suchindizes, Dokumentenklassifikatoren und viele Enterprise-Systeme der maschinellen Sprachverarbeitung, auch wenn chatorientierte LLMs die Schlagzeilen dominieren.

#transformer#maschinelle-sprachverarbeitung