Masked Language Modeling (MLM)
Pre-Training-Ziel, das zufällige Eingabe-Tokens maskiert und deren Rekonstruktion aus bidirektionalem Kontext trainiert; zentral für BERT-ähnliche Encoder.
Masked Language Modeling (MLM) ist ein Sprachmodell‑Pre-Training‑Ziel vor allem für Encoder-only‑Transformer. Ein Teil der Eingabe-Tokens wird durch eine Maskierung (oder ein Zufallstoken) ersetzt; das Netz soll die Originalwörter unter Nutzung von linkem und rechtem Kontext vorhersagen. Diese Bidirektionalität macht MLM zum Standard-Pre-Training für BERT-ähnliche Modelle in der maschinellen Sprachverarbeitung.
MLM unterscheidet sich vom links-nach-rechts‑Next-Token‑Ziel von GPT-ähnlichen Decodern, die zu modernen LLMs skaliert werden, aber beim Pre-Training keine Zukunfts-Tokens lesen dürfen. Spätere Architekturen kombinieren beide Ideen mitunter. Siehe den BERT-Artikel und den Zeitleisten-Eintrag.