Sprachmodell (Language model)

Ein Sprachmodell schätzt die Wahrscheinlichkeit des nächsten Wortes gegeben den vorherigen Kontext oder allgemeiner die Plausibilität einer Textsequenz. Frühe Modelle nutzten n-Gramme auf Basis von Markow-Ketten: Zähltabellen, die mit wachsendem Vokabular und Kontext explosiv anwachsen. Claude Shannon demonstrierte 1948 einfache Markov-Textgenerierung, doch praktische Systeme kämpften lange mit spärlichen Daten und begrenzter Generalisierung.

Yoshua Bengio und Kollegen schlugen 2003 ein Sprachmodell auf Basis eines neuronalen Netzes vor, das Wort-Embeddings gemeinsam mit der Vorhersage des nächsten Worts lernte und statistische Stärke über verwandte Begriffe teilte. Diese Linie führte zu rekurrenten und Transformer-Architekturen und letztlich zu heutigen großen Sprachmodellen, die dasselbe Grundziel auf Milliarden Parameter skalieren. Siehe den Artikel zum neuronalen Sprachmodell und den Zeitleisten-Eintrag.