word2vec: Mikolov lernt Wortbedeutung aus Kontext in großem Maßstab (2013)

Am 16. Januar 2013 veröffentlichten Tomáš Mikolov und Kollegen auf arXiv den Beitrag „Efficient Estimation of Word Representations in Vector Space“ und stellten Skip-gram- und CBOW-Modelle vor, die dichte Wortvektoren in Stunden aus Milliarden Tokens lernten.

Ereignisdatum: Veröffentlicht:
GeschichteForschung

Am 16. Januar 2013 veröffentlichten Tomáš Mikolov und Kollegen bei Google den Beitrag Efficient Estimation of Word Representations in Vector Space auf arXiv (1301.3781).

Das Paper stellte word2vec vor, eine Familie flacher neuronaler Netze, die Wort-Embeddings aus Rohtext lernen, indem sie Wörter aus dem umgebenden Kontext vorhersagen. Training auf großen Korpora wurde schnell genug für industrielle maschinelle Sprachverarbeitung, nicht nur für kleine akademische Benchmarks.

Skip-gram und CBOW

Die Autoren verglichen zwei Architekturen in Skip-gram und CBOW (CBOW). CBOW sagt ein Zielwort aus nahen Kontextwörtern voraus. Skip-gram kehrt die Richtung um: Gegeben ein Wort, werden mehrere Nachbarn vorhergesagt. Beide teilen die Idee von Bengios neuronalem Sprachmodell von 2003: Jedes Wort als dichter Vektor, statistische Stärke über verwandte Begriffe teilen, aber word2vec entfernte viel schwere Struktur, die neuronale Sprachmodelle zuvor langsam machte.

Eine spätere arXiv-Notiz im Oktober 2013 ergänzte Negative Sampling und Phrasenvektoren und skalierte auf das Google-News-Korpus (Größenordnung 100 Milliarden Tokens). Die veröffentlichten Vektoren wurden zu einer Standardbasis für semantische Ähnlichkeit und Analogieaufgaben.

Vektoren für Grammatik und Bedeutung

Der gelernte Raum zeigte Regularitäten, die zählbasierte Modelle schwer teilen konnten. Bekannte Beispiele sind king − man + woman ≈ queen, also lineare Richtungen für Relationen wie Geschlecht. Ähnlichkeit zwischen „Russia“ und „Moscow“ spiegelte „France“ und „Paris“. Das überzeugte Teams, dass verteilte Repräsentationen bereit für Suche, Empfehlung und nachgelagerte maschinelles Lernen-Features waren, Jahre vor heutigen großen Sprachmodellen in viel größerem Maßstab.

Warum es wichtig ist

word2vec erfand Wort-Embeddings nicht neu, machte sie aber günstig, öffentlich und reproduzierbar. Forscher konnten vortrainierte Vektoren laden oder eigene auf einem Arbeitsplatzrechner trainieren. Die Arbeit verband neuronale Sprachmodellierung der 2000er mit Embedding-Schichten in modernen Transformern und Retrieval-Systemen. Sie bleibt ein Bezugspunkt, wenn gefragt wird, wie ein Computer Wörter nur aus gelesenem Text in einen gemeinsamen geometrischen Raum legt.

#tiefes-lernen