Skip-gram und CBOW

Flache word2vec-Architekturen für Wort-Embeddings aus Kontext: CBOW sagt ein Zielwort aus Nachbarn voraus, Skip-gram sagt Nachbarn aus einem Zielwort voraus.

Skip-gram und CBOW (CBOW) sind die beiden Haupttrainingsmodi in word2vec. CBOW sagt ein maskiertes Wort aus umgebenden Kontexttokens voraus. Skip-gram kehrt die Richtung um: Gegeben ein Wort, werden mehrere Nachbarwörter vorhergesagt. Beide lernen dichte Wort-Embeddings aus großen unbeschrifteten Korpora (Artikel).