Skip-gram und CBOW
Flache word2vec-Architekturen für Wort-Embeddings aus Kontext: CBOW sagt ein Zielwort aus Nachbarn voraus, Skip-gram sagt Nachbarn aus einem Zielwort voraus.
Skip-gram und CBOW (CBOW) sind die beiden Haupttrainingsmodi in word2vec. CBOW sagt ein maskiertes Wort aus umgebenden Kontexttokens voraus. Skip-gram kehrt die Richtung um: Gegeben ein Wort, werden mehrere Nachbarwörter vorhergesagt. Beide lernen dichte Wort-Embeddings aus großen unbeschrifteten Korpora (Artikel).