Skip-gram y CBOW
Arquitecturas word2vec superficiales que aprenden embeddings de palabras del contexto: CBOW predice una palabra objetivo a partir de vecinos; skip-gram predice vecinos a partir de una palabra objetivo.
Skip-gram y CBOW (CBOW) son los dos modos principales de entrenamiento en word2vec. CBOW predice una palabra enmascarada a partir de tokens de contexto cercanos. Skip-gram invierte la dirección: dada una palabra, predice varias palabras vecinas. Ambos aprenden embeddings de palabras densos a partir de grandes corpus sin etiquetar (artículo).