Skip-gram et CBOW

Architectures word2vec peu profondes qui apprennent des plongements lexicaux à partir du contexte : CBOW prédit un mot cible à partir des voisins ; skip-gram prédit les voisins à partir d'un mot cible.

Skip-gram et CBOW (CBOW) sont les deux modes d’entraînement principaux de word2vec. CBOW prédit un mot masqué à partir des jetons de contexte voisins. Skip-gram inverse la direction : à partir d’un mot, il prédit plusieurs mots voisins. Les deux apprennent des plongements lexicaux denses sur de grands corpus non étiquetés (article).