word2vec : Mikolov apprend le sens des mots à partir du contexte à grande échelle (2013)
Le 16 janvier 2013 Tomáš Mikolov et ses collègues ont déposé sur arXiv « Efficient Estimation of Word Representations in Vector Space », avec des modèles skip-gram et CBOW entraînant des vecteurs denses sur des milliards de tokens en quelques heures.
Le 16 janvier 2013, Tomáš Mikolov et des collègues chez Google ont publié sur arXiv Efficient Estimation of Word Representations in Vector Space (1301.3781). L’article a présenté word2vec, des réseaux de neurones peu profonds qui apprennent des plongements lexicaux à partir de texte brut en prédisant des mots depuis leur contexte. L’entraînement sur de grands corpus est devenu assez rapide pour des pipelines industriels de traitement automatique des langues (TAL), pas seulement de petits benchmarks académiques.
Skip-gram et CBOW
Les auteurs ont comparé deux architectures dans skip-gram et CBOW (CBOW). CBOW prédit un mot cible à partir de mots de contexte proches. Skip-gram inverse la direction : étant donné un mot, il prédit plusieurs voisins. Les deux reprennent l’idée du modèle de langage neuronal de Bengio en 2003, mais word2vec a supprimé une grande partie de la structure lourde qui ralentissait les modèles de langage neuronaux.
Une note arXiv d’octobre 2013 a ajouté l’échantillonnage négatif et des vecteurs de phrases, en passant à l’échelle du corpus Google News (de l’ordre de 100 milliards de tokens). Les vecteurs publiés sont devenus une base standard pour la similarité sémantique et les analogies.
Des vecteurs pour la grammaire et le sens
L’espace appris a révélé des régularités difficiles à partager avec des modèles par comptage. Des exemples célèbres incluent king − man + woman ≈ queen. La similarité entre « Russia » et « Moscow » reflétait « France » et « Paris ». Cela a convaincu les équipes que les représentations distribuées étaient prêtes pour la recherche, la recommandation et des features d’apprentissage automatique, des années avant les LLM actuels à bien plus grande échelle.
Pourquoi c’est important
word2vec n’a pas inventé les plongements lexicaux, mais les a rendus bon marché, publics et reproductibles. Les chercheurs pouvaient télécharger des vecteurs préentraînés ou entraîner les leurs sur un poste de travail. Ce travail relie la modélisation neuronale des années 2000 aux couches d’embedding des transformeurs et systèmes de recherche modernes.