Plongement lexical (Word embedding)
Représentation vectorielle dense d'un mot apprise à partir de cooccurrences ou de contexte de prédiction, capturant des régularités sémantiques et syntaxiques dans un espace continu.
Un plongement lexical est un vecteur dense appris qui représente le sens et l’usage d’un mot en contexte. Contrairement aux encodages one-hot épars ou aux immenses tables de n-grammes de chaînes de Markov, les plongements placent des mots proches les uns des autres dans un espace continu, de sorte que le modèle peut généraliser entre termes similaires. Yoshua Bengio et ses collègues ont montré en 2003 qu’un réseau de neurones modèle de langage pouvait apprendre de telles représentations distribuées en prédisant le mot suivant, atténuant la malédiction de la dimensionnalité des modèles plus anciens basés sur les comptages.
Des travaux ultérieurs comme word2vec ont rendu pratique l’entraînement de plongements à grande échelle, et l’idée est devenue un fondement du traitement automatique des langues moderne et des grands modèles de langage actuels. Les plongements alimentent aussi des systèmes de recherche qui rapprochent requêtes et documents dans l’espace vectoriel. Voir l’article sur le modèle de langage neuronal et l’entrée de chronologie.