Modèles de langage neuronaux : Bengio contre la malédiction de la dimensionnalité (2003)

En 2003, Yoshua Bengio, Réjean Ducharme, Pascal Vincent et Christian Jauvin ont publié A Neural Probabilistic Language Model dans le Journal of Machine Learning Research (volume 3). Une version antérieure est apparue à NIPS 2000 (aujourd’hui NeurIPS). Le modèle prédisait le mot suivant à partir d’une représentation vectorielle apprise des mots précédents, en s’attaquant à la malédiction de la dimensionnalité qui rend impraticables les immenses tables de modèles de langage à n-grammes de chaînes de Markov quand le vocabulaire grandit.

Représentations distribuées des mots

Au lieu de stocker un paramètre séparé pour chaque séquence de mots possible, le réseau a appris des plongements lexicaux : des vecteurs denses dans lesquels des mots similaires se trouvent proches les uns des autres. Un réseau de neurones combinait ces vecteurs pour estimer les probabilités sur le token suivant. L’idée annonçait les LLM modernes, bien que le matériel de 2003 limitait la taille des modèles.

Des n-grammes au texte neuronal

Les modèles de langage classiques à chaînes de Markov, y compris les simples comptages de n-grammes explorés par Claude Shannon en 1948, supposent que seuls les derniers mots comptent. Cela garde l’inférence rapide mais ne peut pas partager la force statistique entre des mots proches comme « chat » et « chien ». L’approche par réseau de neurones de Bengio réutilisait la structure entre les mots grâce à des plongements partagés, une étape vers la révolution statistique du traitement automatique des langues dans les années 2000.

Pourquoi c’est important

L’article est largement cité comme un repère précoce des plongements lexicaux et des modèles de langage neuronaux. Bengio a plus tard partagé le prix Turing 2018 avec Geoffrey Hinton et Yann LeCun. Le travail fait le lien entre les réseaux de l’ère de la rétropropagation (article) et l’âge du Transformeur, et il complète les réseaux de croyances profonds du même décennie.