Modélisation de langage masquée (MLM)

Objectif de pré-entraînement qui masque des tokens d’entrée au hasard et entraîne à les reconstruire avec un contexte bidirectionnel ; central aux encodeurs de type BERT.

La modélisation de langage masquée (MLM) est un objectif de pré-entraînement de modèle de langage surtout employé avec des transformeurs encodeur-only. Une fraction des tokens d’entrée est remplacée par un masque (ou un token aléatoire) ; le réseau doit prédire les originaux en utilisant le contexte gauche et droit. Cette bidirectionnalité fait de la MLM la tâche standard de pré-entraînement pour les modèles de type BERT en traitement automatique des langues.

La MLM diffère de l’objectif mot suivant de gauche à droite des décodeurs de type GPT, qui montent en LLM modernes mais ne lisent pas les tokens futurs au pré-entraînement. Des architectures hybrides ultérieures combinent parfois les deux idées. Voir l’article BERT et l’entrée chronologie.