BERT : pré-entraînement bidirectionnel pour la compréhension du langage (2018)

Le 11 octobre 2018 Jacob Devlin et des collègues chez Google ont publié l’article BERT sur arXiv. Un encodeur Transformer entraîné par modélisation de langage masquée lit le texte dans les deux sens, a battu des records en benchmarks et a popularisé le schéma pré-entraînement puis affinage dans le traitement du langage.

Date de l'événement: Publié:
HistoireRecherche

Le 11 octobre 2018, Jacob Devlin et des collègues chez Google ont publié sur arXiv BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (1810.04805). L’article défendait une recette simple : prendre la moitié encodeur du transformeur de « Attention is all you need », le pré-entraîner en profondeur sur du texte brut, puis appliquer l’affinage sur des tâches étiquetées.

Lire dans les deux sens

Les modèles de langage antérieurs traitaient souvent le texte strictement de gauche à droite, le schéma que les décodeurs de type GPT allaient pousser à l’extrême avec GPT-3. BERT utilisait un contexte bidirectionnel : chaque token pouvait regarder des deux côtés. C’est gênant si le modèle ne fait que prédire le mot suivant, car les tokens futurs trahiraient la réponse. La solution de BERT : la modélisation de langage masquée — masquer aléatoirement des tokens d’entrée et entraîner le réseau à les restaurer depuis le voisinage.

Une seconde tâche auxiliaire, prédiction de la phrase suivante, encourageait des représentations sensibles aux relations au niveau du paragraphe. Ensemble, elles produisaient des vecteurs généralistes que l’affinage adaptait à la classification, aux questions-réponses et à la reconnaissance d’entités avec relativement peu d’étiquettes par tâche.

Benchmarks et adoption

Sur GLUE et SQuAD de l’époque, BERT a grimpé en tête des classements avec de larges marges. Le résultat dépassait les scores académiques. Recherche, publicité et traitement automatique des langues en entreprise reposaient souvent sur des traits superficiels ou des modèles dédiés ; BERT offrait une colonne vertébrale partagée qui améliorait de nombreux pipelines après affinage.

Google a publié des checkpoints pré-entraînés et l’écosystème Hugging Face a fait de « télécharger BERT, affiner sur vos étiquettes » un flux par défaut. Les Transformers encodeur-only sont devenus la norme pour la compréhension, tandis que les décodeur-only ont porté l’histoire de la génération.

Pourquoi c’est important

BERT n’a pas remplacé le récit de mise à l’échelle que GPT-3 amplifierait deux ans plus tard. Il a clairement scindé le domaine : encodeurs bidirectionnels pour classification et recherche, décodeurs autorégressifs pour texte ouvert. Les deux lignées descendent du même transformeur de 2017, d’où des stacks modernes qui mélangent souvent les deux idées.

Pour les praticiens, l’héritage de BERT est le modèle pré-entraîner, puis affiner sur un modèle de langage calibré pour le contexte des deux côtés. Il sous-tend encore des embeddings dans les index de recherche, des classificateurs de documents et beaucoup de TAL d’entreprise — même si les LLM orientés chat dominent les gros titres.

#transformeur#traitement-automatique-langues