GPT-3 : quand l'échelle est devenue la stratégie (2020)
Le modèle à 175 milliards de paramètres d'OpenAI a montré qu'un modèle de langage assez grand pouvait apprendre de nouvelles tâches à partir de quelques exemples dans la consigne, sans réentraînement.
En 2020, OpenAI a publié GPT-3, un grand modèle de langage de 175 milliards de paramètres, plus de cent fois plus gros que son prédécesseur. Le titre de l’article était modeste, « Language Models are Few-Shot Learners », mais l’affirmation qu’il contenait ne l’était pas.
L’apprentissage à quelques exemples
Les modèles antérieurs étaient souvent spécialisés : pour en rendre un bon en traduction ou en résumé, on l’affinait sur un jeu de données étiqueté pour cette tâche. GPT-3 a suggéré une autre façon de travailler. Comme c’était un Transformer entraîné sur d’immenses quantités de texte issu d’internet, on pouvait souvent simplement décrire la tâche dans la consigne, lui montrer deux ou trois exemples, et il suivait le motif, sans aucune mise à jour des poids.
Cette capacité, appelée apprentissage en contexte ou à quelques exemples, explique pourquoi la consigne est devenue une idée si centrale. Soudain, la manière de demander comptait énormément, et un seul modèle pouvait être amené à de nombreuses tâches sans le coût d’un réglage fin séparé pour chacune.
Le pari de l’échelle
Le vrai message de GPT-3 portait sur l’échelle. Son comportement venait largement du fait de grossir la même recette de base : plus de paramètres, plus de données, plus de calcul. L’article documentait comment les capacités tendaient à s’améliorer régulièrement à mesure que ces chiffres augmentaient, donnant à la recherche et à l’industrie un argument commun, presque économique : si plus grand voulait dire de façon fiable meilleur, l’investissement pouvait viser l’échelle.
Cet argument a remodelé le domaine. Il a justifié les entraînements gigantesques et les budgets de centres de données qui ont suivi, et a fixé l’attente que chaque nouvelle génération serait nettement plus capable que la précédente.
Pourquoi c’est important
GPT-3 n’a pas été lancé au public comme produit de conversation. L’accès passait par une API destinée aux développeurs, et il resta un temps surtout un sujet pour ceux qui suivaient le domaine de près. Mais il a posé les bases de la suite. Une fois établi qu’un seul grand modèle pouvait traiter des tâches de langage ouvertes à partir d’une consigne, la pièce manquante était une interface utilisable par tous.
Cette interface est arrivée deux ans plus tard sous le nom de ChatGPT, et le public de masse qu’elle a touché réagissait, sciemment ou non, aux capacités que GPT-3 avait d’abord démontrées.