GPT-4 : le vaisseau amiral qui a relevé la barre (2023)
GPT-4 d'OpenAI savait lire les images autant que le texte et obtenait de bons scores à des examens conçus pour les humains, scellant une course commerciale féroce et un secret qui a troublé les chercheurs.
Quatre mois après que ChatGPT eut fait des modèles de langage un phénomène de masse, OpenAI a lancé GPT-4 le 14 mars 2023. Il fut présenté comme un vaisseau amiral plus sûr et plus puissant, et devint vite le modèle vers lequel on se tournait pour la meilleure réponse disponible.
Ce qui était nouveau
GPT-4 a progressé sur deux fronts à la fois :
- La multimodalité. Là où les grands modèles de langage antérieurs ne traitaient que du texte, GPT-4 pouvait aussi prendre des images en entrée : décrire une photo, lire un graphique ou expliquer un mème. Cela signalait que la recette du Transformer ne se limitait pas aux mots.
- Des performances de type examen. OpenAI a rapporté que GPT-4 atteignait des percentiles élevés à des tests conçus pour des humains, des examens du barreau aux matières avancées. Ces références sont imparfaites, mais les chiffres à la une ont réinitialisé les attentes sur ce que peut faire un modèle généraliste.
Sous le capot, il restait un Transformer mis à l’échelle dans la tradition de GPT-3, affiné par retour humain pour se comporter en assistant utile.
Le tournant du secret
GPT-4 a aussi marqué un changement dans la façon dont le domaine partage ses travaux. Invoquant la concurrence et la sécurité, OpenAI s’est abstenu de publier la taille, l’architecture ou les données d’entraînement du modèle. Le rapport d’accompagnement se lisait davantage comme une fiche produit que comme un article scientifique.
Pour une discipline bâtie sur la publication ouverte, de la référence ImageNet à l’article du Transformer, ce fut un changement notable. Il a nourri un débat plus large : les modèles les plus capables resteront-ils inspectables, ou deviendront-ils des produits fermés ?
Pourquoi c’est important
GPT-4 a confirmé que l’assistant dévoilé avec ChatGPT n’était pas un coup isolé. Il a fixé une barre de capacité que la concurrence a passé l’année suivante à poursuivre, et ses démonstrations multimodales préfiguraient un avenir où un seul modèle traite texte, images et davantage.
Les sorties qui ont suivi, de Gemini de Google aux challengers à poids ouverts comme Llama 2, se comprennent mieux comme des réponses au standard fixé par GPT-4.