Tag: #transformeur
-
GPT-4 : le vaisseau amiral qui a relevé la barre (2023)
GPT-4 d'OpenAI savait lire les images autant que le texte et obtenait de bons scores à des examens conçus pour les humains, scellant une course commerciale féroce et un secret qui a troublé les chercheurs.
-
GPT-3 : quand l'échelle est devenue la stratégie (2020)
Le modèle à 175 milliards de paramètres d'OpenAI a montré qu'un modèle de langage assez grand pouvait apprendre de nouvelles tâches à partir de quelques exemples dans la consigne, sans réentraînement.
-
"Attention is all you need" : le Transformer arrive (2017)
Un article de 2017 a remplacé la mécanique séquentielle des réseaux précédents par de la pure attention. Le Transformer est devenu l'architecture derrière presque tous les grands modèles de langage depuis.