OpenAI o1 : des modèles qui réfléchissent avant de répondre (2024)
OpenAI a présenté une gamme de modèles entraînés à raisonner les problèmes étape par étape avant de répondre, échangeant la vitesse contre la précision et ravivant l'idée que réfléchir plus longtemps peut payer.
Le 12 septembre 2024, OpenAI a présenté o1, une nouvelle gamme de modèles conçue pour prendre le temps de réfléchir avant de répondre. Là où un grand modèle de langage classique tend à produire une réponse en une passe rapide, o1 parcourt d’abord un problème en une longue chaîne interne d’étapes, et ne donne qu’ensuite sa réponse finale.
Le calcul au moment de la question
L’idée centrale est souvent appelée calcul au moment du test : laisser un modèle utiliser plus de calcul à l’instant où on l’interroge, et pas seulement pendant l’entraînement. Donnez à o1 un problème difficile de mathématiques ou de programmation et il va, en somme, délibérer, essayer des approches, vérifier son travail et revenir en arrière, avant de s’engager sur une réponse.
Ce fut un basculement notable. Une grande partie de l’ère précédente, de GPT-3 à GPT-4, présentait le progrès surtout comme l’entraînement de modèles plus grands sur plus de données. o1 a mis en avant un second levier : un modèle peut aussi donner de meilleures réponses en réfléchissant plus longtemps au moment de l’usage. Ce comportement a été façonné par apprentissage par renforcement, en récompensant les chaînes de raisonnement qui aboutissaient à des résultats corrects.
Ce en quoi il excellait, et ce que cela coûtait
o1 a rapporté de nets gains sur des tâches aux réponses justes bien définies : mathématiques de concours, questions de sciences et programmation, précisément les domaines où un raisonnement soigné, étape par étape, aide le plus. Les compromis étaient tout aussi clairs. Il était plus lent et plus coûteux à exécuter, et OpenAI a choisi de masquer le raisonnement interne brut aux utilisateurs, n’en montrant que des résumés, ce qui a ravivé le débat sur le degré d’inspectabilité de ces systèmes.
Il a aussi rappelé que les références ne sont pas toute l’histoire : briller sur des problèmes de concours ne se traduit pas automatiquement par de la fiabilité sur un travail désordonné et ouvert.
Pourquoi c’est important
o1 a reformulé une question que le domaine avait largement mise de côté : non plus seulement « quelle est la taille du modèle ? », mais « combien de temps doit-il réfléchir ? ». En montrant qu’un raisonnement délibéré en plusieurs étapes pouvait être entraîné et payé au moment de l’inférence, il a ouvert un nouvel axe de progrès au-delà de la seule échelle.
Il se situe à la fin de la tranche d’histoire que couvre cette chronologie, et il regarde vers l’avant. Les prochains débats, sur le raisonnement, la fiabilité, le coût et la façon d’évaluer tout cela, commencent ici.