PPO (optimisation de politique proximale)
Algorithme d'apprentissage par renforcement très utilisé qui stabilise les mises à jour de politique via un objectif tronqué ; courant dans les étapes RLHF.
PPO (Proximal Policy Optimization, optimisation de politique proximale) est une méthode d’apprentissage par renforcement qui améliore une politique en limitant l’écart de chaque mise à jour par rapport à la précédente, via un objectif substitut tronqué. Cette contrainte réduit les grands pas destructeurs des gradients de politique naïfs.
Dans les piles LLM modernes, PPO apparaît souvent dans le RLHF : un modèle de récompense ou de préférences note des complétions échantillonnées, et PPO pousse le modèle de langage vers des sorties mieux notées dans le cadre de l’alignment après apprentissage supervisé et affinage.