Apprentissage par renforcement (RL)
Apprendre des politiques via des récompenses ou scores en interagissant avec un environnement : fondamental pour les jeux, la robotique et certains ajustements de LLM de type RLHF.
Le RL optimise les comportements par des signaux d’essai : récompenses tardives éparses, pièges exploration vs. exploitation, simulations.
Gerald Tesauro a développé TD-Gammon (1992), une étape précoce qui a appris à un réseau de neurones à jouer fortement au backgammon grâce à l’apprentissage par différence temporelle et l’auto-apprentissage. Des systèmes de jeu comme AlphaGo et l’alignment moderne des LLM utilisent parfois des étapes de type RL, par exemple RLHF avec PPO, en complément de logs d’apprentissage supervisé.