Rejeu d'expérience (experience replay)

Technique d'apprentissage par renforcement qui stocke d'anciennes transitions dans un tampon et entraîne sur des mini-lots aléatoires, décorrélant les mises à jour et réutilisant des événements rares.

Le rejeu d’expérience conserve un tampon de rejeu de transitions passées (état, action, récompense, état suivant) et échantillonne des mini-lots pendant l’entraînement. L’échantillonnage aléatoire casse la corrélation temporelle entre images ou pas consécutifs, ce qui autrement déstabilise les mises à jour de réseaux de neurones en apprentissage par renforcement. Revisiter des données stockées améliore aussi l’efficacité d’échantillonnage quand l’expérience neuve est coûteuse.

Long-Ji Lin a décrit dès 1992 des agents auto-améliorants avec expérience stockée. Le DQN DeepMind sur Atari (article) a popularisé le rejeu avec un réseau cible pour le Q-learning profond. Des algorithmes ultérieurs étendent la même idée. Voir l’entrée de chronologie.