Repetición de experiencia (experience replay)

Técnica de aprendizaje por refuerzo que almacena transiciones pasadas en un búfer y entrena con mini-lotes aleatorios, descorrelacionando actualizaciones y reutilizando eventos raros.

La repetición de experiencia mantiene un búfer de repetición de transiciones del entorno (estado, acción, recompensa, siguiente estado) y muestrea mini-lotes durante el entrenamiento. El muestreo aleatorio rompe la correlación temporal entre fotogramas o pasos consecutivos, que de otro modo desestabiliza actualizaciones de redes neuronales en aprendizaje por refuerzo. Revisitar datos almacenados también mejora la eficiencia muestral cuando nueva experiencia es costosa.

Long-Ji Lin describió agentes auto-mejorables con experiencia almacenada en 1992. El DQN de DeepMind para Atari (artículo) popularizó la repetición junto con una red objetivo para Q-learning profundo. Algoritmos posteriores extienden la misma idea. Véase la entrada de la cronología.