Experience Replay

Verstärkungslern-Technik, die vergangene Übergänge in einem Puffer speichert und zufällige Mini-Batches trainiert, um Updates zu entkoppeln und seltene Ereignisse wiederzuverwenden.

Experience Replay hält einen Replay-Puffer vergangener Übergänge (Zustand, Aktion, Belohnung, Folgezustand) und zieht daraus Mini-Batches beim Training. Zufälliges Sampling bricht zeitliche Korrelation zwischen aufeinanderfolgenden Frames oder Schritten, die sonst Updates in neuronalen Netzen im verstärkenden Lernen destabilisieren. Gespeicherte Daten erneut zu nutzen verbessert auch die Sampleffizienz, wenn neue Erfahrung teuer ist.

Long-Ji Lin beschrieb 1992 frühe selbstverbessernde Agenten mit gespeicherter Erfahrung. DeepMinds DQN für Atari (Artikel) popularisierte Replay zusammen mit einem Zielnetz für Deep Q-Learning. Spätere Algorithmen erweitern dieselbe Idee. Siehe den Zeitleisten-Eintrag.