PPO (Proximal Policy Optimization)
Weit verbreiteter RL-Algorithmus mit geklipptem Ziel: stabilisiert Policy-Updates und wird oft in RLHF-Stufen eingesetzt.
PPO (Proximal Policy Optimization) ist ein Verfahren aus dem verstärkenden Lernen, das eine Policy verbessert, aber jeden Update-Schritt gegenüber dem vorherigen Zustand begrenzt (geclipptes Surrogat-Ziel). So werden die großen, destabilisierenden Schritte vermieden, die naive Policy-Gradient-Methoden kennen.
In modernen LLM-Stacks taucht PPO oft in RLHF auf: Ein Modell für Belohnungen oder Präferenzen bewertet generierte Antworten, PPO verschiebt das Sprachmodell Richtung höherer Scores als Teil des Alignment nach überwachtem Lernen und Fine-Tuning.