PPO (optimización de política proximal)
Algoritmo de aprendizaje por refuerzo muy usado que estabiliza las actualizaciones de política con un objetivo recortado; común en etapas de RLHF.
PPO (Proximal Policy Optimization, optimización de política proximal) es un método de aprendizaje por refuerzo que mejora una política limitando cuánto puede alejarse cada actualización de la anterior, mediante un objetivo sustituto recortado. Esa restricción reduce pasos grandes y destructivos propios del gradiente de política ingenuo.
En pilas modernas de LLM, PPO aparece a menudo en RLHF: un modelo de recompensa o preferencias puntúa completaciones muestreadas, y PPO empuja el modelo de lenguaje hacia salidas mejor puntuadas como parte del alignment tras aprendizaje supervisado y ajuste fino.