Alignment (alineación de IA)
El problema de asegurar que los sistemas de IA persigan objetivos y valores previstos, no solo lo que optimizaron literalmente en los datos de entrenamiento.
El alignment (alineación de IA) trata de construir IA, especialmente LLM grandes y agentes de IA, para que se comporten según la intención de diseñadores y usuarios, incluidas restricciones de seguridad.
Palancas prácticas: prompts curados, filtros y guardrails, feedback humano y aprendizaje por refuerzo a partir de preferencias (RLHF). El desalineamiento aparece cuando los modelos optimizan recompensas sustitutas, siguen instrucciones dañinas o persiguen competentemente el objetivo equivocado. Las preocupaciones a largo plazo suelen vincular alignment con AGI, superinteligencia (ASI) y singularidad, no solo con el uso cotidiano de chatbots.