Alignment (alignement de l'IA)
Le problème de s'assurer que les systèmes d'IA poursuivent les objectifs et valeurs voulus, pas seulement ce pour quoi ils ont été optimisés sur les données d'entraînement.
L’alignment (alignement de l’IA) consiste à construire une IA, surtout de grands LLM et des agents IA, pour qu’elle se comporte selon l’intention des concepteurs et des utilisateurs, y compris les limites de sécurité.
Leviers pratiques : prompts soignés, filtres et guardrails, retour humain et apprentissage par renforcement à partir de préférences (RLHF). Un mauvais alignement apparaît quand les modèles optimisent des récompenses substituts, suivent des instructions nocives ou poursuivent compétemment le mauvais objectif. Les inquiétudes à long terme associent souvent l’alignment à l’AGI, à la superintelligence (ASI) et à la singularité, pas au seul usage quotidien de chatbots.