Guardrails
Couches techniques et de politique qui limitent ce qu'un système d'IA peut dire ou faire, filtres, règles, permissions d'outils, revue humaine.
Les guardrails sont les garde-fous concrets du comportement de l’IA : filtres entrée/sortie, sujets bloqués, outils autorisés, limites de débit, journaux et escalade vers des humains. Ils mettent en œuvre les objectifs d’alignment en production, pas seulement à l’entraînement.
Pour les LLM, les chatbots et agents IA, les guardrails complètent un bon design de prompts et des tests. Ils réduisent, sans éliminer, les jailbreaks, l’injection de prompt et les réponses nocives. Les équipes les valident souvent par du red teaming structuré.