Red teaming
Sonder délibérément un système d'IA pour trouver pannes, abus et contournements avant ou après lancement, tests adversariaux structurés.
Le red teaming (pour apps LLM) désigne des tentatives organisées de casser les protections : jailbreaks, fuites de données, appels d’outils dangereux, biais ou contournement de politique. Il reprend l’idée sécurité d’une équipe rouge qui attaque pour que la défense comble les failles.
Un red teaming efficace combine prompts créatifs, automatisation et experts métier. Les résultats alimentent guardrails, réentraînement et alignment plus large, surtout quand les modèles utilisent des outils ou accèdent à des données privées via RAG.