Red Teaming
Gezieltes Ausloten eines KI-Systems auf Fehler, Missbrauch und Umgehungen vor oder nach dem Launch, strukturiertes adversariales Testen.
Red Teaming (für LLM-Anwendungen) heißt: organisiert versuchen, Schutzmechanismen zu brechen, Jailbreaks, Datenlecks, unsichere Tool-Aufrufe, verzerrte Ausgaben oder Policy-Umgehung. Es übernimmt aus der IT-Sicherheit die Idee eines Angreifer-Teams, damit Verteidiger Lücken schließen können.
Wirksames Red Teaming verbindet kreative Prompts, Automatisierung und Fachleute. Befunde fließen in Guardrails, Nachtraining und breiteres Alignment, besonders wenn Modelle Werkzeuge nutzen oder über RAG auf private Daten zugreifen.