Guardrails
Technische und policy-basierte Schichten, die festlegen, was ein KI-System sagen oder tun darf, Filter, Regeln, Werkzeug-Rechte, menschliche Prüfung.
Guardrails sind die praktischen Leitplanken um KI-Verhalten: Ein-/Ausgabe-Filter, gesperrte Themen, erlaubte Tools, Rate-Limits, Logging und Eskalation an Menschen. Sie setzen Alignment-Ziele im Betrieb um, nicht nur im Training.
Bei LLMs, Chatbots und KI-Agenten ergänzen Guardrails gutes Prompt-Design und Tests. Sie reduzieren, beseitigen aber nicht, Jailbreaks, Prompt Injection und schädliche Antworten. Teams prüfen sie oft per strukturiertem Red Teaming.