Red teaming
Sondeo deliberado de un sistema de IA en busca de fallos, abusos y bypasses antes o después del lanzamiento, pruebas adversariales estructuradas.
El red teaming (para apps con LLM) son intentos organizados de romper salvaguardas: jailbreaks, fugas de datos, llamadas inseguras a herramientas, sesgos o evasión de políticas. Toma de la seguridad informática la idea de un equipo rojo que ataca para que defensa cierre huecos.
Un red teaming eficaz combina prompts creativos, automatización y expertos. Los hallazgos alimentan guardrails, reentrenamiento y alignment más amplio, sobre todo cuando los modelos usan herramientas o acceden a datos privados vía RAG.