En esta sesión exploraremos cómo aplicar prácticas de red teaming específicamente diseñadas para sistemas de IA generativa, utilizando el agente de AI Red Teaming de Azure (preview). Comenzaremos con los conceptos fundamentales de AI red teaming y cómo se diferencian del red teaming tradicional, para luego profundizar en la arquitectura y funcionamiento del agente de Azure integrando el framework PyRIT (Python Risk Identification Tool) y los módulos de evaluación de riesgo y seguridad de Azure AI Foundry.

Veremos cómo configurar escaneos automatizados de riesgos de contenido (por ejemplo: violencia, discurso de odio, self-harm, contenido sexual), cómo ejecutar ataques adversariales con distintas estrategias (como codificaciones, ofuscaciones, inversión de caracteres, prompt injection), y cómo interpretar métricas como Attack Success Rate (ASR).

También hablaremos sobre los modos de ejecución (local vs en la nube), limitaciones actuales, y buenas prácticas para incorporar el red teaming de AI como parte del ciclo de desarrollo y despliegue seguro de aplicaciones generativas.

El objetivo de la sesión es tener un entendimiento claro de cómo integrar shift-left red teaming en sus proyectos de IA, fortalecer su postura de riesgo y mantener alineamiento con estándares emergentes de confianza y cumplimiento.