Evaluar agentes de Inteligencia Artificial Generativa con datasets inventados o sintéticos tiene un límite: nunca se parecen del todo a lo que los usuarios reales hacen en producción.

En esta charla exploraremos cómo cerrar el ciclo de observabilidad en agentes construidos sobre Microsoft Foundry, aprovechando y transformando trazas reales capturadas en Application Insights en datasets de evaluación que permiten medir, comparar y mejorar la calidad de nuestros agentes a partir de la fuente más fiel y fidedigna del comportamiento real de las personas en producción.

Partiremos de un agente hospedado (hosted agent) en Microsoft Foundry instrumentado con OpenTelemetry y veremos cómo convertir sus trazas de producción en un dataset de evaluación.

Lo haremos desde el portal, empleando SKDs de C# y de Python, donde profundizaremos en cómo integrar evaluadores personalizados (custom evaluators) y enfoques de «LLM-as-a-judge», aprovechando la capacidad de Continuous Evaluations de Foundry para analizar el comportamiento del agente a partir de interacciones reales y obtener métricas accionables sobre precisión, utilidad, seguridad y alineamiento.

Mostraremos un flujo completo de extremo a extremo: desde la captura de trazas en Application Insights, su conversión en datasets, la configuración de evaluadores personalizados y la ejecución de evaluaciones continuas que permiten mejorar la calidad del agente de manera iterativa y basada en evidencia.