El desarrollo de aplicaciones basadas en IA Generativa tiene un hándicap de base, y es que por definición son modelos probabilísticos, lo cual implica que nunca puedes estar seguro del resultado que vas a obtener, puedes jugar con ciertos parámetros (Temperatura, Top_N, etc.) o con arquitecturas como las RAGs para reducir alucinaciones, etc. pero aún así existe un riesgo importante de que el sistema genere contenido inadecuado, o que el propio usuario quiera que la IAG genere contenido inapropiado.

Para intentar mitigar esto tenemos Azure Content Safety, el cual analiza las entradas y las salidas en los modelos, proporciona metricas sobre la calidad de nuestras respuestas, riesgos sobre sexualidad, violencia, etc. como métricas personalizadas, ya que no todos los casos de uso son iguales, etc. y es lo que revisaremos en esta charla...