Creare un prototipo basato su LLM o sistemi RAG oggi è semplice. Il vero problema arriva quando l’applicazione entra in produzione: come possiamo monitorare in modo continuo, scalabile e affidabile la qualità delle risposte, senza dipendere da costosi cicli di validazione manuale?
In questo talk esploriamo il pattern architetturale LLM-as-a-Judge dal punto di vista del Data Engineer: come progettare una pipeline asincrona per raccogliere i log delle interazioni, valutare la qualità degli output e intercettare in tempo quasi reale errori, allucinazioni e risposte irrilevanti. Vedremo come usare metriche come Faithfulness e Context Precision, con framework open-source come Ragas, per costruire un sistema di osservabilità della qualità davvero utile in produzione.