L'integrazione dei Large Language Models (LLM) nei workflow mission-critical fa emergere un problema nascosto: la natura probabilistica e non-deterministica della generazione del testo si scontra con la rigorosa necessità di riproducibilità, tracciabilità e affidabilità richiesta dai sistemi aziendali.
Alcuni credono (ingenuiiiiii) che impostare la temperatura a zero azzeri la stocasticità, ignorando che l'aritmetica in virgola mobile sulle GPU e il dynamic batching introducono variazioni microscopiche capaci di alterare i flussi logici a valle.
In questo talk rifletteremo insieme sul tema ed esploreremo un approccio architetturale utile per superare questo paradosso. Introdurremo il principio "Model Advises, Runtime Decides" e il concetto di Busta Deterministica (Deterministic Envelope), mostrando come disaccoppiare la generazione euristica del modello dal controllo autoritativo dello stato e vedremo come implementare strategie che ci aiutereanno a trasformare agenti "imprevedibili" in componenti enterprise affidabili e realmente utilizzabili.