Quasi tutte le aziende hanno ormai rilasciato una proof of concept di Gen AI. Un numero crescente ha ricevuto la prima fattura seria.

Questo talk è l'anatomia dei costi di un'applicazione Gen AI: cosa paghi davvero, e quali scelte architetturali cambiano il numero di un ordine di grandezza.

Analizzeremo l'economia dei token e perché il design del prompt è una decisione di costo prima ancora che di qualità. Esploreremo quando self hostare un modello su Cloud Run con GPU batte una API gestita e, altrettanto importante, quando invece è chiaramente peggio. Vedremo perché lo scale to zero è la leva più grande che quasi nessun team tocca, e come caching, batching e model routing (prima il modello piccolo, quello grande solo quando se lo merita) ridisegnino la fattura.

I numeri arrivano da progetti le cui fatture finiscono nella mia casella: una pipeline di podcast AI multilingua che pubblica con una sua cadenza, e un paio di MVP che girano su Cloud Run. Abbastanza piccoli da potervi mostrare ogni singola riga, abbastanza veri da far male quando sbagli. Tutto il resto è normalizzato in costo per milione di token e in rapporti, così le lezioni valgono per qualsiasi dimensione di carico, compresa la tua.

Uscirai con un modello mentale per stimare i costi Gen AI prima di costruire, e con una serie di leve da tirare quando la fattura arriva comunque.

La tua proof of concept Gen AI è costata undici euro. Il tuo prodotto Gen AI ne costa undicimila! Dove finiscono davvero i soldi? Economia dei token, Cloud Run con GPU contro una API gestita, scale to zero, caching, batching e model routing. Fatture vere dei miei progetti, abbastanza piccole da mostrarti ogni riga. Vieni a imparare a stimare il conto prima di costruirlo!