E se il tuo modello AI potesse girasse direttamente nel browser, senza chiamate a server, senza token, senza latenza di rete? WebLLM rende possibile tutto questo: esegue modelli linguistici quantizzati direttamente nel browser, sfruttando WebGPU, senza che un singolo token esca dalla macchina dell'utente.

In questo talk vi racconto come l'ho integrato in Angular, partendo da un esperimento e arrivando a un gioco funzionante con NPC alimentati da un LLM locale.

Esploreremo insieme come funziona WebLLM, come l’ho integrato in Angular, e quali strategie ho usato per gestirne i limiti e tirarne fuori il massimo.