Negli ultimi mesi ho avuto l’opportunità di lavorare a un progetto di ricerca e sviluppo per esplorare l’adozione di soluzioni basate su Small e Large Language Models, con una sfida particolare: eseguire l’inferenza localmente, “on edge”.

Durante questo progetto, ho approfondito vari aspetti di un ecosistema complesso e in rapida evoluzione, concentrandomi in particolare sui server di inferenza. Ho affrontato sfide non banali, scoperto strumenti e tecniche utili, e raccolto molte idee che penso possano essere interessanti da condividere.

In questa sessione esploreremo le principali componenti dello stack di inferenza locale per LLM. Partiremo dal chiarire il gergo tecnico, passando in rassegna i principali progetti open source dell’ecosistema e presentando strumenti e soluzioni pratiche per chi vuole orientarsi e iniziare a sperimentare in questo ambito.

- Working Software 2025 https://www.agilemovement.it/workingsoftware/schedule.html
- We Are Developers World Congress 2025