Avec l'avènement des Small Language Models (SLMs), le moment est venu pour vos appareils de se soulever ! Comme les SLMs continuent de s'améliorer, nous allons explorer comment tirer parti de la puissance inexploitée des appareils personnels pour créer des expériences utilisateur exploitant l'IA générative em mode hors ligne. De l'amélioration de la confidentialité des données et de la conformité réglementaire à la réduction de la latence et à la rentabilité, l'inférence locale offre une multitude d'avantages. Nous présenterons le paysage multi-couches de l'inférence locale, en expliquant comment le matériel, les backends, les bibliothèques et les applications permettant l'inférence locale s'intègrent ensemble. Ensuite, nous présenterons des démonstrations en direct de SLMs locaux avec Llama.cpp et ONNX Runtime. Rejoignez-nous pour libérer le potentiel de vos appareils !