Die Zukunft der KI-Inferenz liegt nicht nur in der Cloud – das Ausführen auf End-Geräten wird Realität.

Moderne Computer bringen jetzt schon leistungsfähige NPUs (z. B. Qualcomm Snapdragon) mit, und Hersteller wie Intel und AMD stehen mit eigenen Lösungen in den Startlöchern. Diese Hardware eröffnet neue Möglichkeiten für performante On-Device AI. Einer der großen Trends in der dynamischen Welt der KI wir greifbar.

In diesem Vortrag zeigt Aydin, wie mit „Microsoft Foundry Local“, Large Language Modelle (LLMs) neu genutzt werden können: mit Privatsphäre, nachhaltig und Kosteneffizient – und wie wir diese Technologie in unsere eigenen Anwendungen integrieren.

Foundry Local bietet eine in sich abgestimmte Lösung: von der Laufzeitumgebung (Windows ML, ONNX Runtime, Genie), Ausführungseinheit (NPU, GPU. CPU) bis hin zu optimierten Modellen. Wir sprechen über Architekturen, Transformation der Modelle, Tool-Calling und APIs sowie Grenzen und Potentiale von On-Device AI.

Takeaways für die Teilnehmer:innen
• Verstehen, warum On-Device AI ein Game-Changer ist.
• Einblick in die Möglichkeiten von Microsoft Foundry Local.
• Praktische Tipps für die Integration von LLMs in eigene Anwendungen.
• Implementierung von Tool-Calling und lokaler Inferenz.
• Klarer Überblick über Potenziale und Grenzen von On-Device AI.