On-Device AI als Vision wird langsam, aber sicher Realität bei der Inferenz von LLM.
Moderne Computer bringen jetzt schon leistungsfähige NPUs wie z. B. Qualcomm, Intel oder AMD. Diese Hardware ermöglicht ausreichend performante On-Device AI. Einer der großen Trends in der dynamischen Welt der KI wird greifbar.

Die Vorteile liegen klar auf der Hand: KI wird deutlich nachhaltiger, Privacy ist automatisch gewährleistet, die Latenz ist sehr gering, Kosten sind vernachlässigbar.

In diesem Vortrag zeigt Aydin, wie mit „Microsoft AI Foundry Local“, KI-Anwendungen für diesen neuen Ansatz bauen können. Foundry Local bietet eine in sich abgestimmte Lösung: von der Laufzeitumgebung (Windows ML, ONNX Runtime, Genie), Ausführungseinheit (NPU, GPU. CPU) bis hin zu kuratierten und optimierten Modellen. Wir sprechen über Architekturen, Transformation der Modelle, Tool-Calling und APIs sowie Grenzen und Potentiale von On-Device AI.

Anhand praktischer Beispiele lernen wir die Integration von MCP-Server, die Verwendung der Inferenz-API und einen Ausblick in das Einbinden von RAG.

Dieser Vortrag konzentriert sich auf die Aspekte von On-Device AI, das gesagt gilt auch für die Verwendung auf dedizierter Hardware On-Prem (Lokal AI).

Ich bin ein erfahrener Speaker in den Bereichen .Net, Cloud und Green Software.
Langjährige Erfolgreiche Vorträgen bei:
Developer Week (https://www.developer-week.de/)
We Are Developers (https://www.wearedevelopers.com/world-congress)
.NET Conf (https://www.dotnetconf.net)
IT-Tage (https://www.ittage.informatik-aktuell.de/)
NDC Oslo (https://ndcoslo.com)
Developer Day (https://entwicklertag.de/)
Und vielen anderen Community-Konferenzen und Meetups