Session

Como usar tu portátil para desplegar modelo LLM como un "PRO"

¿Quieres llevar el poder de los modelos de lenguaje (LLM) a tu propio portátil sin depender de la nube? En esta charla aprenderás cómo optimizar tu equipo para desplegar y ejecutar modelos de IA de forma eficiente. Hablaremos sobre herramientas como Ollama, GPTQ, GGUF, y técnicas de cuantización para reducir el consumo de recursos sin sacrificar rendimiento. También exploraremos frameworks como Llama.cpp y vLLM para maximizar el uso de tu GPU o CPU. Si quieres convertir tu portátil en una potente estación de inferencia, esta charla es para ti. ¡Saca el máximo provecho a tu hardware y despliega LLMs como un verdadero PRO!

Mario Ezquerro Saenz

GDG Cloud Español, GDG La Rioja, organizador, CNCF La Rioja

Logroño, Spain

Actions

Please note that Sessionize is not responsible for the accuracy or validity of the data provided by speakers. If you suspect this profile to be fake or spam, please let us know.

Jump to top