Session
LLM-D:面向云原生的大模型部署框架与实践
LLM-D(Large Language Model Deployment)是一套基于 Kubernetes 的大模型部署框架,旨在简化和加速大语言模型在云原生环境中的全生命周期管理。作为一名 AI 开发者和开源贡献者,我探索了如何借助 Kubernetes 及其生态工具,让大模型的部署过程更具可重复性、可扩展性和成本效率。本次分享将介绍 LLM-D 的核心实践模式:从模型容器化、分布式推理优化,到自动化上线与治理。结合 DaoCloud 的真实案例,我将展示如何通过 LLM-D,帮助团队快速从原型验证走向生产级 LLMOps 流水线,让开发者在保持高效交付的同时实现稳定运营。

Samzong Lu
PM at DaoCloud, AI/LLMOps PM Leader, CNCF Multiple Project Contributors, Open Source Enthusiast
Shanghai, China
Links
Please note that Sessionize is not responsible for the accuracy or validity of the data provided by speakers. If you suspect this profile to be fake or spam, please let us know.
Jump to top