当前硬件技术日新月异，市面上的硬件平台并非都提供 GPU 兼容接口，这给异构硬件的高效利用带来了巨大挑战。本次分享将着重介绍我们在昇腾硬件上实现 AI 工作负载智能调度的实践经验。
昇腾 NPU 采用专门面向神经网络计算优化的达芬奇核心，这与 GPU 的 CUDA 架构有着本质区别。基于这种架构特点，我们需要为 vLLM 和 Ray 等框架提供原生支持，以便将硬件节点作为调度资源进行统一管理。在此基础上，我们将详细介绍如何实现Gang Scheduling和Dominant Resource Fairness等高级调度机制，从而更好地支持复杂 AI 工作负载的资源编排。
我们的方案有效解决了异构硬件环境下 AI 服务面临的关键挑战。通过实际案例，我们将展示这些优化如何显著提升了生产环境中 AI 工作负载的管理效率。