密瓜智能持续拓展国产算力生态：携手天数智芯完成 llm-d 适配

企业将大模型部署到国产 GPU 平台，需要衔接硬件、推理引擎与集群管理框架。模型能否顺利加载，请求如何分配到推理实例，不同实例之间如何交换数据，都是构建分布式推理服务需要解决的具体问题。

围绕这些部署需求，密瓜智能（Dynamia）与天数智芯合作，完成了 llm-d 在天垓 300 等产品上的 P/D 分离部署适配与端到端验证，打通从模型加载、分布式调度到推理输出的完整流程，并向 llm-d 上游社区提交相关适配改动。

打通 P/D 分离推理的部署链路

llm-d 是基于 Kubernetes 构建的开源分布式推理框架，已加入 CNCF Sandbox。它围绕推理引擎提供请求路由、推理调度与 P/D 分离等能力，帮助平台团队将多个推理实例组织成协同运行的模型服务。

P/D 分离将大模型推理拆分为两个阶段：Prefill 处理输入内容，Decode 逐步生成输出。两个阶段分别部署后，可以独立配置资源，同时也需要完成请求协调和 KV 缓存的跨实例传输。对新硬件平台的适配，需要将这些环节与推理引擎、底层运行环境衔接起来。

本次合作围绕这条链路开展联合调试与验证，以 Qwen3.8-27B 和 DeepSeek V4 Flash 为例，覆盖模型加载、分布式调度和推理输出。验证工作将天数智芯的软硬件环境接入 llm-d 的推理部署流程，为国产 GPU 上的分布式模型服务提供适配基础。

协同完成框架实现、验证与上游集成

密瓜智能承担 llm-d 侧的功能实现、端到端验证，以及与上游社区的持续沟通协作。 团队围绕推理实例部署、路由配置及 P/D 协同开展适配，并与上游社区协作，推动相关改动完成评审并合入主分支。

天数智芯提供完整的硬件运行环境、推理镜像和全栈软件技术支持，配合完成硬件驱动、通信库与推理框架之间的联调。双方分别从框架与软硬件平台侧推进工作，共同完成部署链路验证。

相关代码与配置已通过 llm-d PR #2381 合入主分支，包含加速器说明、P/D 分离部署配置及维护者信息。开发者可以查看实现细节、参考部署配置，并持续跟踪后续维护进展。

坚持开放中立，持续拓展生态合作

推理框架、模型和硬件软件栈都在持续更新，适配路径也需要随版本变化维护。双方已安排技术专家参与该路径的维护工作，持续跟进社区反馈、功能扩展与后续迭代。

从与沐曦的适配合作，到此次与天数智芯的联合验证，密瓜智能持续推动国产算力与云原生推理框架的衔接。秉持密瓜智能与 HAMi 开放、中立的生态定位，我们将持续携手上下游芯片厂商、推理框架及平台伙伴，开展联合适配、部署验证与长期维护，推动更多软硬件平台协同发展，为企业基于业务需求选择和组合算力资源提供支持。

完整适配改动与后续进展，可查看 本次适配 PR；框架介绍与部署文档见 llm-d 项目主页。