密瓜智能携手壁仞科技,推进 BR166M GPU 与 llm-d 适配
为国产算力补齐分布式推理部署路径
本文目录
密瓜智能(Dynamia)与壁仞科技近日合作,向开源分布式推理项目 llm-d 提交壁砺™ 166M适配方案,覆盖常规推理与 Prefill/Decode(PD)分离两类部署配置。此次合作围绕推理实例部署、请求协调与跨节点缓存传输,推进壁仞通用 GPU 与云原生推理框架的衔接,为企业在国产算力上构建分布式模型服务提供部署参考。
此次合作是密瓜智能持续推进 llm-d 多硬件适配的一项实践。通过与芯片厂商联合适配,并将部署配置与说明贡献至上游社区,密瓜智能持续推动不同硬件平台接入开放的推理基础设施。
适配常规推理与 PD 分离
企业将大模型部署为持续运行的服务,需要让推理引擎、请求路由和集群资源协同工作。面对不同芯片的软件栈与通信条件,平台团队还需要明确推理实例如何启动、请求如何交接,以及计算产生的缓存如何在节点间传递。
llm-d 是基于 Kubernetes 的开源分布式推理项目,在 vLLM 等模型推理引擎之上提供请求路由与分布式服务编排能力。PD 分离将处理输入内容的 Prefill 阶段与逐步生成输出的 Decode 阶段分别部署,使平台可以针对两类负载独立配置资源。
本次提交为 BR166M GPU 提供常规推理和 PD 分离两类配置。其中,PD 分离方案以 Qwen2.5-72B 的 INT8 量化版本为适配对象,采用“1 Prefill + 1 Decode”部署方式:两个实例分别位于不同节点,每个实例使用四张 BR166M GPU 进行张量并行计算(TP=4),合计使用八张 GPU。
在这条链路中,Prefill 实例负责输入计算,生成供后续输出使用的 KV Cache(键值缓存);Decode 实例接收缓存后继续生成内容。方案复用 llm-d 的 routing sidecar 协调请求,通过 vLLM NixlConnector 传递 KV Cache,让两个节点分别承担输入处理和输出生成。
跨节点通信通过 UCX 使用 InfiniBand RDMA,并以 CPU 缓冲区承接 KV 数据传输。这些配置明确了当前适配所采用的通信路径,为后续围绕目标模型、并发负载与网络环境开展性能验证和优化提供基础。
将适配工作带入社区协作
此次合作将壁仞 BR166M GPU、BIRENSUPA™软件栈及适配的 vLLM 推理环境,与 llm-d 的部署流程衔接起来。密瓜智能参与 llm-d 侧的适配配置与上游贡献,由团队成员向社区提交相关改动,内容包括推理镜像配置、部署参数、加速器说明和 PD 分离部署指南。
对准备采用壁仞通用 GPU 的平台团队而言,这些内容提供了具体的部署起点:需要什么运行环境、如何组织推理实例、怎样传输缓存,都有可查看的配置与说明。适配方案进入上游协作流程,也让硬件厂商、框架维护者和使用者能够围绕同一份实现持续反馈与改进。
相关改动已通过 llm-d PR #2505 提交,并在提交内容中补充了适配路径的维护者信息。目前该PR已经通过社区合入。
以开放中立拓展算力选择
围绕 llm-d,密瓜智能将持续拓展与更多芯片厂商的适配合作,推动不同硬件平台接入开源分布式推理生态。将各平台的运行环境、部署配置与通信路径接入社区已有流程,有助于企业在评估算力方案时获得更具体的实施依据,也为软硬件伙伴后续共同维护和优化提供基础。
密瓜智能坚持技术中立,围绕企业的实际部署需求,与不同芯片厂商、开源社区及平台伙伴开展开放合作。未来,密瓜智能将持续与上下游伙伴推进联合适配、部署验证和上游贡献,并跟进版本演进中的兼容与维护需求,让更多算力平台能够与主流开源基础设施协同,为企业依据业务需求和实际适配条件选择算力提供支持。
完整适配配置与后续进展,可查看 本次适配 PR。