深信服 CNCF 案例研究
单卡跑 8 个模型、月省 20 万:深信服如何用 K8s + Volcano + HAMi 榨干每一张 GPU
2000 人研发团队的 AI 平台,曾经一边疯狂买卡,一边看着大量 GPU 空转。深信服基于 Kubernetes + Volcano + HAMi 重建算力平台后:GPU 利用率提升 3 倍以上,单卡承载 8+ 个模型,外部模型调用成本每月省下 20 万元。
来自我们团队的见解、教程和新闻
2000 人研发团队的 AI 平台,曾经一边疯狂买卡,一边看着大量 GPU 空转。深信服基于 Kubernetes + Volcano + HAMi 重建算力平台后:GPU 利用率提升 3 倍以上,单卡承载 8+ 个模型,外部模型调用成本每月省下 20 万元。
密瓜智能与沐曦股份合作,率先完成曦云 C 系列 GPU 在 llm-d 社区的完整适配,实现单卡、多卡及 Prefill/Decode 分离推理部署验证,这是 llm-d 官方支持的加速器名单中首次纳入国产 GPU。
9 月 6 日晚,密瓜智能、HAMi 与 CNCF 在上海共同举办 HAMi Incubating Community Night,纪念 HAMi 迈入 CNCF Incubating。现场发布 HAMi Ambassador Program,并向 Maintainer、Approver 与 Contributor 致谢。
五场实践分享,拆解 AI 算力效率。HAMi Meetup 上海站 · Incubating 特别活动回顾:远程 GPU 与 HAMi 2.10、llm-d 分布式推理控制平面、天数智芯国产 GPU 推理 SLO 验收、Volcano + HAMi-core 调度隔离、UCloud 智算平台工程实践。
推理副本要紧凑装箱,多卡要落同一 NUMA 节点保带宽,时延敏感的负载干脆独占几张卡——一句话里三种策略,以前只能选一个。本文是 HAMi 2.10 解读系列第三篇:讲清“先过滤、后排序”的求值模型,并用四张 T4 上的真实选择路径逐一验证。
GPU 有 HAMi 做显存硬隔离,昇腾 NPU 呢?本文是 HAMi 2.10 解读系列第二篇:在昇腾 310P3 真机上验证 Volcano 调度 + HAMi-core 软切分——容器内只见 8192 MiB 切片,两个 Pod binpack 到同一张物理卡,监控指标如实上报。
GPU 共享最大的焦虑是“说好一家一半,凭什么你能超”。本文是 HAMi 2.10 解读系列第一篇:用一次可在 GKE 上复现的实测回答,KAI Scheduler 把两个 Pod 调度到同一张 NVIDIA T4 之后,HAMi-core 是否真能把每个 Pod 的显存死死限制在配额内?申请 3 GiB 成功,累计 5 GiB 直接 OOM。
HAMi v2.10.0 正式发布!Flexible MIG 基于 NVML 实现按需动态创建与回收 MIG 实例,AMD Instinct MI300X 获得软件 vGPU 支持,mutex 互斥策略与可组合调度策略链补齐真实集群诉求,KAI Resource Isolator 与 Volcano vNPU 集成让 HAMi-core 的隔离能力进入更广的调度生态。
7 月 25 日,招银数智创新 Meetup 杭州站举行,HAMi 社区 Approver、密瓜智能(Dynamia)研发工程师王纪飞带来《让 NPU 更易共享:HAMi vNPU 技术演进与招商银行落地实践》主题演讲。本文完整回顾 HAMi vNPU 从硬切分到软切分的演进路径,以及与招商银行在生产环境的联合验证成果。
获取最新的技术文章、教程和 HAMi 社区更新。