HAMi 可组合调度策略
HAMi 2.10 解读(三)| 既要独占、又要装箱、还要 NUMA 亲和:调度策略可以组合了
推理副本要紧凑装箱,多卡要落同一 NUMA 节点保带宽,时延敏感的负载干脆独占几张卡——一句话里三种策略,以前只能选一个。本文是 HAMi 2.10 解读系列第三篇:讲清“先过滤、后排序”的求值模型,并用四张 T4 上的真实选择路径逐一验证。
来自我们团队的见解、教程和新闻
推理副本要紧凑装箱,多卡要落同一 NUMA 节点保带宽,时延敏感的负载干脆独占几张卡——一句话里三种策略,以前只能选一个。本文是 HAMi 2.10 解读系列第三篇:讲清“先过滤、后排序”的求值模型,并用四张 T4 上的真实选择路径逐一验证。
GPU 有 HAMi 做显存硬隔离,昇腾 NPU 呢?本文是 HAMi 2.10 解读系列第二篇:在昇腾 310P3 真机上验证 Volcano 调度 + HAMi-core 软切分——容器内只见 8192 MiB 切片,两个 Pod binpack 到同一张物理卡,监控指标如实上报。
GPU 共享最大的焦虑是“说好一家一半,凭什么你能超”。本文是 HAMi 2.10 解读系列第一篇:用一次可在 GKE 上复现的实测回答,KAI Scheduler 把两个 Pod 调度到同一张 NVIDIA T4 之后,HAMi-core 是否真能把每个 Pod 的显存死死限制在配额内?申请 3 GiB 成功,累计 5 GiB 直接 OOM。
HAMi v2.10.0 正式发布!Flexible MIG 基于 NVML 实现按需动态创建与回收 MIG 实例,AMD Instinct MI300X 获得软件 vGPU 支持,mutex 互斥策略与可组合调度策略链补齐真实集群诉求,KAI Resource Isolator 与 Volcano vNPU 集成让 HAMi-core 的隔离能力进入更广的调度生态。
7 月 25 日,招银数智创新 Meetup 杭州站举行,HAMi 社区 Approver、密瓜智能(Dynamia)研发工程师王纪飞带来《让 NPU 更易共享:HAMi vNPU 技术演进与招商银行落地实践》主题演讲。本文完整回顾 HAMi vNPU 从硬切分到软切分的演进路径,以及与招商银行在生产环境的联合验证成果。
2026 年 7 月 2 日,由密瓜智能发起并长期主导的开源项目 HAMi 正式晋升为 CNCF Incubating 项目。 作为目前行业内唯一专注于异构 GPU 资源虚拟化与高效调度、并进入 CNCF Incubating 阶段的开源项目, HAMi 的这一里程碑释放出一个清晰信号:AI 基础设施的竞争,正在从“谁拥有更多算力”,走向“谁能更高效地管理算力”。
在 HAMi 晋升 CNCF Incubating 的行业窗口期,密瓜智能牵头组织并全程陪同 CNCF、PyTorch 基金会代表团走访壁仞科技、 天数智芯、沐曦、寒武纪、超云等国内 AI 芯片与算力基础设施企业,围绕国产 AI 芯片与全球云原生 AI Infra 开源生态的适配、生态共建与生产落地展开深入交流。
CNCF 案例研究:招商银行如何基于 Kubernetes 和 HAMi 构建统一 AI 算力 调度平台,实现异构资源池化、拓扑感知调度与细粒度加速卡共享。硬件资源池 利用率达到 100%,跨机调度下降 30%,最细切分粒度达到 1 GB 显存 / 1% 算力。
2026 年 7 月 2 日,HAMi 正式晋升为 CNCF Incubating(孵化)项目。这是继 2024 年 8 月作为 Sandbox 项目加入 CNCF 之后的又一重要里程碑,意味着 HAMi 已经从"有潜力的新项目"成长为"被真实生产环境广泛采用的可信基础设施"。
获取最新的技术文章、教程和 HAMi 社区更新。