一个异构算力池,两类负载:招商银行在 Kubernetes 上统一训练与推理

CNCF 案例 · 中文译文查看 CNCF 原文 ↗
60%+平均加速器算力利用率

全平台平均值:35% → 60%+

>60%每百万 Token 推理成本下降

含输入与输出,同等模型和服务条件

5×多租户训练密度提升

默认 5 个 LoRA 租户共享一个基础模型

本文目录

招商银行是中国领先的商业银行之一,在云原生技术、人工智能和数字基础设施方面持续投入。随着 AI 扩展到更多金融场景,平台需要在近万张异构加速卡上支撑大模型训练、微调、在线推理及其他 AI 负载。

在这一规模下,单纯增加加速卡无法解决平台效率问题。训练需要稳定容量与高吞吐,推理必须迅速响应流量变化,多租户微调则要隔离租户状态,又不能反复加载同一个大型基座模型。银行需要更高效地利用既有容量,同时保留负载隔离、运维控制,以及训练和推理独立演进的能力。

招商银行在 Kubernetes 上建立统一控制平面,同时保留两条解耦的执行路径。两类负载都运行在 Kubernetes Deployment 管理的 Pod 中,使用 Ray 作为分布式运行时:Twinkle 负责多租户训练,vLLM 或 SGLang 提供在线推理。

在负载控制层,Kueue 管理训练队列、配额和准入;Prometheus 与 KEDA 根据实时需求信号伸缩推理服务;HAMi 调度和分配共享加速器资源;Fluid 加速访问数据集、模型权重与检查点。

改造后,平台平均加速器算力利用率从 35% 提升至 60% 以上。在可比模型和服务条件下,每百万 Token(输入与输出合计)的推理成本降低超过 60%。默认配置中,5 个 LoRA 租户共享一个基座模型实例,训练密度提高 5 倍,基座模型副本从 5 份减为 1 份。

“真正的挑战不是缺少加速器容量,而是找到更有效利用现有异构资源的方式。训练和推理共享同一套基础设施,但需要非常不同的运行策略。”

—— PeiXiang Tan,招商银行 AI 基础设施架构师

项目内容
行业 / 地区金融服务 / 中国
平台企业 AI 训练与推理
规模近万张异构加速卡
使用项目Kubernetes、Kueue、KEDA、Prometheus、HAMi、Fluid、Twinkle
平均加速器算力利用率每百万 Token 成本多租户训练密度
35% → 60%+降低 60% 以上,输入与输出合计提高 5 倍

面临的挑战

问题并不只是利用率低。训练和推理消耗同一批资源的方式,从根本上就不同。

训练需要稳定、可预期的资源

分布式训练通常运行时间长、以吞吐为导向,只有全部 Worker 和加速卡就绪,才能开始有效工作。缺少感知配额的准入机制时,一部分 Pod 可能提前启动,在等待剩余资源期间闲占容量。同时,数据集与模型权重需要在集中存储和计算节点间传输;数据尚未就绪时,已分配的加速器也只能等待。

推理必须跟随流量变化

在线推理恰好相反。请求量随业务流量波动,响应延迟比批处理吞吐更重要。按峰值负载预留加速卡,会在低谷留下大量空闲资源。缩容可以减少浪费,但流量回来后,新副本必须重新加载模型权重才能服务请求。如果启动缓慢或不可预测,平台团队就必须保留额外副本,推高单位 Token 成本。

微调需要隔离,又不能重复加载基座模型

LoRA 微调仅更新少量参数,但传统的“一租户一部署”仍会为每个租户加载完整基座模型运行时。5 个租户微调相同模型,就会创建 5 份基座模型,尽管只有较小的 Adapter 不同。租户状态得到隔离,显存却被重复占用,运行时初始化也重复发生。

因此,共享算力池需要不同的负载策略,并分别处理物理加速器共享与模型运行时复用。

解决方案

为什么选择可组合的云原生技术栈

招商银行采用自研平台策略,以 Kubernetes 为基础,将多个 CNCF 项目组合为统一训练与推理能力。训练和推理可以选择最适合自己的引擎与策略,同时共享控制平面、资源层、数据路径和监控系统。

这一决策基于三个原则:

  • 独立演进: 训练框架、推理引擎和模型的变化速度不同,不应紧密耦合。
  • 硬件灵活性: Kubernetes 与 HAMi 为共享异构加速卡提供共同管理入口,减少对单一厂商封闭技术栈的依赖。
  • 开放集成: Kueue、KEDA、Prometheus、HAMi 和 Fluid 通过 Kubernetes 原生接口连接,不要求某个产品掌管整个模型生命周期。

共享底座主要由 CNCF 托管项目构成。Kubernetes、KEDA 和 Prometheus 是毕业项目;Kueue 由 Kubernetes SIG Scheduling 维护;HAMi 与 Fluid 是孵化项目。

实施与协作

通过与银行数据中心及其他内部团队紧密合作,招商银行使用这一框架将 99% 的加速器算力资源纳入统一管理,并取得良好的运行效果。

架构:共享基础设施,解耦运行时

Kubernetes 原生的统一训练与推理架构。
图1: Kubernetes 原生的统一训练与推理架构。

Kubernetes 原生的统一训练与推理架构。

架构在基础设施层共享资源,在运行时层区分训练与推理。

负载层中,Training API 将任务提交给 Training Deployment 管理的 Pod,Twinkle 在其中基于 Ray 执行训练。Inference Gateway 则将在线请求路由到 Inference Deployment 管理的 Pod,由 vLLM 或 SGLang 基于 Ray 提供推理。

两条路径依赖同一套底层能力:Kueue 与 KEDA 分别负责训练准入和推理弹性;Kubernetes Scheduler 与 HAMi 放置 Pod、分配加速器容量;Fluid 提供数据和模型访问,Prometheus 采集运行指标。更底层的共享加速器节点池与 Fluid Cache Runtime 连接对象存储和模型注册中心。

维度训练路径推理路径
需求模式长时间、批处理、吞吐敏感突发、延迟敏感、请求驱动
入口Training APIInference Gateway
主要控制Kueue 准入与配额管理Prometheus 指标与 KEDA 自动伸缩
运行时Twinkle on RayvLLM 或 SGLang on Ray
共享底座Kubernetes Scheduler、HAMi、Fluid、加速器节点池、存储和模型注册中心同左
主要结果更高的多租户训练密度更低的单位 Token 推理成本

加速器利用率提升不能归因于单一组件,而来自准入、调度、分配、数据访问与运行时复用的共同作用。

训练路径:基于 Ray 的 Twinkle 多租户训练

训练请求先通过准入控制,再准备计算和数据资源:

Training API → Kueue 准入与配额 → Kubernetes Scheduler → HAMi 加速器分配 → Fluid 数据集和检查点访问 → Twinkle on Ray → 检查点与模型注册。

Kueue 首先依据队列与配额决定作业能否进入集群,避免部分 Pod 提前启动后无限期等待其余资源。通过准入后,Kubernetes Scheduler 选择节点,HAMi 分配所需加速器容量。Fluid 通过 Kubernetes 原生数据抽象和计算侧缓存,减少重复访问集中存储,让加速器减少等待。

Twinkle 在 Training Pod 内运行,基于 Ray 执行训练,支持 Transformers 或 Megatron 后端。在多租户 LoRA 场景中,租户共享同一个基座模型实例,同时保留独立的 Adapter、训练配置和状态。默认情况下,5 个租户共享一个基座模型。相比独立部署,基座模型副本从 5 份降至 1 份,加速器资源用量减少 80%。

一个基座模型实例能够支持的并发训练租户数因此提高 5 倍。平台已验证 8 租户并发,生产环境默认使用 5 租户。

训练结束后,Twinkle 将检查点交给下游模型管理流程。Fluid 加速检查点在存储和计算之间的流转,模型注册中心记录模型版本、Adapter 与 Tokenizer,供评估和部署使用。

推理路径:KEDA、HAMi 与 Fluid 协同弹性服务

推理路径从在线请求开始:

Inference Gateway → vLLM 或 SGLang on Ray → Prometheus 服务与需求指标 → KEDA 伸缩决策 → Kubernetes Scheduler 与 HAMi 分配 → Fluid 模型缓存访问。

Prometheus 收集服务框架暴露的 QPS、请求队列深度、推理延迟等关键指标。KEDA 根据这些信号决定增减副本。扩容时,Kubernetes 调度新 Pod,HAMi 分配合适的加速器资源,Fluid 提供缓存的模型权重。

每个组件消除不同来源的开销:

  • KEDA 根据需求调整副本数,减少低谷时段的闲置容量。
  • HAMi 为适合共享的负载细粒度分配加速器容量,避免小型或波动服务独占整卡。
  • Fluid 将模型权重缓存在计算附近,缩短新副本加载时间。
  • Prometheus 提供实时指标,让伸缩决策反映实际需求和服务目标。

需求驱动的弹性、细粒度加速器分配与更快的模型加载,共同降低推理成本。

统一模型生命周期

尽管运行策略不同,训练和推理仍连接到同一条模型生命周期:

训练 → 检查点 → 评估与注册 → 生产部署 → 在线监控 → 迭代优化。

训练数据与检查点存放于对象存储或数据集存储,Fluid 提供统一访问与缓存。Twinkle 生成模型或 Adapter 检查点,经评估后注册到模型注册中心;推理服务再通过 Fluid 加载选定版本。Prometheus 持续采集生产指标,为容量调整和下一轮模型迭代提供依据。

统一训练与推理,不只是把两类负载放在同一个 Kubernetes 集群,而是共享资源管理、数据流转、模型版本与线上反馈。

实施效果

指标结果
平均加速器算力利用率35% → 60%+
推理单位成本每百万 Token 降低超过 60%,输入输出合计
多租户训练密度提高 5 倍;5 租户配置下加速器资源用量减少 80%
基座模型副本默认 5 个 LoRA 租户,副本从 5 份减为 1 份
并发验证已验证 8 租户;生产默认 5 租户

平台团队报告的关键成果。

平均加速器算力利用率:35% → 60%+

在改造前后使用相同内部测量方法,近万张异构卡的平均算力利用率从 35% 提升到 60% 以上。Kueue 减少训练作业过早、碎片化预留资源;HAMi 提高分配粒度;Fluid 缩短数据和模型权重等待。结果反映整条资源路径的改善。

每百万 Token 推理成本:降低 60% 以上

在可比模型与服务条件下,处理一百万 Token 的成本,按输入和输出合计,下降超过 60%。单位成本比总支出更有参考价值,因为它能反映业务量增长过程中的效率。

加速器资源用量:减少 80%

使用 DeepSeek 基座模型时,Twinkle 默认允许 5 个 LoRA 租户共享一个基座模型实例。副本从 5 份减少到 1 份,使该配置的加速器资源用量减少 80%,训练密度提高 5 倍。

“通过与数据中心及其他内部团队的紧密合作,我们使用这一框架将 99% 的加速器算力资源纳入统一管理。效果可以量化:平均加速器算力利用率从 35% 提升到 60% 以上,每百万 Token 的推理成本降低超过 60%。”

—— MeiQing Zhang,招商银行架构管理团队负责人

实践经验

在统一控制平面下保留不同运行策略

训练和推理都需要统一资源管理,但不应使用相同策略。Kueue 的队列与配额准入适合训练负载,KEDA 的指标驱动伸缩适合在线推理。统一训练与推理应标准化共享基础设施,同时保留负载差异。

推理弹性依赖模型快速就绪

发出扩容命令,不等于推理容量立即可用。新副本只有加载完模型权重,才能接收请求。因此,模型加载速度是推理弹性的一部分,而不只是存储优化。Fluid 的计算侧缓存缩短了这一时间。

算力共享与模型共享解决不同问题

HAMi 决定物理加速器容量如何分配,Twinkle 决定多个 LoRA 租户如何复用一个基座模型。前者减少算力浪费,后者消除冗余运行时;两者不能互相替代。

使用一致指标准确衡量收益

加速器算力利用率、单位 Token 成本和训练密度衡量的是不同问题。明确每项指标的范围和方法,能让结果更容易核验,也更便于其他组织参考。

这项实践的意义

在这一架构中,Kubernetes 不只是运行 AI 容器,还连接作业准入、事件驱动弹性、加速器分配、数据加速与可观测性。训练和推理各自选择合适的运行时,同时复用基础设施能力。

CNCF 项目提供中立、可组合的基础设施接口。招商银行可以升级训练框架或推理引擎,而无需替换下方的资源和数据层;也可以增加或变更加速器类型,而无需重写整套训练与推理流程。

测量说明: 结果采用银行内部一致的前后对比方法,以及上文所述可比模型和服务条件。

后续计划

下一阶段聚焦四个方向:

  • 动态多租户并发: 在已验证最高 8 租户的基础上,突破固定 5 租户默认配置,根据模型大小、LoRA 配置、显存压力和服务目标调整 Twinkle 并发。
  • 基于单位成本的容量管理: 结合加速器利用率、Kueue 训练队列状态、Prometheus 延迟信号和 Token 成本,指导训练与推理之间的容量分配。
  • 基于 KEDA 的 Serverless AI 负载: 将事件驱动伸缩扩展至 Serverless 运行模式。在服务目标允许时,推理服务可缩至零,并根据实时需求恢复;通过 Fluid 缓存减少扩容过程中的模型就绪延迟。
  • 更广泛的硬件与运行时支持: 扩展基于 HAMi 的异构加速器支持,增加训练与推理后端,保持两条路径解耦,并向上游贡献生产经验。

原文:One Heterogeneous Compute Pool, Two Workload Types: How China Merchants Bank Unified Training and Inference on Kubernetes ↗
发布方:Cloud Native Computing Foundation(CNCF) · 2026-09-07

本页为 CNCF 案例的中文翻译,保留原文技术信息与数据口径;并非 CNCF 官方中文版本。架构图沿用原文,图内英文保留。项目阶段及产品信息以文章发布时为准。

原文依 Linux Foundation 内容条款使用,适用 CC BY 3.0;本页进行了中文翻译和版式调整,品牌标识归各权利人所有。

查看图片