技术博客

为什么 GPU 成了 AI 时代的基石?给 K8s 老兵的 GPU 科普

密瓜智能技术博客
为什么 GPU 成了 AI 时代的基石?给 K8s 老兵的 GPU 科普技术深度与工程细节
密瓜智能 · 开源 AI 基础设施

从 Kubernetes 工程师熟悉的概念出发,介绍 GPU 并行计算、Tensor Core、HBM、Transformer 与 KV Cache,以及训练和推理的不同资源需求。文章进一步讨论多 GPU 协作、集群调度与 GPU 资源管理。

本文目录

本文以 Ameen Alam 的 GPU 架构三部曲为主线,并参考 TrendForce、NVIDIA(Slinky/Slurm、GPUDirect 数据通路)、Mirantis 等关于 GPU 基础设施与 Agentic AI 的资料,整理了一篇面向 Kubernetes 工程师的 GPU 入门文章。

如果你熟悉 K8s,但还没有接触过 GPU,也没有实际做过模型训练和推理,希望这篇文章能帮你建立一些基本认识。

GPU:AI 的基石
图1: GPU:AI 的基石

写在前面

过去十年,我的主战场一直是容器和 Kubernetes。从服务网格到整个云原生生态,我几乎每天都在和调度、网络、存储、可观测这些事打交道,但关注的始终是 CPU 侧的云原生技术。去年,我正式转向了 AI 基础设施(AI Infra)。

真正接触后才发现,这个领域需要理解的概念非常多。Token、Transformer、Tensor Core、HBM、KV Cache 一个接一个出现,而不少技术文档又默认读者已经具备相关知识。对于没有训练过模型、也没有部署过推理服务的工程师来说,理解起来并不容易。

后来我找到一个比较适合自己的学习方法:从熟悉的云原生概念入手,理解 AI Infra 中对应的技术。

Kubernetes 工程师熟悉的调度、Job、Deployment、controller、缓存、利用率、多租户,以及微服务、服务网格、分布式系统、事件驱动、高可用架构,都能在 AI Infra 中找到一些可以类比的概念。

建立起这些联系后,很多原本陌生的技术就容易理解多了。这种从云原生视角理解 AI Infra 的方法,帮助我更快地上了手。我也希望把自己的学习过程整理出来,给有相似背景的朋友提供一些参考。

这是系列的第一篇,会先回答一个基础问题:为什么 AI 计算大量使用 GPU?

后面我还会继续介绍 GPU 资源管理、调度、可观测等 K8s 工程师比较熟悉的话题。

你在屏幕前打出一句话,AI 一字一字吐出回答。对用过 K8s 的你来说,最自然的理解是:AI 就是跑在 GPU 上的一种“工作负载”,而 GPU 是一种专门给它用的“节点”。

先把黑话翻译成 K8s

AI Infra 有不少专门的技术术语,对于没有接触过模型训练和推理的工程师来说,理解起来可能有些困难。

我们先看一张对照表,后面我会逐一解释这些概念。

AI 概念一句话大白话K8s 老兵的类比
Token(词元)模型处理文本的基本单位,可以是一个字、一个词或词的一部分类似日志中的一小段文本,是处理信息的基本单位
模型(Model)通过训练得到的一套参数和计算结构,用来处理输入并生成结果类似应用程序及其运行所需的数据,部署后才能提供服务
训练(Training)用大量数据反复计算、调整参数,让模型学会完成任务类似运行一个长时间的 Job,最终产出可部署的模型
推理(Inference)使用训练好的模型处理请求,生成预测或回答类似通过 Deployment 部署在线服务,接收请求并返回结果
Transformer一种基于注意力机制的神经网络架构,是许多大语言模型的基础可以借用 controller 的循环处理思路理解逐步生成,但两者机制不同
Tensor CoreGPU 中专门加速矩阵乘加运算的计算单元类似专门处理某类任务的 worker,针对特定计算进行优化
HBMGPU 使用的高带宽内存,用于存放模型权重、KV Cache 等数据类似节点的本地内存,但具有更高的内存带宽
KV Cache缓存历史 token 的 Key、Value,减少生成过程中的重复计算类似保存在本地的会话状态,随着上下文增长而占用更多内存

有了这些基本概念,我们再来看 GPU 为什么适合 AI 计算。

一个大多数人懒得问的问题

GPU 已经广泛应用于 AI 训练和推理。我们经常讨论租用哪种 GPU、使用什么框架、部署哪个模型,却很少追问一个更基础的问题:为什么是 GPU 而不是更通用的 CPU?为什么一种最初主要用于图形渲染的处理器,如今成了 AI 计算的核心硬件?

要理解这个问题,需要先了解 CPU 和 GPU 在计算架构上的区别,以及神经网络的计算特点。

CPU vs GPU

对于 CPU,我们已经很熟悉了。K8s 的控制面、etcd、scheduler 等组件都依赖 CPU 运行。CPU 擅长处理复杂的指令和控制逻辑,虽然核心数量相对较少,但单个核心的处理能力很强,更注重单个任务的执行效率和响应延迟。

我们可以把 CPU 想象成一位经验丰富的工匠,擅长独立完成复杂、精细的工作。

GPU 的设计思路与之相比有所不同,它拥有大量计算核心,擅长在海量数据上并行执行相似的运算。相比单个任务的执行速度,GPU 更注重整体计算吞吐量,即在单位时间内完成尽可能多的计算任务。

如果说 CPU 像一位工匠,那么 GPU 就更像一座大型工厂:大量工人同时处理相似的工序,通过分工协作提高整体产出,两者各有优势。

CPU 工匠 vs GPU 工厂
图2: CPU 工匠 vs GPU 工厂

对于需要复杂控制逻辑、频繁分支判断或依赖顺序执行的任务,CPU 通常更合适;而面对大量结构相似、可以并行处理的计算,GPU 往往能提供更高的吞吐量。

传统的 Web 服务、数据库和操作系统包含大量复杂的控制逻辑,因此主要依赖 CPU。而深度学习涉及大量矩阵运算,其中许多计算可以并行执行,恰好能够发挥 GPU 的架构优势。

AI 为什么打爆了 CPU

神经网络的计算涉及大量矩阵乘法。简单来说,就是按照一定规则,对多组数字进行批量乘加运算。

在模型处理 token 的过程中,需要执行大量这样的计算,其中许多运算可以同时进行。这类高度并行的计算任务,正是 GPU 的优势所在。

以一个拥有 128 个核心的 CPU 为例,面对大规模矩阵运算,它需要将计算任务分批处理。而拥有数千个计算核心的 GPU,可以将矩阵拆分成多个部分,交由不同的计算单元并行执行,从而提高整体计算吞吐量。

GPU 的优势并不在于单个计算核心比 CPU 更快,而在于它能够同时调动大量计算单元,处理具有相似计算结构的任务。

神经网络中的大量矩阵运算具备这种并行计算的特点。 因此,GPU 能够更充分地发挥硬件的并行处理能力,成为当前 AI 训练和推理的主要计算硬件之一。

GPU 与 AI 计算的三个关键概念

Tensor Core:只会批量乘法的 sidecar

以 NVIDIA GPU 为例,GPU 内部既有通用的 CUDA Core,也有专门用于矩阵运算的 Tensor Core。

CUDA Core 可以执行多种类型的计算任务,而 Tensor Core 针对矩阵乘加运算进行了专门优化,能够高效处理矩阵块的计算,在适用的数据类型和计算场景下提供更高的吞吐量。

前面提到,神经网络的计算涉及大量矩阵乘法,这正是 Tensor Core 能够发挥优势的地方。

如果用 K8s 的概念作类比,可以把 CUDA Core 想象成处理不同任务的通用 worker,而 Tensor Core 则更像只做“批量乘法”的高度专用 sidecar。两者各有分工,Tensor Core 在矩阵运算方面具有更高的执行效率。

HBM:节点的高速本地内存

GPU 的计算能力再强,也需要有足够快的数据供应速度。

和 CPU 一样,GPU 内部也采用了多级存储结构,包括寄存器、共享内存、缓存和设备显存等。不同存储层级在容量、访问延迟和带宽上各有特点。

GPU 内存层级
图3: GPU 内存层级

HBM(High Bandwidth Memory,高带宽内存)是高性能 GPU 常用的显存技术,模型权重、中间计算结果以及 KV Cache 等数据都可以存放在这里。它的主要优势是能够提供很高的内存带宽,让 GPU 在执行大规模计算时更快地获取所需数据。

传统 GDDR 显存通常以独立芯片的形式分布在电路板上,随着带宽需求增加,接口宽度、布线和功耗等因素会带来一定限制。

HBM 采用垂直堆叠的内存结构,通过硅通孔(TSV)连接不同存储层,并利用高密度封装技术将内存堆栈与 GPU 计算芯片集成在一起。这样可以在较小的封装空间内实现更宽的内存接口,提供更高的数据传输带宽。

打个比方,传统显存像分布在车间周围的多个仓库,而 HBM 则把仓库集中建在车间旁边,通过更多并行的运输通道,提高向车间供应物料的速度。

**为什么内存带宽如此重要?**因为 GPU 即使能够快速完成矩阵运算,也必须先拿到数据。如果显存无法及时提供计算所需的数据,计算单元就可能处于等待状态,无法充分发挥性能。

这在部分 AI 推理工作负载中尤为明显。相比计算能力,内存带宽有时反而会成为限制推理速度的主要因素。

因此,在 NVIDIA GPU 的架构演进中,HBM 带宽一直是重要的性能指标。从 H200、Blackwell 到 Vera Rubin,相关产品都在持续提高显存带宽,以满足日益增长的 AI 计算需求。

除了提升显存本身的带宽,NVIDIA 也通过多种技术优化 GPU 与外部设备之间的数据传输:

  • GPUDirect Storage:支持存储设备与 GPU 显存之间更直接的数据传输,减少经过主机内存的中转及相关 CPU 开销。
  • GPUDirect RDMA:支持 GPU 显存与具备 RDMA 能力的网络设备直接交换数据,减少跨节点通信过程中不必要的数据复制和 CPU 参与。
  • NVLink:为 GPU 之间提供高速互联通道,加快多 GPU 场景下的数据交换。

这些技术虽然作用于不同的数据传输环节,但都在帮助 GPU 更高效地获取和交换数据。

对于 K8s 工程师,可以从数据路径优化的角度理解:减少不必要的中转,让数据尽可能通过更直接的通道到达目标设备。

NVIDIA 在 AI 计算领域的优势,也与这套围绕 GPU 构建的内存和高速互联体系密切相关。

Transformer + Token:大语言模型如何逐步生成回答

Transformer 不是硬件,而是一种神经网络架构。GPT、Claude、LLaMA 等大语言模型都采用了基于 Transformer 的架构。

对于常见的自回归语言模型,文本生成过程可以简单理解为:根据已有的 token 序列,预测下一个 token。

Token 是模型处理文本的基本单位,可以是一个字、一个词,也可以是词的一部分。

当用户输入一段文本时,模型会先将文本转换成 token 序列,再根据已有内容计算下一个 token 的概率分布,并按照一定的生成策略选出下一个 token。

新生成的 token 会被加入已有序列,模型再根据更新后的上下文继续预测。这个过程不断重复,直到生成完整回答或满足停止条件。

Token 与 Transformer
图4: Token 与 Transformer

如果借用 K8s 中熟悉的概念,可以把这种逐步生成的过程类比成 controller 的 reconcile 循环:

读取当前状态(已有的 token 序列),计算下一步输出(下一个 token),更新序列,再进入下一轮。

当然,这只是帮助理解循环过程的类比。Transformer 的内部计算机制与 Kubernetes controller 并不相同。

我们在 AI 助手中看到的回答逐步出现在屏幕上的效果,就与这种自回归生成方式有关。

训练 vs 推理

训练和推理是 AI 模型生命周期中的两个不同阶段,虽然都需要 GPU 提供计算能力,但工作负载的特点和资源需求有所不同。

  • 训练(Training):模型通过大量数据反复计算、调整参数,逐步学习数据中的规律。大规模训练任务可能持续数周甚至数月,更关注整体计算吞吐量和训练效率。用 K8s 的概念来理解,训练类似一个长时间运行的批处理 Job,最终产出模型权重。
  • 推理(Inference):使用训练好的模型处理输入并生成结果。对于在线推理服务,既要尽快响应用户请求,也要在多用户并发时保持稳定的吞吐能力。这与 K8s 中通过 Deployment 部署在线服务的场景比较相似。

训练 vs 推理
图5: 训练 vs 推理

这种差异也会影响 GPU 的选型和性能评估。

对于大规模训练,通常需要关注 Tensor Core 计算能力、GPU 之间的通信带宽,以及多卡协同计算的效率。训练任务涉及大量计算和数据交换,计算能力与通信效率都会影响整体训练速度。

而在大语言模型推理中,除了 GPU 计算能力,HBM 容量、内存带宽和 KV Cache 管理也十分重要。这些因素会影响模型能够处理的上下文长度、并发请求数量以及 token 生成速度。

因此,选择 GPU 时,需要结合具体的训练或推理负载,综合考虑计算、显存和通信等方面的需求。

多 GPU 协作:AI 集群中的分布式计算

前面介绍了单张 GPU 的计算特点,但在实际应用中,一张 GPU 往往无法满足所有需求。

例如,大型模型的参数可能无法全部装入单张 GPU 的显存,而大规模模型训练也可能需要数百甚至数千张 GPU 共同完成计算。

当多张 GPU 协同工作时,就需要解决一系列分布式计算问题:如何拆分计算任务、如何在 GPU 之间传输数据、如何同步计算结果,以及如何协调不同节点的执行过程。

这些问题与云原生工程师熟悉的分布式系统有不少相通之处。

多 GPU 协作

在模型并行场景中,模型的不同部分可以分配到不同 GPU 上,每张 GPU 负责相应的计算,并通过通信操作交换中间结果。

这与微服务架构中将不同功能拆分到多个服务实例的思路有些相似。不过,GPU 之间的协作通常需要更紧密的计算同步,对通信延迟和带宽也更加敏感。

GPU 间通信

多 GPU 计算涉及频繁的数据交换,尤其是在分布式训练过程中。

同一节点内的 GPU 可以通过 NVLink 等高速互联技术进行通信,跨节点通信则通常依赖 InfiniBand、RoCE 等高速网络。

对于熟悉服务网格的工程师,可以借助微服务东西向流量的概念来理解 GPU 之间的数据传输。不同的是,分布式 AI 计算对通信带宽、延迟以及节点间的拓扑关系往往有更严格的要求。

NVIDIA 也在推动 GPU 与高速互联网络的系统级集成,例如 Vera Rubin NVL72。这类机柜级架构将多个 GPU 及相关互联组件组织在一起,以支持大规模并行计算。

All-reduce

在数据并行训练中,不同 GPU 分别处理一部分训练数据,计算出各自的梯度。

为了让参与训练的 GPU 使用一致的更新结果,系统需要对这些梯度进行聚合。All-reduce 就是常用的集合通信操作之一,它可以对多个 GPU 上的数据进行归约计算,并将结果分发给所有参与者。

如果做过 etcd、Raft 等分布式系统,可以从多节点之间需要协调和同步信息这一点来理解。但两者解决的问题并不相同:Raft 关注分布式共识,而 All-reduce 主要负责数值数据的聚合与分发。

连续批处理

在大语言模型推理中,不同用户的请求可能随时到达,生成的 token 数量也各不相同。

传统的静态批处理通常需要等待一批请求完成后,再处理下一批。连续批处理(Continuous Batching)则可以在生成过程中动态加入新请求,并及时移除已经完成的请求。

对于熟悉事件驱动架构的工程师,可以把它理解成一个持续接收和处理任务的系统,只是这里调度的不仅是请求,还包括每一步 token 生成所需的 GPU 计算资源。

通过动态调整批次中的请求,连续批处理可以减少 GPU 等待和资源闲置,提高推理吞吐量。

分离式推理

大语言模型推理通常包含两个主要阶段:

  • Prefill(预填充):处理输入 token,计算并生成相应的 KV Cache。这一阶段通常涉及大量并行计算。
  • Decode(解码):利用已有的 KV Cache 逐步生成输出 token,对显存带宽和缓存管理更加敏感。

由于两个阶段的计算特点不同,一些推理系统会将它们部署到不同的 GPU 资源池中,分别配置计算资源并进行扩缩容。

这种方式称为分离式推理(Disaggregated Inference),其中 Prefill 和 Decode 之间需要传输 KV Cache,具体通信方式取决于硬件架构和推理系统的实现。

这与微服务按功能拆分、独立部署和扩缩容的思路有相似之处。KV Cache 则可以类比成不同处理阶段之间需要传递的会话上下文。

从这些例子可以看出,多 GPU 计算虽然涉及新的硬件和计算机制,但其中的任务拆分、节点通信、资源调度和数据管理问题,对云原生工程师来说并不陌生。

过去在 Kubernetes、Istio、Envoy 等系统中积累的分布式架构经验,可以帮助我们更快地理解 AI 集群的设计与运行方式。

GPU 集群如何调度:Slurm 与 Kubernetes 的协同

前面介绍了多 GPU 协作的计算与通信机制。对于熟悉 K8s 的工程师,接下来还有一个实际问题:这些 GPU 计算任务由谁来调度和管理?

目前,Slurm 和 Kubernetes 都是 GPU 集群中常见的工作负载管理方案。两者的设计背景和优势有所不同,也因此形成了不同的应用场景。

Slurm 是高性能计算(HPC)领域广泛使用的作业调度系统。 根据原文引用的 NVIDIA 数据,全球 TOP500 超算中约有 65% 使用 Slurm。许多大型 AI 训练团队也积累了成熟的 Slurm 作业脚本、公平份额策略和资源计费流程。

大规模模型训练通常需要长时间运行,对 GPU 拓扑、节点间通信和整体计算吞吐量都有较高要求。Slurm 在批处理作业调度和大规模计算资源管理方面有着长期的实践积累,因此常被用于这类场景。

Kubernetes 则在容器化工作负载和在线服务管理方面具有优势。 对于 AI 推理服务,弹性扩缩容、服务发现、流量管理和可观测性都十分重要,而这些正是 K8s 已经具备的成熟能力。与此同时,Kubernetes 也可以通过相应的调度器和生态组件支持模型训练任务。

当企业同时运行大规模训练和在线推理业务时,可能需要面对 Slurm 与 Kubernetes 两套环境的管理问题。

NVIDIA 开源的 Slinky 项目提供了一种协同方案:在 Kubernetes 环境中部署和管理 Slurm,使企业能够利用 K8s 的基础设施管理能力,同时保留 Slurm 在 HPC 作业调度方面的优势。

相关技术组件包括:

  • slurm-operator:通过 Kubernetes 自定义资源及工作负载对象管理 Slurm 组件,包括 slurmctld、slurmd、slurmdbd 等,并利用 K8s 的配置管理和工作负载生命周期管理能力,简化 Slurm 集群的部署与运维。
  • GPU Operator + DCGM Exporter:用于部署和管理 GPU 驱动及相关组件,采集 GPU 运行指标。结合 Slurm 作业信息,还可以实现作业级别的 GPU 监控。
  • ComputeDomains + DRA:面向 GB200 NVL72 等具备跨节点高速 GPU 互联能力的系统,通过 Kubernetes DRA(Dynamic Resource Allocation,动态资源分配)及相关机制管理 GPU 互联资源,为分布式训练提供支持。

根据原文引用的 NVIDIA 生产实践,Slinky 已用于管理超过 8000 张 GPU。在相关 NCCL all-reduce、all-gather 测试中,其通信性能与原生 Slurm 环境接近,说明在这些测试条件下,Kubernetes 管理层没有引入明显的性能损耗。

Slinky 展示了一种 GPU 集群管理思路:利用 Kubernetes 管理底层基础设施,由 Slurm 负责相应的计算作业调度,使两套系统能够在同一环境中协同工作。

不过,训练与推理对 GPU 资源的需求并不相同。无论使用 Slurm 还是 Kubernetes,都需要根据工作负载的特点,考虑资源分配、拓扑感知、弹性调度和利用率等问题。

这也引出了后面要讨论的 GPU 资源管理:除了将计算任务调度到合适的 GPU 上,如何进一步提高资源使用效率,同样是 AI 基础设施需要解决的问题。

KV Cache:大语言模型推理中的显存挑战

在大语言模型推理中,KV Cache 是影响显存占用和推理性能的重要因素。

前面提到,Transformer 在生成新 token 时,需要利用已有 token 的注意力信息。如果每生成一个 token,都重新计算之前所有 token 对应的 Key 和 Value,就会产生大量重复计算。

为此,推理系统通常会将已经计算出的 Key 和 Value 缓存起来,供后续生成过程使用,这就是 KV Cache(Key-Value Cache)。

KV Cache 减少了重复计算,但也带来了额外的显存开销。随着上下文长度增加,需要保存的缓存数据也会逐渐增多。

例如:

  • 当用户输入一段包含 10,000 个 token 的对话时,模型需要为这些 token 保存相应的 Key 和 Value;
  • 每生成一个新 token,注意力计算通常需要读取与当前上下文相关的历史 KV Cache;
  • 原文以一个 70B 模型、32K 上下文为例,单次请求的 KV Cache 占用可能达到 8~16 GB;
  • 在长上下文、高并发场景下,多个请求的 KV Cache 会同时占用显存,总量可能达到数百 GB。

KV Cache 像一本越聊越厚的会话记事本
图6: KV Cache 像一本越聊越厚的会话记事本

如果用 K8s 的概念作类比,可以把 KV Cache 理解成保存在本地的会话状态。对话越长,需要保存的历史信息就越多,后续生成 token 时也需要不断访问这些数据。

推理服务的显存不仅要存放模型权重,还要为 KV Cache 预留空间。当上下文较长或并发请求较多时,KV Cache 可能占用大量显存,进而限制服务能够同时处理的请求数量。

针对这一问题,推理框架提供了不同的缓存管理机制。

例如,vLLM 的 PagedAttention 借鉴虚拟内存的分页管理思路,将 KV Cache 分块存储和管理,减少显存碎片,提高内存利用效率。

NVIDIA Dynamo 等推理系统则提供 KV Cache 分层管理能力,可以根据数据访问需求,在 GPU 显存、CPU 内存等不同存储层级之间管理和迁移缓存数据。

对于大语言模型推理而言,如何合理分配、复用和管理 KV Cache,直接关系到显存使用效率、请求并发能力和整体推理性能。

GPU 利用率会撒谎

做过 K8s 运维的人都知道,Pod 处于 Running 状态,并不代表它正在高效执行任务。GPU 也有类似的情况:监控数据显示利用率很高,但实际计算效率未必理想。

以 nvidia-smi 中的 GPU Utilization 为例,这项指标反映的是采样周期内,GPU 至少有一个计算 kernel 正在执行的时间比例。它能告诉我们 GPU 有多长时间处于计算活动状态,却不能直接反映计算单元是否被充分利用。

例如,一张 GPU 的利用率达到 90%,并不意味着它已经发挥了 90% 的计算性能。实际运行中,GPU 仍可能受到显存带宽、kernel 启动开销等因素限制,部分计算资源没有得到充分利用。

评估 GPU 的运行效率,还需要结合 SM(Streaming Multiprocessor,流式多处理器)活跃度、计算吞吐量、Tensor Core 利用情况以及内存带宽等指标综合分析。

即使 nvidia-smi 显示 GPU 利用率接近 100%,也可能存在 SM 活跃度不高、计算单元未被充分利用的情况。具体瓶颈还需要结合工作负载和更细粒度的性能指标判断。

对于 AI 推理服务,除了硬件层面的指标,还需要关注直接反映服务性能的数据:

  • Token 吞吐量:单位时间内生成的 token 数量,用于衡量推理系统的整体输出能力,类似于在线服务中的吞吐量指标。
  • TTFT(Time to First Token,首 token 延迟):从请求发起到生成第一个输出 token 的时间,直接影响用户感受到的响应速度。
  • TPOT(Time Per Output Token,每输出 token 耗时):衡量生成阶段平均每个输出 token 所需的时间。ITL(Inter-Token Latency)则表示相邻输出 token 之间的时间间隔,两者密切相关,但具体统计口径可能因推理框架而异。
  • 显存占用:分别关注模型权重、KV Cache 和临时计算数据的显存使用情况,帮助判断是否存在显存容量或内存访问方面的瓶颈。

熟悉 K8s 的工程师可以把这些指标与日常监控中的 QPS、请求延迟和资源水位联系起来理解。

评估 GPU 推理服务时,既要看硬件是否繁忙,也要看实际处理了多少请求、生成了多少 token,以及响应速度是否满足业务要求。

为什么 NVIDIA 这么难撼动

谈到 GPU,很难绕开 NVIDIA 在 AI 计算领域的市场地位。

除了硬件性能,CUDA 软件生态也是 NVIDIA 长期保持竞争优势的重要原因。

CUDA 不只是一个并行计算接口,还包括编程模型、编译器、运行时以及一系列加速计算库。经过多年发展,CUDA 已经形成了较为完整的软件工具链,并得到 PyTorch、TensorFlow、JAX 等主流 AI 框架的广泛支持。许多模型训练和推理系统也针对 CUDA 进行了专门优化。

可以把 CUDA 生态类比成 Linux 内核、containerd 和相关云原生工具共同构成的软件体系。它不依赖某个单独的组件,而是由多个相互配合的软件层次组成。

因此,企业如果希望将现有 AI 工作负载迁移到其他 GPU 平台,通常不只是更换硬件,还需要重新验证计算内核、加速库、AI 框架、推理服务以及监控和运维工具的兼容性与性能。

这种覆盖开发、部署和运维多个环节的软件生态,以及由此产生的迁移和适配成本,构成了 NVIDIA 在 AI 计算领域的重要竞争优势。

未来:AI 工厂

近年来,NVIDIA 越来越多地使用 AI Factory 来描述面向 AI 计算的数据中心基础设施。

这一概念强调,AI 数据中心的建设不能只考虑 GPU 本身,还需要将计算、存储、网络、供电和散热等系统作为整体进行设计。

随着 GPU 计算密度和集群规模不断提高,大规模 AI 基础设施在部署和运维中需要考虑更多因素:

  • 电力供应:原文提到,单个 Vera Rubin 机柜的功耗超过 100 kW,中型训练集群可能需要 10~50 MW 的供电能力。对于这类高密度计算系统,电力容量、供电稳定性和冗余设计都需要在建设阶段充分考虑。
  • 散热能力:高密度 GPU 系统会产生大量热量,传统风冷方案在部分场景下难以满足散热需求,液冷因此成为高密度 AI 服务器和机柜的重要散热方式。
  • 网络拓扑:大规模分布式训练依赖 GPU 之间频繁的数据交换,网络带宽、通信延迟和 GPU 之间的连接关系,都会影响整体计算效率。因此,集群部署需要结合工作负载规划网络拓扑和节点布局。
  • 内存带宽:随着 GPU 计算能力提高,内存系统需要提供相应的数据传输能力。在部分 AI 工作负载中,显存带宽仍然是影响计算效率的重要因素。
  • 高可用与运维:供电冗余、散热故障处理、网络可靠性和计算节点恢复等问题,同样会影响 AI 集群的稳定运行。

对于有大型分布式系统运维经验的工程师,这些问题并不陌生。只是相比传统的云原生基础设施,高密度 AI 集群对供电、散热和高速互联的要求更加严格,也需要在硬件部署与系统运维之间进行更紧密的协同。

别急着淘汰 CPU

前面主要讨论了 GPU 在 AI 计算中的作用,但 CPU 在 AI 基础设施中同样不可或缺。尤其是随着 Agentic AI(智能体)应用的发展,CPU 承担的任务也在变得更加多样。

在传统的大语言模型推理系统中,GPU 主要负责模型计算,CPU 则承担请求处理、数据预处理、任务调度等工作。

而智能体应用通常涉及更多模型推理之外的操作,例如任务编排、工具调用、多个 Agent 之间的协作、状态管理以及结果处理。这些环节中,有不少工作需要 CPU 提供计算资源。

此外,在涉及强化学习或复杂环境交互的训练任务中,环境执行、工具运行和任务评估等操作,也可能增加 CPU 的负载。

智能体应用对基础设施提出的要求不再局限于 GPU 算力。CPU 资源是否充足、CPU 与 GPU 之间如何协同,同样可能影响整个系统的运行效率。

对于 K8s 工程师来说,在部署和管理这类工作负载时,需要综合考虑模型推理、任务编排、工具执行和数据处理等环节,合理分配 CPU、GPU、内存及网络资源。

和 K8s 老兵有什么关系

讲了这么多 GPU 的架构和计算特点,最后还是要回到我自己的工作:GPU 资源管理。

GPU 的采购和部署成本不低,但在实际生产环境中,资源分配出去,并不代表它就能得到充分利用。显存带宽、KV Cache 管理、批处理策略等因素,都可能影响 GPU 的实际计算效率。

因此,GPU 资源管理需要考虑的问题还有很多:

  • 如何让多个租户安全地共享 GPU,类似 K8s 将多个 Pod 调度到同一节点;
  • 如何根据训练、推理等不同工作负载的特点,选择合适的资源分配与共享策略;
  • 如何结合更细粒度的监控指标,判断 GPU 的计算能力是否得到了充分利用。

这些也是 GPU 虚拟化与共享技术需要解决的问题。

根据原文引用的 ClearML AI 基础设施调研,只有约 7% 的受访企业能够在峰值时段将 GPU 利用率提高到 85% 以上,超过一半的企业处于 51%~70% 区间,还有约 15% 低于 50%。

这些数据反映出,如何提高 GPU 资源利用率,仍然是许多企业需要面对的问题。当然,利用率偏低可能由工作负载特点、资源配置、调度策略等多种因素造成,需要结合具体场景分析。

结合自己的工作经验,我倾向于将 GPU 资源管理的关注重点分为三个阶段:

Allocation(分配)→ Utilization(利用率)→ Efficiency(效率)

  • **Allocation,关注资源如何分配:**这一阶段主要解决“GPU 分给谁”的问题。例如,通过 Kubernetes Device Plugin 发现和分配 GPU,或者采用整卡独占、时间片等方式管理资源。
  • **Utilization,关注资源实际用了多少:**GPU 分配出去以后,还需要了解它的实际使用情况。动态批处理、弹性扩缩容等机制,可以在不同工作负载下改善资源利用率,减少不必要的闲置。
  • **Efficiency,关注计算资源的使用效率:**即使 GPU 利用率较高,也不代表计算能力已经得到充分发挥。在这一阶段,还需要结合 SM 活跃度、Tensor Core 利用情况、内存带宽利用率,以及单位能耗下的 token 产出等指标,进一步评估计算效率。

在我看来,GPU 资源管理还有继续向细粒度发展的空间。未来的调度系统可以在资源分配时结合更多硬件运行状态和应用层指标,而不只是判断一张卡是否还有可用配额。

例如,结合 SM 活跃情况、显存使用量以及 KV Cache 占用等信息,辅助判断是否适合继续部署新的工作负载。

对于熟悉云原生的工程师来说,GPU 资源管理中的许多问题并不陌生。过去在资源调度、多租户管理和可观测性方面积累的经验,也可以成为理解 AI 基础设施的重要基础。

NVIDIA 之外

前面的大部分内容都围绕 NVIDIA 展开。作为当前 AI 计算领域的重要厂商,NVIDIA 的硬件架构和软件生态具有很强的代表性。

不过,AI 加速器市场还有其他技术路线。云厂商、传统芯片企业以及国内硬件厂商,都在发展各自的 AI 计算产品和软件生态。

  • 云厂商自研:Google 持续发展 TPU,AWS 推进 Trainium 和 Inferentia,Meta、微软等企业也在布局自研 AI 加速硬件。
  • 传统芯片厂商:AMD 通过 Instinct 系列 GPU 和 ROCm 软件生态拓展 AI 计算市场,Intel 则发展 Gaudi、oneAPI 等相关产品和工具。
  • 中国异构算力生态:华为昇腾、海光 DCU、寒武纪、摩尔线程、燧原、昆仑芯、沐曦、壁仞等厂商,也在持续完善硬件产品及配套软件栈。
  • 开放软件生态:UXL 联盟、Triton,以及 PyTorch 对不同硬件后端的支持,都在推动 AI 软件与不同加速器之间的适配和兼容。

对于 K8s 工程师来说,不同类型的 AI 加速器并存,也意味着基础设施需要面对更加复杂的资源管理问题。

一个集群中可能同时部署 NVIDIA、AMD 或其他类型的 GPU 。不同硬件在设备接口、运行时、驱动和软件栈方面存在差异,对资源发现、分配、调度及监控也提出了不同要求。

由此,还有几个值得继续讨论的问题:

  • 如何在同一套集群中管理多种加速器,实现统一调度和可观测?
  • Kubernetes 的 Device Plugin 和 DRA(Dynamic Resource Allocation,动态资源分配)如何支持不同类型的加速硬件?
  • 随着开放软件生态的发展,CUDA 的生态优势会发生哪些变化?
  • 国产 AI 加速器要进一步应用于生产环境,还需要完善哪些软件和基础设施能力?

这些问题会在后续文章中继续讨论。

这一篇主要从 GPU 的计算架构入手,介绍了它为什么适合深度学习,以及 AI 训练和推理对硬件资源的不同需求。

下一篇,我们再把视角扩展到 NVIDIA 之外,看看面对不同类型的 AI 加速器,Kubernetes 该如何管理和调度异构算力资源。

参考资料

查看图片