RDMA 与 RoCE：支撑大规模 AI 模型训练的超性能网络

在人工智能（AI）飞速发展的今天，大规模 AI 模型的训练已成为推动技术进步的核心动力。从自然语言处理领域的GPT系列到计算机视觉领域的各类SOTA模型，其参数量动辄达到百亿、千亿甚至万亿级别。训练这些庞然大物，不仅需要海量的计算资源，更对数据传输的效率提出了前所未有的挑战。传统TCP/IP网络在面对如此严苛的低延迟、高带宽需求时显得力不从心。正是在这样的背景下，远程直接数据存取（RDMA）技术及其以太网实现――RoCE（RDMA over Converged Ethernet）脱颖而出，成为支撑大规模AI模型训练、高性能计算（HPC）以及分布式系统不可或缺的超性能网络基石。

1. AI 时代的网络瓶颈：为什么传统网络不够用？

AI 模型训练，尤其是深度学习模型，本质上是一个大规模的矩阵运算和数据流转过程。在分布式训练场景中，一个巨大的模型会被拆分成多个部分，部署在由成百上千颗GPU组成的集群上。每个GPU在完成自身计算任务后，需要频繁地与其他GPU交换数据，例如梯度信息、模型参数更新等。

传统基于TCP/IP协议栈的网络传输存在以下几个显著的瓶颈：

• CPU开销大： TCP/IP协议栈的处理需要占用大量的CPU资源。数据从应用程序内存到网卡，需要经过多次内存拷贝，并涉及操作系统内核的处理。每一次拷贝和内核态/用户态切换都会引入显著的延迟和CPU负载。
• 内存拷贝： 数据在发送和接收过程中，通常需要在应用程序缓冲区、操作系统内核缓冲区和网卡缓冲区之间进行多次复制。这些不必要的拷贝浪费了宝贵的内存带宽，并增加了延迟。
• 延迟高： 协议栈的复杂性、内存拷贝以及操作系统调度等因素共同导致了较高的端到端延迟，这对于对实时性要求极高的AI训练而言是致命的。在数千个GPU协同工作时，即使是微秒级的延迟累积，也会严重拖慢整体训练进度。
• 带宽利用率低： 高延迟和CPU开销也限制了网络带宽的有效利用，使得即使是高带宽的以太网也难以发挥其全部潜力。

这些瓶颈在小规模AI训练中可能不明显，但在大规模AI模型训练中，它们会迅速成为制约训练效率和可扩展性的主要因素。为了突破这些限制，业界迫切需要一种能够绕过传统网络协议栈，实现极致低延迟和高吞吐的数据传输技术。

2. RDMA：绕过内核的直接数据存取

RDMA（Remote Direct Memory Access）正是为解决上述问题而生。其核心思想是允许网络适配器（NIC）直接访问远程计算机的内存，而无需远程CPU的介入。这就像是两台计算机的内存之间架设了一条"直通车道"，数据可以直接从一台机器的内存搬运到另一台机器的内存，极大地提高了数据传输效率。

RDMA的几个关键特性包括：

• 内核旁路（Kernel Bypass）： 这是RDMA最核心的优势。传统网络传输需要数据在用户空间和内核空间之间来回拷贝，并经过操作系统协议栈的处理。RDMA则允许应用程序直接与网卡通信，绕过操作系统内核，显著减少了CPU开销和延迟。
• 零拷贝（Zero-Copy）： 由于数据可以直接从发送方的应用程序缓冲区传输到接收方的应用程序缓冲区，避免了中间的多次内存拷贝，从而节省了CPU周期和内存带宽。
• CPU卸载（CPU Offload）： 大部分数据传输的协议处理、错误检查和数据包组装/拆卸等任务都由RDMA网卡（RNIC）硬件完成，进一步减轻了CPU的负担，使其可以专注于计算任务。
• 高带宽与低延迟： 结合了内核旁路、零拷贝和CPU卸载的优势，RDMA能够提供极高的网络带宽和极低的端到端延迟，通常在微秒甚至亚微秒级别。

这些特性使得RDMA成为高性能计算（HPC）集群的理想选择，它能够有效加速科学模拟、数据分析等对通信性能有严格要求的应用。

3. InfiniBand：RDMA 的先行者与高性能计算的基石

在RDMA技术的早期发展中，InfiniBand扮演了至关重要的角色。InfiniBand是一种专为RDMA设计的网络互连标准，它提供了从物理层到协议层的完整规范。InfiniBand网络通常采用专用的交换机和网卡（Host Channel Adapter, HCA），能够提供极低的延迟和极高的带宽，例如EDR、HDR、NDR等不同代际的InfiniBand技术，其带宽从100Gb/s持续提升至400Gb/s甚至更高。

InfiniBand在高性能计算领域占据主导地位，全球TOP500超级计算机中有大量集群采用InfiniBand作为其高速互联网络。它为这些超级计算机提供了无与伦比的通信性能，使得大规模并行计算能够高效进行。在早期的AI训练集群中，InfiniBand也曾是首选的互联方案，尤其是在对性能要求极致严苛的场景。

然而，InfiniBand的缺点在于其封闭性和较高的成本。它需要专用的硬件，与广泛普及的以太网生态系统不兼容，这在一定程度上限制了其在大规模商业部署中的灵活性。

4. RoCE：将 RDMA 带入以太网世界

为了将RDMA的优势带入更开放、更经济的以太网生态系统，RoCE（RDMA over Converged Ethernet）应运而生。RoCE是一种允许在标准以太网基础设施上运行RDMA协议的技术。它主要分为两个版本：

• RoCE v1： 运行在基于以太网的链路层协议上，需要支持无损以太网。这意味着网络中的所有交换机和网卡都必须配置为支持优先级流控制（PFC）等机制，以确保数据包不会丢失，从而满足RDMA对无损传输的要求。
• RoCE v2： 运行在UDP/IP协议之上，可以通过标准的IP路由器进行路由。这意味着RoCE v2可以在标准的、有损的以太网基础设施上工作，而无需特殊的无损配置。RoCE v2通过在协议栈中引入UDP层来解决包丢失的问题，并通过重传机制保证可靠性，但这也可能引入微小的额外延迟。相较于RoCE v1，RoCE v2的部署更为灵活，兼容性更好，因此在现代数据中心中得到了更广泛的应用。

RoCE的出现，使得RDMA技术不再局限于昂贵的InfiniBand网络，而是可以部署在成本效益更高的标准以太网之上。这极大地降低了RDMA的部署门槛，使其能够被更广泛的AI/ML和HPC用户所接受。

5. RDMA/RoCE 如何赋能大规模 AI/ML 训练

RDMA和RoCE技术对AI/ML训练的赋能是多方面的：

• 加速模型收敛： 在分布式训练中，梯度同步是瓶颈之一。RDMA/RoCE提供的超低延迟和高带宽，显著加速了GPU之间梯度和模型参数的交换，减少了等待时间，从而加快了模型的收敛速度。
• 提升训练吞吐量： 更快的数据传输意味着GPU能够更快地获取所需数据并开始下一轮计算，从而提高了整个训练集群的吞吐量，使得在相同时间内可以处理更多的数据或训练更大的模型。
• 支持更大规模的分布式训练： 传统的网络瓶颈限制了分布式训练的规模。RDMA/RoCE的出现，使得连接数百甚至数千颗GPU进行协同训练成为可能，这对于训练拥有数万亿参数的超大规模AI模型至关重要。
• 优化通信库： 诸如NCCL (NVIDIA Collective Communications Library) 等专门为GPU通信优化的库，都深度集成了对RDMA/RoCE的支持。这些库能够充分利用RDMA的内核旁路和零拷贝特性，实现GPU之间高效的集合通信操作（如All-Reduce、All-Gather等），进一步提升训练效率。
• 降低CPU负载，提升计算资源利用率： RDMA将网络传输任务从CPU卸载到网卡硬件，使得宝贵的CPU资源可以更多地用于数据预处理、模型推理等计算密集型任务，从而提升了整体计算资源的利用率。

以一个具体的例子来说明：在训练一个大型神经网络时，每个GPU计算完梯度后，需要将梯度汇总到一起，然后更新模型参数。这个汇总过程通常通过All-Reduce操作完成。如果使用传统TCP/IP网络，梯度数据在传输过程中会经历多次内存拷贝和协议栈处理，导致显著延迟。而采用RoCE网络，梯度数据可以直接从一个GPU的内存发送到另一个GPU的内存，绕过CPU和操作系统内核，大大减少了延迟和CPU开销，使得All-Reduce操作能够以极高的效率完成。

6. 展望未来：RDMA 在 AI 基础设施中的持续演进

随着AI模型规模的不断膨胀和训练复杂度的日益提高，对网络性能的需求只会增不减。RDMA和RoCE技术将继续在AI基础设施中扮演核心角色，并且有望持续演进：

• 更高带宽和更低延迟： 随着以太网技术的进步（如800GbE甚至更高），RoCE将能够提供更极致的带宽和更低的延迟，以满足未来AI模型的需求。
• RDMA的软件定义： 随着可编程网卡（SmartNICs）的发展，RDMA的功能和性能有望通过软件定义的方式进一步优化，实现更灵活的资源调度和更智能的流量管理。
• 与CXL等新兴技术的融合： 计算快速链路（CXL）等技术旨在提供CPU与异构加速器（如GPU、FPGA）之间的高速互联。未来，RDMA与CXL的结合可能会进一步模糊计算与存储的界限，为AI系统带来更高的整体性能。
• 更广泛的应用场景： 除了AI训练，RDMA和RoCE在AI推理、大数据分析、分布式存储等领域也将发挥越来越重要的作用，成为构建现代数据中心高性能网络的核心技术。

结论

RDMA和RoCE技术通过其独特的内核旁路、零拷贝和CPU卸载能力，彻底革新了数据中心网络的性能格局。它们将InfiniBand的极致性能优势带入了更具成本效益和开放性的以太网世界，为AI/ML分布式训练、GPU加速计算以及高性能计算（HPC）提供了强大的网络支撑。在AI模型规模不断突破极限的今天，RDMA和RoCE不仅是解决网络瓶颈的关键，更是推动AI技术持续创新和发展不可或缺的超性能网络基石。理解并掌握这些技术，对于构建面向未来的AI基础设施具有深远的意义。