AI训练集群网卡配置指南 从25G到400G的升级路径

你大概遇到过这样的场景：GPU利用率跑到80%就上不去了，CPU和内存都还有余量，存储IO也没打满。排查一圈，问题出在网络——GPU之间传梯度、同步参数的带宽不够，网卡成了整个训练流水线的瓶颈。

这不是个别现象。在AI训练集群中，网络往往是最容易被低估的环节。很多人把预算花在GPU和高速存储上，却用着办公级别的网卡方案。等到模型参数量上去了、分布式训练跑起来，才发现数据在GPU之间"堵车"了。

这篇文章，我们从实际部署的角度，聊聊AI训练集群的网卡到底该怎么选、怎么配，以及从25G到400G的升级路径该怎么走。

为什么网卡是AI集群的性能瓶颈

分布式训练的核心操作是梯度同步。无论是数据并行（Data Parallelism）还是模型并行（Model Parallelism），每一轮迭代都需要GPU之间交换大量中间数据。以ResNet-152训练为例，一个8卡节点每步迭代需要同步约240MB的梯度数据；到了大模型时代，单个节点的同步数据量可以轻松超过1GB。

这些数据走的是网络。如果网卡带宽不够或者延迟过高，GPU就得"等"——等梯度传完、等参数更新到位。这个等待时间，直接拉低了GPU利用率，也拉长了训练周期。

更具体地说，网卡对训练性能的影响体现在三个层面：

带宽天花板：单张GPU产出的梯度数据量随模型参数量线性增长。当多卡同步的聚合流量超过网卡带宽上限时，训练吞吐就会出现明显下降。

延迟敏感性：AllReduce、Ring-AllReduce等集合通信操作对延迟非常敏感。即使带宽足够，如果单次传输延迟过高，累积起来也会显著拖慢每步迭代的时间。

CPU占用：传统TCP/IP协议栈处理网络流量时，CPU开销不小。在训练场景中，CPU还需要负责数据预处理、调度等任务，网卡如果大量占用CPU资源，会间接影响训练效率。

这三个问题，在传统以太网方案中尤为突出。这也是为什么RDMA技术逐渐成为AI集群网络的标配。

RDMA：AI训练网络的标配选择

RDMA（Remote Direct Memory Access）的核心价值在于绕过操作系统内核，让网卡直接在应用内存之间搬运数据。带来的好处很直接：

• 延迟降低：省去内核协议栈的多次拷贝和上下文切换，端到端延迟可以从毫秒级降到微秒级
• CPU释放：数据传输由网卡硬件处理，CPU几乎零开销，可以专注做计算和调度
• 吞吐提升：网卡线速转发，不浪费带宽

在AI训练场景中，常用的RDMA实现是RoCE v2（RDMA over Converged Ethernet），它跑在标准以太网之上，不需要专用的InfiniBand网络，部署成本更低，同时又能获得接近InfiniBand的性能表现。

选择支持RDMA的网卡，是AI训练集群网络规划中性价比最高的一步。

从25G到400G：按集群规模选网卡

不同规模的AI训练集群，对网络带宽的需求差异很大。盲目追求高带宽会造成浪费，而带宽不足则会拖慢训练。下面按三个典型规模来梳理升级路径。

小规模集群（4-8 GPU）：25G起步

4到8张GPU的训练节点，通常跑在单台服务器内，或者两台服务器之间做简单的数据并行。这个规模下，梯度同步的聚合流量一般在10-20Gbps左右。

推荐方案：LRES1026PF-2SFP28 25G双口SFP28网卡

这张卡支持RDMA RoCE v2，双口设计可以提供50Gbps的聚合带宽，留有充足的冗余空间。SFP28接口兼容主流的25G DAC线缆和光模块，部署简单。对于入门级AI训练集群或者高校实验室环境，25G方案在性能和成本之间取得了不错的平衡。

中规模集群（16-64 GPU）：100G是甜点

当GPU数量扩展到16张以上，跨节点通信量急剧增加。特别是跑Transformer类大模型时，模型并行带来的All-to-All通信模式对网络带宽要求很高。这个阶段，25G已经捉襟见肘，100G是当前的主流选择。

推荐方案：LRES1014PF-2QSFP28 100G双口QSFP28网卡

基于Intel E810主控，支持RDMA，双口100G设计提供200Gbps总带宽。QSFP28接口的生态非常成熟，可选的DAC线缆、光模块和分支线缆（如 breakout to 4x25G）种类丰富，网络拓扑灵活。对于中型AI训练集群，100G方案是当前性价比最高的选择。

大规模集群（128+ GPU）：200G/400G面向未来

128张GPU以上的集群，通常用于大语言模型预训练或者大规模多模态训练。节点间通信量巨大，对网络的带宽和延迟要求都到了极致。这个阶段需要200G甚至400G的网络方案。

200G推荐方案：

• LRES1080PF-2QSFP56 — 200G双口QSFP56，基于Intel E830，支持RDMA，适合新建的高性能训练集群
• SP226D — 200G QSFP56，基于华为Hi1822主控，原生支持RDMA，在国产化场景中有明显优势

400G推荐方案：

• LRES1260PF-QSFP112 — 400G单口QSFP112，面向下一代AI训练集群的旗舰级方案，单端口即可满足超高带宽需求

400G方案目前主要面向头部AI实验室和大规模预训练场景。如果你的集群规模还在增长通道中，提前部署400G网卡可以减少后续升级的网络改造成本。

选型速查表

部署建议

选对了网卡只是第一步，部署时还有几个容易踩的坑：

交换机匹配：网卡速率要和交换机端口速率一致，或者做好降速兼容。25G网卡接100G交换机端口没问题，但400G网卡接100G端口就需要确认是否支持breakout模式。

RDMA网络配置：RoCE v2需要交换机开启PFC（Priority Flow Control）或ECN（Explicit Congestion Notification）来做无损以太网配置。不开启的话，RDMA性能会大打折扣，甚至不如普通TCP。

多网卡绑定：对于高可用需求，可以用Linux bonding或team驱动将多张网卡绑定，实现负载均衡和故障切换。但注意bonding模式的选择——Mode 4（802.3ad LACP）是最常用的方案。

NUMA亲和性：多路CPU服务器上，网卡和GPU的NUMA节点归属要规划好。把网卡中断绑定到与GPU同一NUMA节点的CPU上，可以减少跨NUMA的内存访问延迟。