GPU服务器网卡配置指南：训练和推理的不同需求

一台8卡GPU服务器，如果跑训练任务，网卡带宽不够，多卡通信效率直接腰斩。如果跑推理服务，配太多高速网卡又浪费预算。

AI工作负载不是一种，至少分两种：训练和推理。两者对GPU服务器网卡的需求差别很大。本文从带宽、RDMA、端口密度、PCIe兼容性四个维度拆解，帮你把GPU服务器网卡配置选对。

带宽需求：训练要宽，推理要够

训练场景下，GPU之间频繁做all-reduce集合通信。8卡GPU服务器并行训练时，每轮迭代都要同步几个GB的梯度数据。业界主流集群的经验值是：节点间至少配200Gbps总带宽（2×100G），否则通信延迟会成为训练瓶颈。

具体算一笔账：一张H100 GPU的理论显存带宽约3.35TB/s，8卡之间通过NVLink互联。但跨节点通信只能走网络——如果网卡带宽只有25G（约3.125GB/s），和NVLink的3.35TB/s差了三个数量级。所以训练集群的网卡带宽越高越好。

推理场景完全不同。推理是请求-响应模式，单次推理的输入输出通常在KB到MB级别。一个推理节点处理几百路并发，单路带宽需求很低。25G端口就能满足绝大多数推理节点的上行需求。

LR-LINK针对训练场景有专门的200G高速方案——LRES1160PF-2QSFP56，双口QSFP56，支持200/100/50/40/25/10/1G多速率自适应，功耗29.5W，内置RDMA引擎。推理场景则推荐LRES1001PF-2SFP28，双口25G，PCIe 3.0 x8，单口功耗仅8.9W。

RDMA支持：训练的硬门槛，推理的加分项

训练跑的是NCCL或类似的集合通信库。NCCL依赖RDMA来绕过CPU，实现GPU之间的直接显存访问。没有RDMA，梯度同步的延迟会高出几个数量级。

选训练用网卡，一个硬性条件：必须支持RDMA。LRES1026PF-2SFP28支持RoCE v1/v2，双口25G，功耗仅10.1W，价格适中，适合中小规模训练集群。如果预算宽裕，LRES1046PF-2QSFP28提供100G双口+RDMA，PCIe 4.0 x16，24.3W功耗，100G线速转发，适合大模型训练场景。

推理场景对RDMA的需求弱得多。推理服务（如Triton Inference Server、vLLM）通常走HTTP/gRPC协议，不走RDMA路径。但如果你在做大规模推理集群且用了分布式推理框架（如TensorRT-LLM的MPI通信），那RDMA同样有必要——不过25G+RoCE就足够了，不需要上100G。

端口密度：训练看拓扑，推理看冗余

训练集群的拓扑决定了端口需求。以常见的leaf-spine架构为例，每个训练节点至少需要2个上行端口做链路聚合。如果一台服务器配8块GPU，4个上行口（4×100G或4×25G）能保证all-reduce通信不阻塞。

推理节点的端口密度需求相对灵活。单路25G做管理+数据混合走问题不大，但为了稳定性，建议至少配2个口做LACP链路聚合。LRES1027PF-4SFP28单卡提供4个25G口，PCIe 4.0 x8，支持iWARP/RoCE v2，既能用于训练节点的上行汇聚，也适合推理节点的一卡搞定。

如果服务器采用了OCP 3.0形态，LRES3029PF-OCP是25G双口OCP 3.0网卡，PCIe 4.0 x8接口，功耗仅6.8W，适合华为、浪潮、超聚变等主流服务器品牌。对于大规模AI训练集群，LRES4160PF-2QSFP56提供OCP 3.0形态下的100G/200G双口RDMA方案，功耗仅12.4W，端口能效比出色。

PCIe兼容性：GPU服务器最稀缺的资源

GPU服务器最宝贵的资源是PCIe通道。一台8卡GPU服务器需要至少80条PCIe通道给GPU（8×16），剩余通道要给NVMe、网卡等设备。所以网卡选型必须考虑PCIe占用：

• PCIe 3.0 x8 网卡（如LRES1001PF-2SFP28）占用8条通道，带宽约64Gbps，适合推理节点
• PCIe 4.0 x8 网卡（如LRES1027PF-4SFP28）同样占8条通道，带宽翻倍到128Gbps
• PCIe 4.0 x16 网卡（如LRES1046PF-2QSFP28）占用16条通道，适合有充足PCIe通道的高端平台

三款主流GPU平台的PCIe通道数：AMD EPYC（128条）、Intel Xeon（64-80条）、NVIDIA Grace Hopper（144条）。选卡前先算清楚还剩多少通道。

如果通道数紧张，可以考虑PCIe 4.0 x8的100G方案。LRES1019PF-QSFP28是单口100G，PCIe 4.0 x16，但实际带宽需求只需x8即可跑满100G，兼容性好。或者用LRES1160PF-2QSFP56，一张卡两个200G口，PCIe 4.0 x16，端口密度翻倍，通道利用率更高。

决策矩阵：训练vs推理速查表

混合负载与升级路径

很多GPU集群训练和推理混跑——白天跑推理服务，夜间做模型训练。这种场景建议按训练标准配网卡，因为训练对网络的要求更苛刻。100G双口RDMA网卡在推理时段完全够用，不会浪费带宽。

如果预算紧张，可以先用25G RDMA网卡（如LRES1026PF-2SFP28）搭建，等训练规模扩大后再升级到100G。LRES1046PF-2QSFP28使用相似的驱动框架，升级时无需大面积更换驱动配置。

对于超大规模集群（千卡级别以上），LRES1260PF-2QSFP112提供了400G QSFP112方案，配合PCIe 5.0平台，单根线缆就能承载大模型的梯度同步流量。