欢迎光临深圳市联瑞电子有限公司官网!
全国服务热线 : 4000-588-108 | 网站地图 | English 京东店铺 淘宝店铺1688店铺天猫店铺 关注LR-LINK官方微博
LR-LINK联瑞电子官网
[返回上一页]您现在的位置:首页 > 新闻中心 > 选型指导
选型指导

数据中心TOR交换机和服务器网卡怎么搭配

2026-08-12 选型指导25G网卡,100G网卡,SFP28网卡,QSFP28网卡,双口网卡,服务器网卡,PCIe网卡,DAC线缆,AOC光缆,TOR交换机 浏览: 73

一台48口25G TOR交换机配什么服务器网卡?这个问题没有唯一答案,但有明确的决策依据。本文从TOR架构原理出发,用具体参数拆解25G和100G两种下行方案的搭配逻辑,覆盖DAC、AOC、光模块三种连接介质的选型,给出不同服务器密度的配置建议。

TOR架构:为什么网卡选型要从交换机往下想

TOR(Top of Rack)是数据中心最主流的接入层架构。每台机柜顶部放一台接入交换机,机柜内所有服务器的网线或光纤全部汇聚到这台交换机,再由交换机上联到Spine核心层。

这种架构的好处是布线简洁——服务器到TOR交换机的线缆长度通常不超过3米,集中在一个机柜内完成,不需要跨柜走线。对网卡选型来说,这意味着:服务器网卡的接口类型和速率,必须与TOR交换机的下行端口匹配。

Spine 核心交换机 100G QSFP28 100G QSFP28 TOR 交换机 A 48x25G SFP28 + 6x100G QSFP28 TOR 交换机 B 32x100G QSFP28 + 4x100G QSFP28 25G SFP28 100G QSFP28 服务器 LRES1054PF 服务器 LRES1001PF 服务器 LRES1054PF 服务器 LRES1014PF GPU服务器 LRES1019PF 存储服务器 LRES1014PF 收敛比 = 48x25G : 6x100G = 2:1 收敛比 = 32x100G : 4x100G = 8:1 图例 25G SFP28 下行(通用服务器) 100G QSFP28 下行(高性能服务器) 100G QSFP28 上联(TOR到Spine)
数据中心TOR架构:交换机下行端口类型决定服务器网卡选型

第一个决策参数:25G还是100G下行

TOR交换机的下行端口有两种主流规格:48口25G SFP2832口100G QSFP28。这不是随意选择的,取决于机柜内服务器的业务带宽需求。

25G下行适合大多数通用服务器。Web服务、应用服务器、数据库节点这类工作负载,单机网络带宽很少超过10Gbps。配25G网卡留有充裕余量,同时单台TOR交换机可以接入48台服务器,机柜密度高。

100G下行面向高性能计算、分布式存储和GPU服务器。一台双路GPU服务器在训练数据加载阶段,单卡网络吞吐可以轻松跑到40-60Gbps。25G会成为瓶颈,100G才能保证数据喂得饱GPU。

48:6
25G TOR典型端口配比(48下行+6上联)
2:1
25G TOR收敛比(1200G下行:600G上联)
3.125GB/s
25G单口实际带宽

收敛比:决定网卡搭配的关键指标

收敛比(Oversubscription Ratio)是TOR交换机下行总带宽与上联总带宽的比值。一台典型的48×25G TOR交换机,下行总带宽为48×25G=1200Gbps,如果配6个100G上联口,上联总带宽为600Gbps,收敛比就是2:1。

2:1的收敛比意味着:如果48台服务器同时跑满25G,上联口会拥塞。但实际业务中,大部分服务器不会同时打满带宽,2:1到4:1是通用场景的合理范围。

对于100G全端口TOR(32×100G),下行总带宽高达3200Gbps,即使配8个100G上联也只有800Gbps,收敛比达到4:1。这种架构下,每台服务器的实际可用带宽取决于同时活跃比例。

收敛比怎么选

通用Web/应用服务器:3:1到4:1即可。数据库集群、实时交易系统:建议不超过2:1。GPU训练集群:尽量做到1:1无收敛,或通过RDMA走独立网络绕过TOR。

第二个决策参数:服务器端网卡选型

确定了TOR交换机的下行端口类型后,服务器端网卡的选择就清晰了。核心原则是:网卡接口类型必须和交换机端口匹配,速率不能低于交换机端口速率。

25G下行:双口SFP28网卡

25G TOR交换机下行端口是SFP28,服务器端配双口25G SFP28网卡。两款典型搭配:

LRES1054PF-2SFP28 是低功耗方案,PCIe 3.0 x8总线,功耗仅13.1W,支持RoCE v1/v2。适合通用服务器,对功耗敏感的机柜环境尤其合适。

接口2×SFP28
速率1/10/25G
PCIe3.0 x8
功耗13.1W
RDMARoCE v1/v2
查看详情

LRES1001PF-2SFP28 走的是Intel XXV710主控路线,PCIe 3.0 x8,功耗25.0W,支持DPDK、iSCSI、FCoE等协议栈。适合需要完整存储网络协议支持的服务器。

接口2×SFP28
速率10/25G
PCIe3.0 x8
功耗25.0W
主控Intel XXV710
查看详情

两款网卡都是双口SFP28,可以配bonding做主备或负载均衡,这是服务器网卡的标配做法。

100G下行:单口或双口QSFP28网卡

如果TOR交换机下行端口是100G QSFP28,服务器端需要配100G网卡。

LRES1019PF-QSFP28 是单口100G QSFP28,PCIe 4.0 x16,功耗27.1W。单口够用的场景——比如存储服务器只需要一条100G链路做数据传输——用这款就足够。

接口1×QSFP28
速率10/25/50/100G
PCIe4.0 x16
功耗27.1W
RDMAiWARP/RoCE v2
查看详情

LRES1014PF-2QSFP28 是双口100G QSFP28,PCIe 4.0 x16,功耗11.6W,同样支持RDMA。双口方案给GPU服务器和分布式存储节点提供200G聚合带宽,或者做主备冗余。

接口2×QSFP28
速率10/25/50/100G
PCIe4.0 x16
功耗11.6W
RDMA支持
主控Intel E810
查看详情

第三个决策参数:DAC、AOC还是光模块

确定了网卡和交换机端口类型后,还有一个选择——用什么介质把两者连起来。机柜内连接距离通常不超过3米,三种方案各有适用场景。

DAC(Direct Attach Cable,直连铜缆):功耗最低(接近0W),延迟最低,价格最实惠。3米内短距连接的首选。缺点是线缆较粗、弯曲半径大,理线时需要留意。LR-LINK 的 QSFP28-DAC-3m(100G直连)和 QSFP28-4xSFP28-DAC-3m(100G分拆为4路25G)覆盖主流场景。

AOC(Active Optical Cable,有源光缆):线缆比DAC细且柔软,弯曲半径小,理线更方便。功耗略高于DAC(单根约1-2W),价格稍贵。适合机柜内布线空间紧张的情况。

光模块+光纤跳线:灵活性最高——可以选多模(OM3/OM4,100米内)或单模(10km以上),适配不同距离需求。但功耗最高(每个光模块1-3W),组件最多(光模块+光纤跳线+理线配件),综合成本也最高。

对比项DAC 铜缆AOC 光缆光模块+光纤
最大距离≤5m≤30mOM3: 100m / SMF: 10km+
功耗(每链路)≈0W≈1-2W≈2-6W(两端模块)
延迟最低低(增加光电转换延迟)
理线难度高(线缆粗硬)低(细软)
单链路成本★★★★★★★★★
适用场景同柜3m内直连同柜空间紧凑/跨柜跨柜/跨列长距连接
Breakout线缆的价值

QSFP28-4xSFP28 分拆线缆(DAC和AOC均有)可以将TOR交换机上的一个100G QSFP28端口拆分为4路25G SFP28连接。这种方案在一台TOR交换机上混合接入25G和100G服务器时非常实用:6个100G上联口中拿出2个做分拆,就能额外接入8台25G服务器。

三种搭配方案对比

根据不同业务场景,这里列出三种典型的TOR+网卡搭配方案:

方案TOR交换机端口服务器网卡连接介质收敛比适用场景
方案一:25G全接入48×25G SFP28 + 6×100G QSFP28LRES1054PF-2SFP2825G SFP28 DAC/AOC2:1通用Web/应用/数据库服务器
方案二:100G高性能32×100G QSFP28 + 8×100G QSFP28LRES1014PF-2QSFP28100G QSFP28 DAC4:1GPU训练/分布式存储
方案三:混合接入48×25G SFP28 + 6×100G QSFP2825G用 LRES1001PF-2SFP28,存储用 LRES1019PF-QSFP2825G直连 + 100G breakout2:1~3:1混合负载机柜
核心结论

TOR交换机和服务器网卡的搭配,本质上是在"端口密度"和"单机带宽"之间找平衡。25G方案密度高、成本低,适合大多数通用服务器;100G方案带宽充裕,是GPU和存储节点的刚需。混合场景下,breakout线缆是灵活调配端口资源的关键手段。

选型常见误区

误区一:所有服务器都上100G。100G网卡单卡功耗跨度较大(LRES1014PF-2QSFP28仅11.6W,LRES1019PF-QSFP28为27.1W),但25G低功耗网卡LRES1054PF-2SFP28只有13.1W。如果一个机柜48台服务器全部换100G网卡,仅网卡功耗就增加约700W,对机柜电力和散热都是额外负担。通用服务器跑100G,带宽用不满,电费白交。

误区二:只看网卡速率,忽略PCIe总线瓶颈。100G网卡需要PCIe 4.0 x16才能跑满带宽。如果服务器只有PCIe 3.0 x16插槽,单口100G实际带宽上限约126Gbps(PCIe 3.0 x16的理论带宽),基本够用;但如果是PCIe 3.0 x8,100G就跑不满。LRES1014PF-2QSFP28和LRES1019PF-QSFP28都是PCIe 4.0 x16,需要确认服务器主板有对应插槽。

误区三:DAC和光模块混用不做规划。DAC铜缆两端的接头是固定焊死的,不能像光模块那样热插拔更换。如果未来需要从25G升级到100G,DAC线缆整根报废,而光模块方案只需换模块和跳线。规划时需要考虑未来升级路径。

常见问题

TOR交换机上联口用什么网卡? TOR交换机的上联口连接的是Spine核心层,走的是交换机对交换机链路,不涉及服务器网卡。TOR上联口通常使用100G QSFP28光模块配单模或多模光纤跳线,具体型号由交换机厂商指定。服务器端网卡只管下行接入这一层。
25G网卡能插在100G TOR交换机的端口上吗? 不能直接插。100G QSFP28端口和25G SFP28端口的物理接口不兼容。但可以通过QSFP28-4xSFP28分拆线缆,将TOR交换机的一个100G端口拆为4路25G SFP28,再接25G网卡的服务器。这是混合接入场景的常用手段。
一个机柜最多能接多少台25G服务器? 取决于TOR交换机的下行端口数。主流48口25G TOR交换机最多接48台(单网卡)或24台(双网卡bonding)服务器。如果用上联口的breakout分拆,最多可以再接24路25G(6个100G上联口各拆4路,但会影响上联带宽),实际部署不建议这么做。
100G网卡功耗高,机柜电力怎么评估? 以LRES1014PF-2QSFP28为例,单卡功耗11.6W。如果一台2U服务器装两张就是约23W。一个42U机柜装20台这样的服务器,仅网卡功耗就是约460W。规划时需要把网卡功耗计入机柜总功耗预算(通常含CPU、内存、硬盘、网卡),避免超出PDU容量。
DAC铜缆和AOC光缆哪个更可靠? 两者在正常环境下的可靠性差别不大。DAC铜缆没有有源器件,故障率理论上更低,但铜缆较粗较硬,过度弯折可能导致内部线对损伤。AOC光缆内置光电转换芯片,有源器件寿命通常在5年以上。机房布线空间充裕选DAC,空间紧凑选AOC。

本文涉及产品

粤ICP备18078389号      Copyright © All Rights Reserved. 深圳市联瑞电子有限公司 版权所有
网安备案标识

粤公网安备 44030602003563号

产品咨询
关注官方微信
技术支持
关注官方微信
客服电话服务电话

服务热线:
4000-588-108