一台48口25G TOR交换机配什么服务器网卡?这个问题没有唯一答案,但有明确的决策依据。本文从TOR架构原理出发,用具体参数拆解25G和100G两种下行方案的搭配逻辑,覆盖DAC、AOC、光模块三种连接介质的选型,给出不同服务器密度的配置建议。
TOR(Top of Rack)是数据中心最主流的接入层架构。每台机柜顶部放一台接入交换机,机柜内所有服务器的网线或光纤全部汇聚到这台交换机,再由交换机上联到Spine核心层。
这种架构的好处是布线简洁——服务器到TOR交换机的线缆长度通常不超过3米,集中在一个机柜内完成,不需要跨柜走线。对网卡选型来说,这意味着:服务器网卡的接口类型和速率,必须与TOR交换机的下行端口匹配。
TOR交换机的下行端口有两种主流规格:48口25G SFP28 和 32口100G QSFP28。这不是随意选择的,取决于机柜内服务器的业务带宽需求。
25G下行适合大多数通用服务器。Web服务、应用服务器、数据库节点这类工作负载,单机网络带宽很少超过10Gbps。配25G网卡留有充裕余量,同时单台TOR交换机可以接入48台服务器,机柜密度高。
100G下行面向高性能计算、分布式存储和GPU服务器。一台双路GPU服务器在训练数据加载阶段,单卡网络吞吐可以轻松跑到40-60Gbps。25G会成为瓶颈,100G才能保证数据喂得饱GPU。
收敛比(Oversubscription Ratio)是TOR交换机下行总带宽与上联总带宽的比值。一台典型的48×25G TOR交换机,下行总带宽为48×25G=1200Gbps,如果配6个100G上联口,上联总带宽为600Gbps,收敛比就是2:1。
2:1的收敛比意味着:如果48台服务器同时跑满25G,上联口会拥塞。但实际业务中,大部分服务器不会同时打满带宽,2:1到4:1是通用场景的合理范围。
对于100G全端口TOR(32×100G),下行总带宽高达3200Gbps,即使配8个100G上联也只有800Gbps,收敛比达到4:1。这种架构下,每台服务器的实际可用带宽取决于同时活跃比例。
通用Web/应用服务器:3:1到4:1即可。数据库集群、实时交易系统:建议不超过2:1。GPU训练集群:尽量做到1:1无收敛,或通过RDMA走独立网络绕过TOR。
确定了TOR交换机的下行端口类型后,服务器端网卡的选择就清晰了。核心原则是:网卡接口类型必须和交换机端口匹配,速率不能低于交换机端口速率。
25G TOR交换机下行端口是SFP28,服务器端配双口25G SFP28网卡。两款典型搭配:
LRES1054PF-2SFP28 是低功耗方案,PCIe 3.0 x8总线,功耗仅13.1W,支持RoCE v1/v2。适合通用服务器,对功耗敏感的机柜环境尤其合适。
LRES1001PF-2SFP28 走的是Intel XXV710主控路线,PCIe 3.0 x8,功耗25.0W,支持DPDK、iSCSI、FCoE等协议栈。适合需要完整存储网络协议支持的服务器。
两款网卡都是双口SFP28,可以配bonding做主备或负载均衡,这是服务器网卡的标配做法。
如果TOR交换机下行端口是100G QSFP28,服务器端需要配100G网卡。
LRES1019PF-QSFP28 是单口100G QSFP28,PCIe 4.0 x16,功耗27.1W。单口够用的场景——比如存储服务器只需要一条100G链路做数据传输——用这款就足够。
LRES1014PF-2QSFP28 是双口100G QSFP28,PCIe 4.0 x16,功耗11.6W,同样支持RDMA。双口方案给GPU服务器和分布式存储节点提供200G聚合带宽,或者做主备冗余。
确定了网卡和交换机端口类型后,还有一个选择——用什么介质把两者连起来。机柜内连接距离通常不超过3米,三种方案各有适用场景。
DAC(Direct Attach Cable,直连铜缆):功耗最低(接近0W),延迟最低,价格最实惠。3米内短距连接的首选。缺点是线缆较粗、弯曲半径大,理线时需要留意。LR-LINK 的 QSFP28-DAC-3m(100G直连)和 QSFP28-4xSFP28-DAC-3m(100G分拆为4路25G)覆盖主流场景。
AOC(Active Optical Cable,有源光缆):线缆比DAC细且柔软,弯曲半径小,理线更方便。功耗略高于DAC(单根约1-2W),价格稍贵。适合机柜内布线空间紧张的情况。
光模块+光纤跳线:灵活性最高——可以选多模(OM3/OM4,100米内)或单模(10km以上),适配不同距离需求。但功耗最高(每个光模块1-3W),组件最多(光模块+光纤跳线+理线配件),综合成本也最高。
| 对比项 | DAC 铜缆 | AOC 光缆 | 光模块+光纤 |
|---|---|---|---|
| 最大距离 | ≤5m | ≤30m | OM3: 100m / SMF: 10km+ |
| 功耗(每链路) | ≈0W | ≈1-2W | ≈2-6W(两端模块) |
| 延迟 | 最低 | 低 | 低(增加光电转换延迟) |
| 理线难度 | 高(线缆粗硬) | 低(细软) | 中 |
| 单链路成本 | ★★ | ★★★ | ★★★★ |
| 适用场景 | 同柜3m内直连 | 同柜空间紧凑/跨柜 | 跨柜/跨列长距连接 |
QSFP28-4xSFP28 分拆线缆(DAC和AOC均有)可以将TOR交换机上的一个100G QSFP28端口拆分为4路25G SFP28连接。这种方案在一台TOR交换机上混合接入25G和100G服务器时非常实用:6个100G上联口中拿出2个做分拆,就能额外接入8台25G服务器。
根据不同业务场景,这里列出三种典型的TOR+网卡搭配方案:
| 方案 | TOR交换机端口 | 服务器网卡 | 连接介质 | 收敛比 | 适用场景 |
|---|---|---|---|---|---|
| 方案一:25G全接入 | 48×25G SFP28 + 6×100G QSFP28 | LRES1054PF-2SFP28 | 25G SFP28 DAC/AOC | 2:1 | 通用Web/应用/数据库服务器 |
| 方案二:100G高性能 | 32×100G QSFP28 + 8×100G QSFP28 | LRES1014PF-2QSFP28 | 100G QSFP28 DAC | 4:1 | GPU训练/分布式存储 |
| 方案三:混合接入 | 48×25G SFP28 + 6×100G QSFP28 | 25G用 LRES1001PF-2SFP28,存储用 LRES1019PF-QSFP28 | 25G直连 + 100G breakout | 2:1~3:1 | 混合负载机柜 |
TOR交换机和服务器网卡的搭配,本质上是在"端口密度"和"单机带宽"之间找平衡。25G方案密度高、成本低,适合大多数通用服务器;100G方案带宽充裕,是GPU和存储节点的刚需。混合场景下,breakout线缆是灵活调配端口资源的关键手段。
误区一:所有服务器都上100G。100G网卡单卡功耗跨度较大(LRES1014PF-2QSFP28仅11.6W,LRES1019PF-QSFP28为27.1W),但25G低功耗网卡LRES1054PF-2SFP28只有13.1W。如果一个机柜48台服务器全部换100G网卡,仅网卡功耗就增加约700W,对机柜电力和散热都是额外负担。通用服务器跑100G,带宽用不满,电费白交。
误区二:只看网卡速率,忽略PCIe总线瓶颈。100G网卡需要PCIe 4.0 x16才能跑满带宽。如果服务器只有PCIe 3.0 x16插槽,单口100G实际带宽上限约126Gbps(PCIe 3.0 x16的理论带宽),基本够用;但如果是PCIe 3.0 x8,100G就跑不满。LRES1014PF-2QSFP28和LRES1019PF-QSFP28都是PCIe 4.0 x16,需要确认服务器主板有对应插槽。
误区三:DAC和光模块混用不做规划。DAC铜缆两端的接头是固定焊死的,不能像光模块那样热插拔更换。如果未来需要从25G升级到100G,DAC线缆整根报废,而光模块方案只需换模块和跳线。规划时需要考虑未来升级路径。