双路服务器上所有流量挤在同一张网卡上,是运维事故的高发根源。管理流量和业务流量抢带宽、安全策略无法隔离、带外管理被业务洪峰淹没——这些问题的解决方案只有一个:把管理网和业务网物理分开,分配独立的网卡和链路。
本文从网卡分配策略的演进脉络出发,梳理双路服务器在不同阶段的网卡配置思路,并给出当前主流方案的具体产品推荐。
多数双路服务器只配一张板载千兆网卡。IPMI 带外管理、SSH 运维、业务数据全部走同一个物理端口。问题不是带宽不够——而是缺乏隔离。一次大规模数据备份就能打满千兆链路,导致管理通道瘫痪,运维人员连 SSH 都登不上去。
万兆网络进入数据中心后,网卡分配开始分层。板载千兆口留给管理网络(IPMI + SSH + 监控),加装一张万兆网卡承载业务流量。管理流量和业务流量第一次走上了不同的物理链路。
管理流量(IPMI、SSH、SNMP、监控上报)的峰值带宽通常不超过 100Mbps。千兆链路绑绑有余,万兆纯属浪费。管理网卡的选型重点是稳定性、驱动兼容性和低功耗,而不是吞吐量。
虚拟化普及后,单台双路服务器承载的虚拟机数量飙升。流量类型拆分为管理、业务、存储、vMotion 迁移等多个通道。典型配置是 2-3 张网卡:千兆管管理,万兆管业务,再加一张管存储。网卡分配从"两张卡够用"变成了"按需精细划分"。
AI 训练和分布式存储将业务网络带宽需求推高到 25G 甚至 100G。管理网络依然停留在千兆,业务网卡从 10G SFP+ 升级到 25G SFP28,PCIe 版本也从 3.0 升级到 4.0。当前典型配置:1 张千兆网卡(管理) + 1 张 25G 网卡(业务)。
根据业务规模和带宽需求,当前双路服务器的网卡分配可以归纳为三种方案。
管理网络用一张四口千兆 RJ45 网卡,业务网络用一张双口 10G SFP+ 网卡。这是最经典的分配方式,适合中小企业和轻量级应用场景。
LREC9714HT 是管理网络的理想选择。四个 RJ45 端口灵活分配:一个给 IPMI 带外管理,一个给 SSH 运维,一个给监控上报,留一个做冗余。四口链路聚合后带宽可达 4Gbps,管理流量绰绰有余。Intel I350 主控方案成熟,驱动兼容 Windows Server、Linux、VMware ESXi 和各主流国产操作系统。
业务网络搭配 LREC9812BF-2SFP+。双口 10G SFP+ 支持链路聚合或主备冗余,Intel X710 主控支持 DPDK 和 iSCSI 卸载,功耗只有 4.2W。对万兆业务网络来说,这是性价比和稳定性兼顾的方案。
当业务涉及大数据处理、分布式存储或 AI 推理时,10G 带宽会成为瓶颈。将业务网卡升级到 25G SFP28,管理网络保持千兆不变。
LRES1027PF-4SFP28 是当前 25G 业务网卡的旗舰选择。四个 SFP28 端口支持 1G/10G/25G 三速自适应,PCIe 4.0 x8 总线提供充足的带宽余量。支持 iWARP 和 RoCE v2 两种 RDMA 协议,在分布式存储(Ceph/GlusterFS)和 NVMe-oF 场景下可以显著降低 CPU 开销和传输延迟。
LRES1027PF-4SFP28 需要 PCIe 4.0 x8 插槽才能发挥全部性能。如果双路服务器只有 PCIe 3.0 插槽,该卡仍可工作但带宽会减半(约 50Gbps),四口全速运行时可能成为瓶颈。选型前务必确认服务器主板的 PCIe 版本和可用插槽数。
部分双路服务器的 PCIe 扩展槽非常紧张(例如 1U 机型只有 1-2 个半高槽位),无法同时安装两张独立网卡。这时可以用一张四口 10G SFP+ 网卡,通过 VLAN 划分将部分端口分配给管理网络,其余端口承载业务流量。
LREC9804BF-4SFP+ 四个 10G SFP+ 端口可以在操作系统层面分为两组:Port0-1 划入管理 VLAN 连接管理交换机,Port2-3 承载业务流量连接业务交换机。Intel XL710 支持 SR-IOV 和 VMDq 虚拟化队列,在 VMware ESXi 或 KVM 环境下可以将不同端口直通给不同虚拟机,进一步隔离流量。
不过需要坦率指出:VLAN 逻辑隔离的安全性不如物理隔离。对安全合规要求严格的场景(金融、政务),管理网和业务网必须走独立的物理网卡。
| 对比项 | 方案一:1G+10G | 方案二:1G+25G | 方案三:单卡分区 |
|---|---|---|---|
| 管理网卡 | LREC9714HT(4×RJ45, 1G) | LREC9714HT(4×RJ45, 1G) | — |
| 业务网卡 | LREC9812BF-2SFP+(2×SFP+, 10G) | LRES1027PF-4SFP28(4×SFP28, 25G) | LREC9804BF-4SFP+(4×SFP+, 10G) |
| 占用 PCIe 槽位 | 2 个(x4 + x8) | 2 个(x4 + x8) | 1 个(x8) |
| 网卡总功耗 | 8.7W | 26.5W | 7.4W |
| 业务总带宽 | 20G(双口聚合) | 100G(四口聚合) | 40G(四口聚合) |
| 隔离方式 | 物理隔离 | 物理隔离 | VLAN 逻辑隔离 |
| 线缆类型 | Cat6 + SFP+ 光模块/DAC | Cat6 + SFP28 光模块/DAC | SFP+ 光模块/DAC 全光纤 |
| 网卡成本 | ★ | ★★★ | ★★ |
| 适用场景 | Web 服务、中小数据库 | 大数据、分布式存储、AI | PCIe 槽位受限的 1U 机型 |
成本方面,方案一的网卡采购成本最低,配套 Cat6 铜缆和千兆交换机端口也便宜。方案二的 25G 网卡单价约为 10G 的 3-5 倍,加上 SFP28 光模块和 25G 交换机端口,全链路投入更高。方案三只需一张网卡,但要求业务和管理共用光纤基础设施,交换机侧需要配置 VLAN 隔离。
PCIe 槽位充足时,优先选择物理隔离(方案一或方案二)——管理千兆、业务万兆或 25G,各走各的链路。只有在扩展槽位不够时才考虑单卡 VLAN 分区(方案三),并要评估安全合规风险。
服务器网卡分配正在从"手工配置"走向"标准化模板"。
OCP 3.0 网卡替代 PCIe 卡。越来越多的双路服务器支持 OCP 3.0 插槽,可以在不占用 PCIe 槽位的情况下安装高速网卡。管理网走主板板载千兆口,业务网走 OCP 3.0 卡,PCIe 槽位留给 GPU 或 NVMe 扩展卡。
DPU 卸载管理流量。部分方案开始将管理流量(IPMI、监控、日志)卸载到 DPU(数据处理单元),由 DPU 独立处理管理平面事务,服务器 CPU 完全不参与管理流量处理。
25G 管理网络的萌芽。随着集群规模扩大和自动化运维工具(Ansible、Terraform)的普及,管理流量峰值也在上升。部分超大规模数据中心已为管理网络部署 10G 链路,但 25G 做管理在当前阶段仍属过度配置。
新建服务器:直接按方案二配置(千兆管理 + 25G 业务)。双路服务器生命周期通常 5-7 年,一步到位避免后期升级。管理网选 LREC9714HT,业务网选 LRES1027PF-4SFP28。
现有 10G 服务器升级:业务带宽没到瓶颈就不必急于升级 25G。优先确保管理网和业务网已经物理分离——还在共用一张网卡的,加装一张 LREC9714HT 把管理流量独立出来,这是投入最小、收益最大的改动。
PCIe 槽位紧张:用 LREC9804BF-4SFP+ 单卡分区方案过渡,下次硬件采购时选择支持 OCP 3.0 的机型。
网卡分配的核心原则很简单:管理流量和业务流量不走同一条物理链路。在这个前提下,根据实际带宽需求和扩展条件选择具体方案。
业务高峰(大文件传输、数据备份)会挤占管理通道带宽,导致 SSH 卡顿、监控数据丢失、IPMI 带外管理无响应。安全层面更危险:业务网络遭受攻击时,流量可能沿同一链路影响管理系统,使运维人员失去对服务器的控制。
建议至少 2 个,推荐 4 个。2 个端口分别给 IPMI 带外管理和 SSH 运维通道;4 个端口额外分配给监控上报和冗余备份。LREC9714HT 四口千兆覆盖管理场景的全部需求,还支持链路聚合做带宽叠加。
双口 10G(如 LREC9812BF-2SFP+)聚合后 20Gbps,够多数中小型业务使用。四口(如 LREC9804BF-4SFP+)聚合 40Gbps,适合分布式存储和大数据分析等高吞吐场景,但需要交换机侧有足够的 SFP+ 端口配合。
不需要。管理流量(IPMI、SSH、SNMP、Syslog)对延迟不敏感,标准 TCP/IP 协议栈完全够用。RDMA 的价值在业务网络中的分布式存储和 NVMe-oF 等高性能传输场景。LRES1027PF-4SFP28 支持 iWARP/RoCE v2,是业务网卡的配置。
可以,PCIe 4.0 设备完全向下兼容 PCIe 3.0 插槽。但带宽会降到 PCIe 3.0 水平(x8 约 63Gbps),四口 25G 全速运行时总带宽(100Gbps)会超过 PCIe 3.0 x8 上限。如果主板只有 PCIe 3.0,建议优先考虑 10G 方案或双口 25G 方案。