技术指南 无损以太网构建指南：PFC、ECN与DCQCN配置实践

技术指南

无损以太网构建指南：PFC、ECN与DCQCN配置实践

为什么RDMA需要无损以太网

理解为何RDMA对丢包如此敏感，需要从RDMA的工作原理说起。RDMA允许一台机器直接读写另一台机器的内存，整个过程完全绕过操作系统内核，数据传输由网卡硬件直接完成，CPU无需参与。这带来了极低的延迟（微秒级）和极低的CPU开销，但也带来了一个关键限制：RDMA的错误处理机制极其简单。

在标准TCP/IP协议栈中，丢包会触发重传机制，重传在软件层面由操作系统内核处理，对应用层透明。但在RDMA中，数据传输直接由硬件执行，一旦发生丢包，RDMA的Go-Back-N重传协议会要求从丢失报文开始重传所有后续报文，即使这些报文已经被接收方成功收到。在高带宽、高并发的场景下，一次丢包可能引发数百倍数据量的重传，导致网络带宽利用率从接近100%瞬间崩溃至不足10%，这种现象被称为"RDMA拥塞崩溃（Incast Collapse）"。

PFC（Priority Flow Control）原理

PFC（IEEE 802.1Qbb标准，优先级流控）是实现无损以太网的第一道防线。其核心思想是：当网络交换机缓冲区快满时，主动向上游发送"暂停帧"，要求上游设备停止发送数据，从而避免缓冲区溢出导致丢包。

PFC与传统IEEE 802.3x Pause的关键区别：传统Pause帧会暂停链路上的全部流量，而PFC基于优先级队列（Priority 0~7，共8个），可以只暂停特定优先级的流量，不影响其他优先级的正常转发。通常将RDMA流量分配到Priority 3（高优先级），非RDMA流量分配到其他优先级，PFC只对Priority 3生效，保证RDMA无损传输的同时不影响普通TCP业务。

PFC工作流程：①数据流从发送方→交换机涌入；②交换机出口队列缓冲区填充至预设的XOFF阈值；③交换机向入口方向发出PFC PAUSE帧（包含优先级和暂停时间）；④上游设备（发送方网卡或上游交换机）收到PAUSE帧后，暂停对应优先级队列的发送；⑤当交换机缓冲区降至XON阈值后，发送PFC RESUME帧恢复上游发送。整个暂停和恢复过程在微秒级别完成，对于RDMA应用来说几乎无感知。

ECN（Explicit Congestion Notification）原理

ECN（RFC 3168，显式拥塞通知）是无损网络的第二道防线，与PFC互补。PFC是被动的"急刹车"——在即将丢包时才触发；ECN是主动的"提前预警"——在拥塞形成之前就通知发送方降速。

ECN工作机制：①IP报头的ToS字段中有2个ECN标志位（ECT + CE），发送方在报文中设置ECT（ECN-Capable Transport）位，声明支持ECN；②网络交换机监测出口队列长度，当队列超过RED（Random Early Detection）阈值时，将报文的CE（Congestion Experienced）位置1，不丢弃报文；③接收方检测到CE标志后，通过CNP（Congestion Notification Packet）报文告知发送方；④发送方网卡（RDMA NIC）收到CNP后触发速率降低算法，减少发送速率。

ECN与PFC的互补关系：ECN在拥塞初期即开始反馈，使发送方提前降速，从根本上减少拥塞的发生概率，从而减少PFC PAUSE帧的触发频率。PFC作为最后防线，在ECN无法及时抑制拥塞时保证不丢包。两者协同工作：ECN负责"防患于未然"，PFC负责"兜底保障"。

DCQCN算法详解

DCQCN（Data Center Quantized Congestion Notification）是微软研究院（MSR）与业界联合提出的针对RoCEv2网络的拥塞控制算法，已成为RDMA以太网网络的事实标准，主流高性能网卡均原生支持。

DCQCN的核心组成：

PFC/ECN工作流程示意图

无损以太网配置实践

以下为在真实集群中配置无损以太网的关键步骤，分为交换机端和网卡端两部分：

交换机端关键配置（通用配置逻辑，以支持PFC/ECN的数据中心交换机为例）：

# 步骤1: 全局开启PFC（优先级流控） 启用DCB协议族，开启PFC功能 # 步骤2: 为RDMA流量指定无损优先级（通常使用Priority 3） 将PFC应用到承载RoCEv2流量的优先级队列（如Priority 3） # 步骤3: 配置ECN/WRED参数 对RDMA优先级队列启用ECN标记 设置ECN_MIN阈值（建议150KB）和ECN_MAX阈值（建议1500KB） # 步骤4: 配置QoS映射（DSCP 26 → Priority 3） 将RoCEv2流量（DSCP 26）映射到对应的PFC优先级队列

网卡端配置（Linux环境，以Intel E810系列为例）：

# 步骤1: 确认网卡支持RoCEv2 $ rdma link show # 步骤2: 网络接口启用PFC（通过lldptool配置DCB） $ lldptool set-lldp -i ens4f0 adminStatus=rxtx $ lldptool -T -i ens4f0 -V PFC enableTx=yes $ lldptool -T -i ens4f0 -V PFC willing=no $ lldptool -T -i ens4f0 -V PFC enabled=3 # 步骤3: 为RoCEv2流量设置DSCP到Priority映射（DSCP 26 → Priority 3） $ ethtool --set-priv-flags ens4f0 fw-lldp-agent off $ lldptool -T -i ens4f0 -V APP app=3,5,26 # 步骤4: 开启DCQCN拥塞控制（通过RDMA设备配置RoCE ToS，值为DSCP×4=104） $ mkdir -p /sys/kernel/config/rdma_cm/irdma0/ports/1 $ echo 104 > /sys/kernel/config/rdma_cm/irdma0/ports/1/default_roce_tos # 步骤5: 验证PFC/ECN统计 $ ethtool -S ens4f0 | grep -E "rx_priority|tx_priority"

▲ 采用无损以太网的AI训练集群数据中心

常见问题与排错

联瑞电子RDMA网卡对无损以太网的支持

联瑞电子提供基于Intel E810和华为海思Hi1822等高性能控制器的完整RDMA网卡产品线，全面支持RoCEv2无损以太网所需的PFC、ECN和DCQCN功能：

▲ 配备高性能RDMA网卡的GPU训练服务器内部

常见问题FAQ