双端口高速网卡如何验收:带宽叠加、故障切换与NUMA检查
高速网卡选型中,“双端口是否等于双倍带宽”不能用一句话回答。物理层面确实多了一条链路,但应用能否同时利用两个端口,取决于流量模型、协议栈、队列、路由和拓扑。技术验收可以按以下层次展开。
第一步确认硬件视图。使用 lspci、lspci -vv 和 ethtool -i 核对设备、驱动、固件、PCIe速率与链路宽度;使用 lspci -tv、numactl -H 或 hwloc 查看网卡与CPU、GPU的拓扑距离。双端口同时满载时,如果PCIe链路或NUMA路径成为瓶颈,两个端口的线速相加并不等于业务吞吐。
第二步确认接口与RDMA映射。使用 ip -br link 查看网络接口,使用 rdma link、ibdev2netdev 或同类工具核对RDMA设备与端口关系。不要把“看到两个网口”直接等同于应用已经使用两个口,还需要查看路由、源地址、进程绑定和实际流量计数。
第三步测试Bond或链路聚合。active-backup重点验证故障切换,不应期待带宽叠加;802.3ad等模式可能提升多流总吞吐,但结果受交换机LAG、哈希字段和会话数量影响。建议同时进行单流与多流测试,并读取每个物理端口的字节、丢包、错误和重传计数,避免只看Bond逻辑接口的总值。
第四步测试网络分平面。若一个端口用于计算/RDMA,另一个端口用于存储或业务网络,应分别验证MTU、PFC/ECN、路由、VLAN、QoS和故障域,避免配置漂移导致流量误入其他平面。物理隔离不是唯一方案,但职责和带宽边界必须明确。
第五步验证AI通信。NCCL能够使用多NIC,并会考虑网络轨道与跨NIC策略。测试时应记录 NCCL_DEBUG=INFO 的接口选择,检查每个端口流量是否符合设计,再对比单端口、双端口、跨交换机和故障场景下的algbw、busbw与稳定性。
第六步检查交换网络。双口分别接入两台交换机时,要确认MLAG、LACP或三层ECMP与主机配置一致;若用于两条独立rail,则要保持节点间端口到交换机的映射规则一致。还应核对两条链路的MTU、FEC、拥塞控制和固件是否同一基线,避免一条链路稳定、另一条链路产生间歇性重传。
测试工具也要与目标对应。以太网吞吐可使用多并发iperf3配合端口计数器,RDMA可使用perftest类工具分别测单口和双口,AI通信再使用nccl-tests观察规模扩大后的带宽与波动。任何“双口提升比例”都应注明消息大小、并发数、拓扑和测试时长。
最终验收至少包含四组结果:单口基线、双口多流、拔除或关闭单口后的恢复、业务满载时的持续测试。建议同时记录P95/P99波动、错误计数和恢复时间,这样才能区分“接口存在”“配置生效”和“业务真正受益”。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐

所有评论(0)