前言

云计算、虚拟化数据中心大规模落地后,传统 VLAN 组网方案暴露出大量适配短板,无法支撑多租户、大集群、跨机房虚拟机动态迁移的业务需求。

VXLAN 作为 Overlay 隧道技术应运而生,搭配 EVPN 控制平面与分布式三层网关,形成当前主流的数据中心 Fabric 组网架构。整套体系依靠三层底层网络承载逻辑二层业务,彻底解决传统二层网络的扩展性、资源数量、转发效率三大核心痛点。整套架构可梳理为四层核心组件:底层承载网络 Underlay、VXLAN 隧道封装、EVPN 路由控制、分布式就近三层网关。

一、传统 VLAN 组网的三大固有缺陷

传统以太网依靠 VLAN 划分广播域,在小型机房、固定物理服务器场景下可以稳定运行,但云化数据中心规模扩张后,会出现无法调和的矛盾。业务侧需要无边界、可灵活迁移的二层网络,而物理底层网络更适合稳定、易收敛的三层路由架构,二者天然冲突,具体瓶颈分为三点:统VLAN三

  1. 逻辑网络标识资源上限过低  标准 VLAN 标签仅占用 12 比特位,可用 ID 区间仅 1~4094。当数据中心承载数十上百租户、上百套独立业务集群时,有限的 VLAN 编号会快速耗尽,无法实现租户网络完全隔离。
  2. 大二层广播域稳定性极差  若为实现跨机房同网段互通,强行把二层广播域跨多台交换机、机房打通,广播报文、未知单播报文会在全网泛洪。网络规模越大,广播风暴、环路故障的影响范围越大,STP 生成树协议收敛、故障排查难度成倍提升。
  3. 虚拟机业务迁移受物理硬件束缚  虚拟化场景下,虚拟机跨服务器迁移时,通常要求 IP 地址、网关配置保持不变,保障业务无中断。传统 VLAN 绑定物理交换机端口,一旦服务器更换接入机柜 / 机房,原有二层链路无法延伸,迁移操作会受到物理网络布局严格限制。

举个典型场景:两套机房内的业务服务器同属一个业务网段,需要二层直连互通。小规模环境下可通过 Trunk 链路透传 VLAN;机房数量、服务器规模扩大后,上述三类问题会集中爆发,这也是 VXLAN 技术诞生的核心背景。

二、VXLAN 隧道:在三层网络上搭建虚拟二层通道

VXLAN 本质是一种报文封装技术,核心思路是将完整的二层以太网数据帧封装在 UDP 报文中,依托底层三层 IP 网络完成跨设备、跨机房传输,负责封装和解封装的网络设备统一称为 VTEP(VXLAN 隧道端点)。

1. 报文封装变化过程

  • 原始终端报文结构:以太网头 + 业务 IP 头 + 传输层头 + 业务数据
  • 经过 VTEP 封装后完整报文结构:外层以太网头 + 底层承载 IP 头 + UDP 端口 4789 头部 + VXLAN 标识头 + 原始完整二层报文

2. 跨 VTEP 数据转发流程

  • 业务主机发出普通二层报文,送达本地接入 VTEP 设备;
  • VTEP 为报文叠加 VXLAN 隧道封装头部,填充对端 VTEP 的 IP 作为外层目的地址;
  • 底层 Underlay 三层网络仅依据外层 IP 路由转发,无需感知内部租户 MAC、网段信息;
  • 远端 VTEP 接收隧道报文,剥离全部外层封装头部,还原原始二层以太网帧;
  • 还原后的二层报文转发至目标业务服务器,两端主机如同处于同一物理二层网络。

整套转发逻辑中,中间三层交换机仅转发外层 IP 数据包,完全隔离租户内部二层流量,真正实现 “三层底层承载虚拟二层网络”。

三、VNI:解决 VLAN 编号资源不足问题

VXLAN 使用 24 比特长度的 VNI(虚拟网络标识符)区分不同逻辑广播域,对比 12 比特 VLAN 具备量级优势:

  • VLAN:12bit,最大 4094 个独立网络;
  • VNI:24bit,理论可支持约 1677 万个独立虚拟网络。

同一机房内不同业务、不同租户可以复用相同 VLAN 编号,只需映射至不同 VNI 即可实现网络隔离,不会产生广播域冲突。本地接入交换机的 VLAN 仅具备本地端口区分作用,跨设备传输时依靠 VNI 作为唯一标识。

但仅依靠 VNI 扩容无法彻底解决网络泛洪缺陷:若没有路由控制平面,VTEP 只能依靠广播泛洪学习远端终端 MAC 地址,大规模组网下泛洪流量会严重消耗带宽,EVPN 控制平面由此成为配套必备组件。

四、EVPN 控制平面:消除泛洪,精准发布终端路由

VXLAN 仅定义数据报文的封装格式,无法自动同步全网终端 MAC、IP 位置信息,BGP EVPN 作为配套控制平面,专门解决路由信息分发问题,二者分工清晰:

  • VXLAN(数据平面):负责封装、传输业务流量;
  • EVPN(控制平面):通过 BGP 协议向全网 VTEP 同步终端 MAC、IP、对应 VTEP 地址等路由信息。

设备接入流程示例:新服务器接入 VTEP2 后,该设备会通过 EVPN 路由条目,向全网所有 VTEP 通告 “终端 MAC、IP 归属 VTEP2”。其余 VTEP 收到路由后,可直接定向发送流量至目标 VTEP,无需全网广播泛洪查找终端,大幅降低大网络中的广播开销,是大型数据中心 Fabric 的标准配套方案。

五、集中式三层网关的转发缺陷:流量绕行问题

同一 VNI 内的终端可直接二层互通,若需要跨网段访问,则必须经过三层网关完成路由转发。早期 EVPN-VXLAN 方案采用集中式网关,所有跨网段流量统一转发至核心交换机做三层处理,存在明显短板。即便两台跨网段服务器接入同一台接入交换机,流量也需要先上行至核心网关完成路由,再原路下行返回接入层,行业内称为 “发夹流量”。机房规模越大,核心网关的转发压力、链路带宽损耗越严重,极易形成全网性能瓶颈。

六、分布式网关:三层转发下沉,实现就近路由

现代 Fabric 架构将三层网关功能下沉至每一台 Leaf 接入交换机,即分布式网关,每台 Leaf 设备均配置全网业务网段的统一网关 IP 与网关 MAC(Anycast 网关)。

1.跨网段转发流程

源服务器 → 本地 Leaf 交换机(本地完成三层路由转发) → VXLAN 隧道 → 远端 Leaf 交换机 → 目标服务器

2.分布式网关三大核心优势

  • 本地就近转发:跨网段流量无需上行至核心,接入层直接完成三层路由,消除流量绕行;
  • 全网负载均衡:所有 Leaf 分担网关转发压力,不存在单一核心性能瓶颈;
  • 兼容虚拟机动态迁移:虚拟机迁移至任意 Leaf 设备,网关 IP、MAC 保持不变,无需修改终端配置,业务迁移零改动。

至此整套完整架构逻辑闭环:三层 Underlay 保证所有 VTEP 互通;VXLAN 构建租户独立虚拟二层;EVPN 同步全网终端路由;分布式网关下沉三层转发能力。

七、核心概念区分梳理

1. Underlay 与 Overlay

  • Underlay:物理底层承载网络,由交换机、路由器搭建的真实三层 IP 网络,作用是打通所有 VTEP 设备之间的路由;底层网络不通,则 VXLAN 隧道无法建立;
  • Overlay:建立在 Underlay 之上的虚拟逻辑网络,由 VXLAN 隧道构成,面向租户、业务提供二层网络服务,与物理底层拓扑解耦。

2. L2 VNI 与 L3 VNI

  • L2 VNI:对应独立二层广播域,用于同网段终端二层互通;
  • L3 VNI:三层转发专用虚拟网络,承载不同网段之间的跨 VTEP 路由交互,配合 VPN 实例实现租户路由隔离。

3. VXLAN 与 EVPN 边界区分

VXLAN 不属于路由协议,仅规定隧道封装格式;EVPN 不是隧道技术,是基于 BGP 的控制平面协议。二者不存在替代关系,EVPN-VXLAN 组合才是数据中心标准完整组网方案。

八、EVPN-VXLAN 故障排查标准化流程

现场故障排查遵循由底至上的顺序,优先排除底层基础连通性,再逐层核查上层虚拟网络,避免无效排查:

  1. 核查 Underlay 底层:确认各 VTEP 环回接口路由可达,无丢包、路由缺失;
  2. 核查 VXLAN 隧道状态:确认隧道接口状态 Up,两端 VTEP 地址配置无误;
  3. 核查二层映射关系:确认桥域 BD、VNI、接入端口绑定关系匹配;
  4. 核查 EVPN 控制平面:查看 BGP EVPN 邻居状态,确认 MAC/IP 路由条目正常收发;
  5. 核查三层网关配置:确认分布式网关 IP、VPN 实例、三层路由表配置正确;
  6. 抓包验证流量封装:核对报文外层 IP、VXLAN 封装、回程转发路径是否对称。

 通用设备排查命令(华为 CE 系列,适配 VRP 系统)

说明:不同厂商、不同版本交换机命令存在差异,实际运维以设备官方手册为准。排查 VXLAN 不通故障时,优先确认 VTEP 环回地址互通,不要直接定位 VNI 配置问题。

九、全文总结

VXLAN 技术的核心目标并非完全摒弃三层网络,而是借助三层网络优秀的扩展性,为上层业务搭建不受物理机房、交换机限制的弹性虚拟二层网络,整套体系解决四大核心痛点:

  1. 实现虚拟二层网络跨三层物理基础设施部署;
  2. 依靠海量 VNI 标识,支撑大规模多租户网络隔离;
  3. 虚拟机跨硬件迁移时,保留原有 IP 与网关配置,业务无感知;
  4. 分布式网关消除集中网关流量绕行,全网转发性能均衡。

底层 Underlay 负责打通所有隧道端点,VXLAN 封装构建虚拟二层,EVPN 同步全网终端路由,分布式网关完成就近三层转发。物理网络仅负责基础连通,业务网络彻底脱离物理硬件布局束缚,是云数据中心虚拟化组网的核心技术底座。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐