26、VXLAN BGP EVPN网络服务集成与管理详解

VXLAN BGP EVPN网络服务集成与管理详解

1. 网络流量处理流程

在网络中，与VRF - Outside关联的第3层VNI流量会被发往防火墙所连接的服务叶节点。在服务叶节点进行解封装后，通过路由查找将流量导向防火墙，流量从防火墙的OUT接口进入。经过防火墙检查后，流量从其IN接口（即可到达VIP的接口）发出。这样，流量进入受保护的VRF - A中的服务叶节点，基于VIP进行常规路由查找后，被发往负载均衡器。

当流量到达负载均衡器后，会执行应用层功能，并确定合适的目标服务器端点。通过路由查找确定出口接口，流量在通过NAT应用新的源IP地址后，再次被转发到受保护的VRF - A。在受保护的VRF中的服务叶节点，会针对目标端点在网络192.168.1.0/24或192.168.2.0/24中进行进一步查找。流量会使用与VRF - A关联的第3层VNI进行适当的VXLAN封装，然后发往目标端点所连接的叶节点。最后，在目标叶节点解封装后，流量被发往服务器端点。

从端点返回的流量会被发送到负载均衡器源NAT池选择的IP地址。这样，只有经过负载均衡的返回流量在穿越租户边缘防火墙并返回客户端之前会被发送到负载均衡器，从而确保有状态行为。

下面是流量处理的流程图：

graph LR
    A[流量与VRF - Outside关联] --> B[发往服务叶节点]
    B --> C[服务叶节点解封装]
    C --> D[路由查找]
    D --> E[流量进入防火墙OUT接口]
    E --> F[防火墙检查]
    F --> G[流量从防火墙IN接口发出]
    G --> H[进入VRF - A服务叶节点]
    H --> I[基于VIP路由查找]
    I --> J[发往负载均衡器]
    J --> K[执行应用层功能]
    K --> L[确定目标服务器端点]
    L --> M[路由查找确定出口接口]
    M --> N[NAT应用新源IP]
    N --> O[转发到VRF - A服务叶节点]
    O --> P[查找目标端点网络]
    P --> Q[VXLAN封装]
    Q --> R[发往目标叶节点]
    R --> S[目标叶节点解封装]
    S --> T[发往服务器端点]
    U[端点返回流量] --> V[发往负载均衡器源NAT池IP]
    V --> W[穿越防火墙返回客户端]

2. 服务链部署与网络集成

两种服务链部署方法展示了如何将它们集成到VXLAN BGP EVPN网络中。虽然存在各种排列组合，但这些方法为选择合适的部署方式提供了参考。在VXLAN BGP EVPN网络中进行租户边缘服务插入的实现与传统网络类似。对于租户内防火墙部署，由于网络中存在分布式IP任播网关，会有一些变化。对于负载均衡器部署，将VIP作为主机路由注入，并在移动或故障场景下自动处理该通告，可在网络中实现简单、优雅且优化的部署。

3. 网络服务集成概述

可以将第4 - 7层服务集成到VXLAN BGP EVPN网络中。租户内和租户间防火墙服务可以在透明和路由模式下部署。同时，还介绍了负载均衡器的常见部署场景，以及涉及防火墙和负载均衡器的两种常用服务链部署场景。虽然没有涵盖所有可能的服务部署情况，但提供了足够的细节，有助于实现所需的部署。

4. 数据中心网络管理框架

在VXLAN BGP EVPN网络中运行网络，不仅需要控制平面和数据平面的转发，还需要根据业务和安全要求管理和设置交换机、路由器和端点等元素。数据中心网络的管理包括以下几个阶段：
- Day - 0操作 ：涉及使用POAP对VXLAN BGP EVPN网络进行无接触设备配置，实现网络组件的自动搭建。
- Day - 0.5操作 ：在Day - 0初始设置和Day - 1操作之间，某些用例需要添加并首次连接端点（如服务器、防火墙等），此时需要注意特定自动化任务的操作顺序，例如先配置端点接口（中继或接入），再配置网络（VLAN、VRF、SVI等）。
- Day - 1操作 ：基于活动端点在网络中进行第2层和第3层覆盖服务配置，确保网络准备好承载端点之间的流量。
- Day - 2操作 ：对网络进行持续监控、可见性管理和故障排除。

具体操作阶段及内容如下表所示：
| 操作阶段 | 主要内容 |
| ---- | ---- |
| Day - 0 | 使用POAP自动搭建网络，包括网络配置模型和布线规划 |
| Day - 0.5 | 添加并连接端点，注意操作顺序 |
| Day - 1 | 基于活动端点进行覆盖服务配置 |
| Day - 2 | 网络监控、可见性管理和故障排除 |

5. Day - 0操作：自动网络搭建

零接触配置允许自动化网络搭建，实现Day - 0配置。NX - OS的Power On Auto Provisioning（POAP）功能可实现无人值守的交换配置，并在整个数据中心网络中实现一致的配置和软件部署。

在开启POAP之前，需要完成一些准备工作，例如根据设备的预期功能（如叶节点、脊节点或边界节点）为其分配角色，以便进行适当的布线和配置。Cisco的POAP利用DHCP和特定的DHCP选项，告知交换机从何处接收启动指令。启动指令可以通过HTTP或TFTP等协议传输，协议选择在DHCP选项中定义。

启动指令通过Tcl或Python脚本传输，脚本会精确指示交换机在POAP过程中要执行的步骤。建议将启动脚本托管在TFTP服务器上，而实际的网络配置（更敏感）建议使用安全协议（如SCP或SFTP）在POAP过程中将整个配置传输到相应的网络交换机。

POAP过程所需的基础设施包括DHCP服务器、用于下载Python/Tcl脚本的TFTP/HTTP服务器，以及用于设备配置文件和软件映像（如果需要）的SCP/SFTP服务器。以下是一些提供POAP服务器功能的产品推荐：
- 利用Cisco的Data Center Network Manager（DCNM），可用于所有基于Cisco NX - OS的硬件交换机。
- 利用Cisco的Nexus Fabric Manager（NFM），适用于相关的Nexus交换平台。
- 利用Cisco在开源github仓库上的项目Ignite。

POAP有两种实现方法：
- 带外POAP ：最常用的方法，使用网络交换机的“Management0”（mgmt0）接口进行POAP过程。交换机在无配置的情况下启动，mgmt0接口通过DHCP请求IP地址，DHCP服务器响应并提供特定的DHCP范围选项，用于通过TFTP或HTTP检索Python或Tcl脚本。交换机检索特定的NX - OS映像和与其身份（如序列号或MAC地址）映射的特定配置。完成脚本中定义的所有任务后，交换机以相应的配置启动。如果需要NX - OS许可来启用特定配置或功能集，可以通过POAP过程对脚本进行适当修改来实现软件许可安装。
- 带内POAP ：利用交换机接口（即“前面板端口”），而不是mgmt0接口。在所有前面板端口上发送DHCP请求，收到DHCP响应后，与VLAN 1关联的集成路由和桥接（IRB）接口或交换虚拟接口（SVI）会被分配DHCP提供的IP地址。SVI 1是执行所有POAP步骤的路由接口，包括下载和执行适当的基于Python/Tcl的POAP脚本，进而触发系统映像下载、启动配置下载、可选的许可下载和安装等。

选择带外还是带内POAP需要仔细考虑：
- 带外选项：POAP服务（如DHCP、TFTP和SCP）需要从每个交换机的mgmt0接口可达。服务可以是第2层或第3层相邻。如果管理网络实现为扁平的第2层域，服务都属于同一广播域或VLAN。当交换机数量增加时可能会有规模问题，因此需要在管理网络中提供足够的带宽。更具扩展性的选项是通过路由使服务可达。如果DHCP服务器是第3层相邻的，则需要配置DHCP中继以允许交换机的DHCP数据包到达DHCP服务器，反之亦然。
- 带内选项：POAP服务应通过前面板接口可达。对于VXLAN BGP EVPN网络，种子交换机（或一对，以实现冗余）提供这种可达性。种子交换机（通常是叶节点）通过POAP启动后，接下来是脊节点之一启动。由于底层是路由网络，叶节点和脊节点之间的所有接口都配置为路由端口。来自新脊节点的DHCP请求会在相邻种子交换机（即叶节点）的上行链路接口处被阻止，因此需要在叶节点接口上配置DHCP中继以克服此限制。对于任何新的叶节点启动，也需要在适当的脊节点接口上配置DHCP中继。

目前，大多数Nexus交换机的mgmt0接口是1G端口，而前面板端口可以是10G、25G、40G和100G。显然，带内选项使用前面板接口有足够的带宽用于扩展，这是其主要优点之一。然而，带内选项在引导阶段叶节点和脊节点交换机需要按一定顺序启动。而带外选项中，每个交换机对POAP服务有独立的可达性，因此交换机启动没有顺序依赖。

6. 其他Day - 0考虑因素

除了POAP过程本身以及SCP、TFTP和Python/Tcl脚本的依赖关系外，为网络交换机生成相应的启动配置也是关键。以前，配置是手动生成或通过创意脚本方法生成。DCNM中采用的集成模板方法可以显著改进、简化和扩展配置。它允许以灵活和可定制的方式定义模板，使用所需的参数化和常见编程结构（如迭代循环和IF - ELSE语句）。这样，同一个模板可以应用于多个设备，便于高效使用和维护。

Ignite、NFM和DCNM等工具可以设置网络交换机的管理IP地址，并为VXLAN BGP EVPN生成完整的功能配置。NFM具有将必要配置推送到网络交换机的内置功能，作为交钥匙解决方案，减少了对Day - 0配置的关注。

DCNM与Ignite和NFM略有不同。DCNM的POAP定义不仅适用于VXLAN BGP EVPN网络，其模板足够灵活，可以通过POAP处理各种配置。可以通过基于GUI的框架在模板中定义所有配置的部分和字段。DCNM可以通过输入多个序列号和IP地址池同时配置多个设备。与NFM类似，DCNM提供了一个网络设置向导，以工作流的方式创建VXLAN BGP EVPN网络。

虽然Cisco NFM和DCNM可能存在一些重叠，但也有一些关键区别：
- NFM从一开始就为交换机分配一个IP地址，并在交换机的整个生命周期内保持该IP地址不变。
- DCNM在POAP过程中最初为交换机使用一个临时IP地址，POAP完成后，将其替换为配置中定义的IP地址。

此外，NFM支持的硬件平台范围有所限制，而DCNM支持任何Cisco Nexus硬件平台的POAP设置，具有用于VXLAN、Cisco FabricPath和经典以太网的广泛模板，还具有支持虚拟端口通道（vPC）、光纤通道/以太网光纤通道（FC/FCoE）和覆盖传输虚拟化（OTV）部署的附加模板。

在POAP过程中加载NX - OS映像以及设备的配置（包括功能集和许可），有助于为实时故障排除提供一致的控制台输出。发送到控制台的信息也会收集在日志文件中，并存储在网络交换机的本地存储（启动闪存）中。

构建带内或带外网络可能看起来不是自动化设置的有吸引力的投资，整体的准备工作、投资和网络建模可能过于耗时。然而，正确设置这些有显著的好处，例如节省故障排除的运营成本，防止配置不一致。这在设备退货授权（RMA）期间尤其有益。当手动管理多个设备的配置时，可能会出现高比例的错误，导致数据中心基础设施配置不匹配。为了防止手动和不一致的设备配置，基于模板的Day - 0自动化方法可以确保数据中心的一致性。对于硬件故障情况，可以快速将存储的Day - 0配置重新应用到新设备上。

7. Day-0.5操作：端点接入配置

在Day - 0初始设置和Day - 1操作之间，某些场景需要进行Day - 0.5操作。在这个阶段，服务器、防火墙等端点会首次被添加并连接到网络。在这个过程中，存在特定的自动化任务操作顺序，这一点至关重要。

例如，必须先配置端点接口（如中继接口或接入接口），然后再配置网络相关内容（如VLAN、VRF、SVI等）。以下是Day - 0.5操作的简要流程：
1. 确定端点类型 ：明确要接入的端点是服务器、防火墙还是其他设备。
2. 配置端点接口 ：根据端点类型和网络需求，配置接口为中继或接入模式。
3. 网络配置 ：在端点接口配置完成后，进行VLAN、VRF、SVI等网络配置。

下面是一个简单的mermaid流程图来展示Day - 0.5操作流程：

graph LR
    A[确定端点类型] --> B[配置端点接口]
    B --> C[网络配置]

8. Day-1操作：覆盖服务配置

Day - 1操作主要是基于活动端点在网络中进行第2层和第3层覆盖服务配置，确保网络能够承载端点之间的流量。这一阶段的配置可以通过多种方式实现，从极端的通过CLI手动配置，到与计算编排器紧密集成实现完全自动化配置。

Day - 1配置的主要步骤如下：
1. 确认端点连接 ：确保所有端点已正确连接到网络。
2. 选择配置方式 ：根据实际情况选择CLI配置或自动化配置。
3. 实施覆盖服务配置 ：在网络设备上实例化必要的配置，使网络准备好承载端点流量。

以下是Day - 1操作的相关信息表格：
| 步骤 | 描述 |
| ---- | ---- |
| 确认端点连接 | 检查端点物理连接和网络连通性 |
| 选择配置方式 | 根据需求选择手动或自动化配置 |
| 实施覆盖服务配置 | 在设备上配置VLAN、VRF等 |

9. Day-2操作：监控与故障排除

一旦网络设置完成且端点连接正常，网络进入Day - 2操作阶段，主要关注网络的监控、可见性和故障排除。

Day - 2操作的重点包括：
- 监控网络性能 ：对网络的各个方面进行实时监控，包括带宽使用、延迟、丢包率等。
- 关联上下层事件 ：不仅要监控覆盖层，还要监控底层网络，将底层事件与覆盖层服务进行关联，以获得数据中心网络的整体视图。
- 设备健康管理 ：对网络中的每个硬件设备进行健康和库存管理。
- 故障排除 ：故障排除贯穿数据中心网络的整个生命周期，从Day - 0配置阶段开始，一直到最后一个网络组件退役。

Day - 2操作的流程如下：

graph LR
    A[开始监控] --> B[收集网络数据]
    B --> C[分析数据]
    C --> D{是否有异常?}
    D -- 是 --> E[故障排查]
    D -- 否 --> B
    E --> F[解决问题]
    F --> B

10. VXLAN OAM与故障排除

VXLAN OAM（操作、管理和维护）对于基于覆盖的网络至关重要。它可以帮助管理员及时发现和解决网络中的问题，确保网络的稳定运行。

VXLAN OAM的主要功能包括：
- 连通性检测 ：检测VXLAN隧道的连通性，确保数据能够正常传输。
- 故障定位 ：当出现故障时，快速定位故障点，减少故障恢复时间。
- 性能监控 ：监控VXLAN网络的性能指标，如带宽、延迟等。

在进行VXLAN故障排除时，可以按照以下步骤进行：
1. 检查物理连接 ：确保网络设备之间的物理连接正常。
2. 验证VXLAN配置 ：检查VXLAN的相关配置，如VNI、VTEP等是否正确。
3. 查看日志文件 ：查看网络设备的日志文件，获取故障相关信息。
4. 使用诊断工具 ：利用网络诊断工具，如ping、traceroute等，进行故障排查。

11. 总结

综上所述，VXLAN BGP EVPN网络的服务集成与管理涉及多个方面，包括网络流量处理、服务链部署、第4 - 7层服务集成以及数据中心网络的全生命周期管理。

通过合理的服务链部署，可以将各种服务（如防火墙、负载均衡器）集成到VXLAN BGP EVPN网络中，实现高效的网络服务。在数据中心网络管理方面，Day - 0、Day - 0.5、Day - 1和Day - 2操作分别针对网络搭建、端点接入、覆盖服务配置和监控故障排除等不同阶段，每个阶段都有其特定的任务和重点。

POAP作为Day - 0操作的关键技术，提供了自动网络搭建的能力，带外和带内POAP各有优缺点，需要根据实际情况进行选择。同时，利用DCNM、NFM等工具可以简化网络配置和管理，提高网络的一致性和可靠性。

在整个网络运行过程中，VXLAN OAM和故障排除是确保网络稳定运行的重要手段。通过对网络的实时监控和及时故障排除，可以减少网络故障对业务的影响，提高数据中心网络的可用性和性能。

总之，深入理解和掌握VXLAN BGP EVPN网络的服务集成与管理技术，对于构建高效、稳定的数据中心网络具有重要意义。