18、数据中心外部连接性设计与实现-CSDN博客

数据中心外部连接性设计与实现

1. 外部连接性概述

数据中心为用户托管数据和应用程序，而用户通常位于数据中心外部。因此，数据中心的外部连接性设计至关重要，它涉及到不同的放置选项和互连选项，包括Layer 3和Layer 2的连接性选项。对于不支持IP且通过Layer 2进行通信的应用程序，也有相应的设计建议。

2. 外部连接点：边界节点

在脊叶（spine - leaf）拓扑中，外部互连点被称为边界节点。边界节点可以为基于VXLAN BGP EVPN的脊叶拓扑或网络结构提供Layer 2和Layer 3流量的外部连接性。它本身是一个VXLAN边缘设备，托管VTEP（VXLAN隧道端点），用于封装和解封装源自或发往数据中心结构中边缘设备以下端点的外部VXLAN流量。

边界节点与普通叶节点的主要区别在于，边界节点通常没有直接连接的端点。这种角色分离简化了操作，避免了在一组专用边缘设备（即边界节点）上加载过多功能。边界节点负责转发南北流量，即从数据中心内部发往外部或反之的流量，而东西流量（数据中心内服务器之间的流量）在叶交换机之间最优转发，不经过边界节点。

3. 边界节点的放置选项

在脊叶拓扑中，边界节点有两种放置选项：边界脊（border spine）和边界叶（border leaf）。

3.1 边界脊

将边界节点放置在脊上，对于南北流量的转发效率较高。当边界节点位于脊上时，连接到叶的端点发往外部网络的所有流量只需一跳即可到达。在这种情况下，脊和边界节点的功能结合在一起，南北和东西流量的传输也结合起来。边界脊会成为一个配置为VTEP的VXLAN边缘设备，用于封装和解封装南北流量的VXLAN流量。

不过，在边界脊上配置VTEP时需要考虑容量规划，以容纳所有南北和东西流量。此外，扩展带有边界节点的脊时，需要增加外部连接接口和邻接关系，以确保所有可用网络路径的可达性信息一致。对于需要Layer 2外部连接性的应用程序，当需要超过两个脊时，需要成对部署脊以实现Layer 2冗余。可以配置一对脊用于Layer 2外部连接，以实现Layer 2流量的统一可达性，或者通过vPC（虚拟端口通道）进行冗余的双归属连接。边界脊还可以启用其他服务，如BGP路由反射器（RR）和组播会合点（RP）。

3.2 边界叶

将边界节点功能放在一个特殊的叶节点（即边界叶）上，可以将南北和东西流量分离。在这种情况下，脊不再执行VXLAN流量的封装或解封装，因此不需要在脊上配置VTEP。边界叶托管VTEP，负责提供外部连接性的流量封装和解封装，即负责所有南北流量。这种选项从数据中心内部的角度减少了边界叶的容量规划要求，只需要为南北流量进行容量规划。虽然部署边界叶会使南北流量多一跳，但它的优点是流量分离清晰，并且整个结构具有统一的可达性。

对于需要Layer 2连接性和通过vPC进行双归属的应用程序，需要考虑与边界脊情况相同的因素。与边界脊相比，边界叶的功能较少，简化了设计。而且边界叶不太可能托管BGP RR或组播RP，因为在脊叶拓扑中，脊是RR和RP放置的更好选择。

以下是边界节点放置选项的对比表格：
| 放置选项 | 南北流量效率 | 功能复杂度 | VTEP配置 | 容量规划 | 适用场景 |
| ---- | ---- | ---- | ---- | ---- | ---- |
| 边界脊 | 高 | 高，集成多种服务 | 脊上配置 | 需考虑南北和东西流量 | 大部分流量为南北流量的场景 |
| 边界叶 | 稍低，多一跳 | 低，功能分离 | 叶上配置 | 仅考虑南北流量 | 需要清晰分离南北和东西流量的场景 |

4. 外部Layer 3连接性

在将外部连接性放置在边界脊或边界叶后，需要考虑将VXLAN BGP EVPN结构连接到外部网络。外部网络可能包括互联网、广域网、分支机构、其他数据中心或园区网络，这些外部网络需要一组通用的协议进行通信。

4.1 物理连接模型

在将边界节点物理连接到外部网络时，有两种主要的连接模型：全网格（full - mesh）模型和U形（U - shaped）模型。

全网格模型 ：这是最常见和推荐的模型。在这种方法中，每个边界节点都连接到每个边缘路由器。例如，两个边界节点和两个边缘路由器需要四条链路来构建高度弹性的外部连接部署。全网格连接模型提供了任意到任意的连接性，路由信息的交换是同步的。从路由角度看，全网格连接可能看起来有点复杂，但它是最简单和最具弹性的选项，不需要边界节点之间进行额外的同步。而且，在单链路故障的情况下，不会出现流量黑洞，只有当一个边界节点上的所有链路都丢失时，才可能有50%的流量被黑洞。
U形模型 ：这是直连模型的更具弹性的演进。直连模型通常是单个边界节点连接到一个边缘路由器，是将结构连接到外部网络的非冗余方式，一般不推荐使用。在U形模型中，两个边界节点和两个边缘设备使用直连方式连接。如果单链路或节点故障，可能会有50%的流量被黑洞。为了防止这种情况，需要在边界节点之间配置交叉链路，并在交叉链路上建立路由对等会话，以在边界节点和边缘路由器之间的直连上行链路故障时提供重定向路径。交叉链路提供了额外的网络流量路径，而不需要全网格布线模型，使边界节点和边缘路由器之间的直连看起来像一个“U”形。U形模型不需要条件通告，VXLAN BGP EVPN结构内部的流量仍然可以到达两个边界节点，然后直接或通过额外的交叉链路转发到外部网络。

以下是两种物理连接模型的对比表格：
| 连接模型 | 链路数量 | 冗余性 | 配置复杂度 | 单链路故障影响 |
| ---- | ---- | ---- | ---- | ---- |
| 全网格模型 | 多，如两个边界节点和两个边缘路由器需四条链路 | 高，任意到任意连接 | 稍高 | 无流量黑洞 |
| U形模型 | 较少，需额外交叉链路 | 适中，避免基本故障时的流量黑洞 | 适中 | 可能有50%流量被黑洞 |

4.2 VRF Lite/Inter - AS Option A

BGP EVPN控制平面集成了Layer 3多租户功能。MP - BGP能够在单个BGP会话上跨VXLAN网络传输多个虚拟路由和转发（VRF）实例的信息。将VRF或VPN信息从基于VPN的地址族（L2VPN EVPN）网络传输到非EVPN网络的最简单选项是使用VRF Lite或Inter - AS Option A。

使用VRF Lite时，边界节点拥有所有VRF实例，并将EVPN网络中相关的Layer 3前缀信息发送到各个VRF特定的路由表中，然后通过适当的路由协议（控制平面）与外部路由器交换路由信息。除了每个VRF的静态路由支持外，动态路由协议也有每个VRF的隔离，从而形成每个VRF的路由协议实例。

有几种路由协议可供选择，由于网络结构已经使用了BGP，重用相同的路由协议（eBGP）有很多好处，如嵌入式通告不需要显式的协议重分发。BGP提供了自治系统的清晰分离，使VXLAN BGP EVPN结构和外部路由域（如广域网、园区网或其他外部网络）之间能够进行结构化的交接。BGP还允许配置一组广泛的路由策略，以操纵接收或通告的网络可达性信息。

其他动态路由协议，如OSPF、EIGRP、IS - IS和简单的静态路由也可以使用，但由于这些协议与内部结构的覆盖控制协议（BGP）没有直接交互，需要配置重分发才能进行正确的IP前缀信息交换。例如，将iBGP IP前缀信息重分发到IS - IS、OSPF或EIGRP需要额外的配置，在NX - OS中，需要一个路由映射来匹配iBGP内部路由。示例代码如下：

route-map RM_iBGP_ALLOW permit 10
   match route-type internal

router ospf EXTERNAL
   vrf VRF-A
      redistribute bgp 65001 route-map RM_iBGP_ALLOW

当通过适当的路由协议将iBGP IP前缀通告到外部网络时，需要考虑对整个内部IP前缀空间进行汇总，以提供主机路由（/32或/128）的覆盖。除了BGP，IGP路由协议也有过滤功能，在需要外部连接性时应考虑适当的路由过滤选项。

在数据平面，当使用边界节点和外部路由器之间的单个物理链路时，可以使用IEEE 802.1Q标签为每个VRF分配唯一的标签，以实现不同VRF数据流量的分离和隔离。

实现VRF Lite有两种方法：
- 配置Layer 3 VLAN接口（SVI） ：需要将物理接口配置为IEEE 802.1Q（dot1q）中继端口。SVI在每个VRF的基础上发起路由协议对等，并作为路由的下一跳。这种方法允许使用Layer 2传输进行Layer 3路由和转发，但不允许边界节点和外部路由器的两个网络域之间进行任何Layer 2控制平面信息交换。
- 在物理路由接口上配置子接口 ：子接口只需要dot1q标签来标记属于特定VRF的流量，物理接口上的Layer 2功能会自动禁用。子接口用于路由协议对等和下一跳可达性，具有直接的接口到IP关系，当接口关闭时会产生额外的信令，从而关闭路由协议对等会话，使流量收敛到备用路径。子接口信令检测可以实现双向转发检测（BFD），增强了在相应路由接口（这里是子接口）上启用的路由协议的故障切换检测。

如果需要外部Layer 2连接性（如数据中心互连（DCI）或Layer 4到7服务），可以使用专用接口进行Layer 2连接，并将这些接口配置为dot1q中继端口，同时建议使用vPC实现Layer 2冗余。以下是使用子接口实现VRF Lite与BGP的示例代码：

# Subinterface Configuration
interface Ethernet1/10
   no switchport
interface Ethernet1/10.1002
   mtu 9216
   encapsulation dot1q 1002
   vrf member VRF-B
   ip address 10.2.2.1/30
   no shutdown

# eBGP Configuration
router bgp 65501
   vrf VRF-B
      address-family ipv4 unicast
         advertise l2vpn evpn
         aggregate-address 192.168.0.0/16 summary-only
      neighbor 10.2.2.2 remote-as 65599
         update-source Ethernet1/10.1002
         address-family ipv4 unicast

对于基于VRF Lite的外部连接性，建议使用子接口进行Layer 3连接和路由对等，使用eBGP作为边界节点和外部路由器之间的路由协议。如果存在外部Layer 2连接性要求，建议使用vPC实现Layer 2连接、多归属和高可用性。不过，VRF - Lite选项在操作和技术上有优缺点，具体取决于环境以及绿地设计与棕地集成的权衡。

数据中心外部连接性设计与实现

5. 外部连接性设计总结

在设计数据中心的外部连接性时，需要综合考虑多个因素，包括边界节点的放置、物理连接模型以及Layer 3连接选项等。以下是一个决策流程图，帮助我们根据不同的需求选择合适的设计方案：

graph TD;
    A[确定流量类型] --> B{主要为南北流量?};
    B -- 是 --> C[考虑边界脊放置];
    B -- 否 --> D[考虑边界叶放置];
    C --> E{需要Layer 2外部连接?};
    D --> E;
    E -- 是 --> F[成对部署脊或使用vPC实现Layer 2冗余];
    E -- 否 --> G[正常配置边界节点];
    F --> H[选择物理连接模型];
    G --> H;
    H --> I{需要高冗余?};
    I -- 是 --> J[选择全网格模型];
    I -- 否 --> K[选择U形模型];
    J --> L[考虑Layer 3连接选项];
    K --> L;
    L --> M{需要多租户支持?};
    M -- 是 --> N[选择VRF Lite/Inter - AS Option A];
    M -- 否 --> O[选择其他合适的连接选项];

6. 不同设计方案的优缺点分析

为了更清晰地了解各种设计方案的特点，我们对前面提到的边界节点放置、物理连接模型和Layer 3连接选项进行详细的优缺点分析，如下表所示：
| 设计方案 | 优点 | 缺点 |
| ---- | ---- | ---- |
| 边界脊放置 | 南北流量转发效率高，可集成多种服务如RR和RP | 功能复杂度高，容量规划需考虑南北和东西流量 |
| 边界叶放置 | 南北和东西流量分离清晰，容量规划仅考虑南北流量，功能简化 | 南北流量多一跳，效率稍低 |
| 全网格连接模型 | 高冗余，单链路故障无流量黑洞，路由信息同步 | 链路数量多，配置复杂度稍高 |
| U形连接模型 | 相对较少链路，避免基本故障时的流量黑洞，配置适中 | 单链路或节点故障可能有50%流量被黑洞 |
| VRF Lite/Inter - AS Option A | 实现多租户功能，支持多种路由协议，可进行路由过滤 | 扩展性有限，每个VRF需Layer 3接口和对等会话 |

7. 实际应用中的注意事项

在实际应用这些设计方案时，还需要注意以下几点：
1. 容量规划 ：无论是边界脊还是边界叶，都需要根据实际的流量情况进行合理的容量规划。特别是在边界脊上配置VTEP时，要确保能够容纳所有南北和东西流量。
2. 路由协议配置 ：选择合适的路由协议，并正确配置路由信息的交换和过滤。例如，在使用VRF Lite时，要注意不同VRF之间的隔离和路由信息的汇总。
3. Layer 2连接性 ：如果需要外部Layer 2连接性，要使用vPC实现冗余，并合理配置dot1q中继端口。
4. 故障处理 ：了解不同连接模型在故障情况下的表现，制定相应的故障处理策略。例如，在全网格模型中，单链路故障不会影响流量转发，但在U形模型中，需要确保交叉链路的正常工作。

8. 未来发展趋势

随着数据中心规模的不断扩大和业务需求的不断变化，外部连接性设计也将面临新的挑战和机遇。以下是一些未来可能的发展趋势：
1. 更高的带宽需求 ：随着数据量的增加，对外部连接的带宽要求也会越来越高。未来可能需要采用更高速的网络技术和设备来满足这一需求。
2. 智能化的连接管理 ：通过引入人工智能和自动化技术，实现对外部连接的智能化管理，包括自动配置、故障预测和优化等。
3. 多云和混合云连接 ：越来越多的企业采用多云和混合云架构，需要更灵活和高效的外部连接性设计来实现不同云环境之间的互联互通。
4. 安全性能提升 ：随着网络安全威胁的增加，对外部连接的安全性能要求也会越来越高。未来的设计需要更加注重数据的加密、访问控制和入侵检测等方面。

总之，数据中心的外部连接性设计是一个复杂而重要的领域，需要综合考虑多个因素，选择合适的设计方案，并不断关注未来的发展趋势，以确保数据中心能够高效、稳定地运行。希望本文的内容能够为相关领域的技术人员提供一些有价值的参考。