本节书摘来自异步社区《数据中心虚拟化技术权威指南》一书中的第2章，第2.2节，作者【巴西】Gustavo A. A. Santana，更多章节内容可以访问云栖社区“异步社区”公众号查看

2.2　数据中心网络拓扑

数据中心虚拟化技术权威指南
一般来说，数据中心网络可以认为是从园区网络专门演变而来的。实际上，直到 20 世纪 90 年代晚期，公司将服务器和用户终端连接到相同网络结构并不罕见。

图 2-5 描绘出了一个我和几个客户共同见证的网络设计方案。

如图 2-5 左侧所示，此公司遵循了20世纪 90 年代园区网设计的三层结构（核心 - 汇聚 - 接入），其内部服务器直接连接到了园区核心。而后，关键
服务器与这些交换机这样相连，也是有理由的，因为他们通常都被高度使用而放在园区网络的中心。

然而，随着服务器的不断增加和它们对公司的重要性不断提高，设计好的网络也需要不断发展。图 2-5 的右边代表在 2010 年左右客户网络的状态。在此设计方案中，一个单独的三层网络结构被设计用来连接公司服务器。尽管两个结构都会使用相似的网络设备（以太网交换机），但它们的布置和配置肯定会满足不同的需求。

不只是一个找茬游戏，桌面和服务器连通的区别可以总结为以下几点。

故障影响：园区网交换机故障意味着一些用户将无法使用他们的应用，数据中心网络故障意味着包括远程用户在内的所有用户的应用都无法使用。

主机连通性：一个普通用户的桌面只有一个接入园区网的连接，而数据中心的每个服务器通常都有至少两个以太网连接。

通信方向：据统计，园区网的主要通信集中在接入和汇聚层通往可达服务器的上行链路。这种情况不可能发生在数据中心网络中，因为服务器间的通信是均衡的。

2.2.1　数据中心网络分层

核心 - 汇聚 - 接入分层的数据中心网络结构浓缩了多年的网络集成经验，起源于第一个互联网服务供应商（Internet Service Providers，ISP）。由于这种分层方法增强了网络的模块性、灵活性和恢复能力，因此在多数据中心项目中已成功应用。

在此结构中，每个交换层计划为不同的通信情景提供不同的网络功能。例如，核心层为数据中心进出口通信提供传送能力。利用专属的路由特性，在密集的数据中心网络中，核心交换机提供一个可升级、灵活、能复原的结构来为多对汇聚交换机建立连接。

汇聚层原本是设计用来作为服务器 IP 子网的汇聚点，通常作为它们的默认网关和多对接入交换机间通信链路。因此，汇聚层也被认为是接入有状态网络服务的中心点，例如防火墙和服务器负载均衡器。

注意：
有状态网络设备根据有如 TCP 这样的协议确定的网络状态作出发送决定。相反，无状态设备仅仅根据一个包或者帧内部信息处理它们。
接入层包含的交换机必须和服务器物理相连。由于这一层处理数量最多的端口，因此它的配置通常目标是简化改善管理。由于这个原因，接入交换机通常致力于同一子网服务器直接的通信。这一设计方案决定改善了服务器间任何通信交换类型（单播、组播和广播）。

显然，核心 - 汇聚 - 接入模型并没有在地球上每一个数据中心网络中得到应用。然而，它为一些特殊环境的需求提供了一个综合的指导。例如，小数据中心也许会将核心和汇聚层压缩为一层，甚至使用园区核心交换机连接一些汇聚模块。

而服务提供商大型的数据中心可以仅在核心交换机使用路由，以便在每个服务器上出现所有的IP 子网，无论它们属于哪个汇聚模块。

2.2.2　数据中心网络的设计因素

设计一个数据中心网络时，网络专业人员必须考虑相关领域的因素。例如，设计必须考虑到数据中心的增长率（服务器、交换机端口、客户的数量或任何其他参数）来避免网络拓扑成为网络环境拓展的瓶颈。

应用带宽需求也是数据中心网络设计的一个重要方面。通常来说，网络专业人士会超额接受这些需求，并将其转换成更多相关元件（例如端口和交换机模块）。在通信系统中，多种元素共享公共资源，超额率是指每个用户分配到的资源和每个用户潜在能够消耗的最大资源的比值。

在数据中心网络中，超额基本是指每一层交换机可以有效提供给下游设备多少带宽。例如，如果一个接入层交换机有 32 个 10 千兆以太网服务器端口和 8 个千兆上行 10 千兆以太网接口，那么它对上行服务器流量有 4∶1 的超额率。

通过测试和微调，可以发现在每个应用程序环境支持的超额率并确定***的网络设计方案，以满足程序当前和未来的需求。

业务相关的决定也会影响到数据中心网络的设计，如故障范围的大小。因此，如果一个组织根本无法承受同时失去多个应用环境，那么每个 IP 子网的服务器和汇聚接入交换机的数量将不仅仅是一个技术决定的问题。

应用弹性是影响数据中心网络设计最重要的因素之一，因为它要求应用和网络现有机制的完美和谐，例如：

服务器冗余以太网接口应该连接到不同的接入交换机上，并防止“黑洞”（一个活跃的服务器连接在一个孤立的网络设备上）产生；

网络与应用服务器相比应该有更快的反应速度。

最后，数据中心网络的设计者应该知道在不同情况下不同因素的优先级，因为对一个因素有利会潜在对另一个有害。一个经典的例子就是汇聚层和接入层之间的连接拓扑。

图 2-6 描述了传统交换机使用的 4 种冗余设计方法。

提示：
汇聚层交换机上的虚线分隔开了这些设备上的交换（2层）和路由（3层）接口。
图 2-6 中的方案可分为环状和无环拓扑结构，取决于它们阻止连接损失的机制，例如生成树协议（Spanning Tree Protocol，STP）。

由于其确定性和灵活性，环状三角拓扑无疑是数据中心网络中部署最为广泛的。在本拓扑中，接入汇聚层的超额率保持不变，以防止上行链路或汇聚交换机出现故障。但是，STP 协议并没有允许所有上行链路投入使用。

相比较而言，环状矩形拓扑增加了接入层交换机的密度，因为每个接入层交换机只需要一条连接接入汇聚层（此情况在 STP 可以通过强制阻断接入交换机之间的连接来实现）。

此设计方案一个潜在缺陷是，当一个汇聚服务器或上行链路发生故障后，到汇聚层的通信超额率会翻倍。

在一个无环 U 形拓扑中，由于没有环状结构，所以没有链路被阻断，但是仍然推荐使用 STP 协议伪装连接错误。在环装矩形拓扑中，此设计方案允许每个汇聚对接入更多接入层交换机并最优化的利用上行链路。但是，无环 U 形拓扑每个 2 层范围只使用一对接入交换机（不然则会形成环路）。另外，任意一台交换机发生故障都会使整个汇聚层间 2 层通信停止（包括首跳冗余性协议 （First Hop Redundancy Protocols，FHRP） 的 hello 包）。

除了分享无环 U 形拓扑的所有优势，无环反向 U 形拓扑在一个 2 层范围内允许加入超过两台接入交换机。但是此拓扑的上行链路和汇聚层故障很复杂，因为服务器流量会产生“黑洞”。

在决定使用哪种拓扑时，需要设计师仔细权衡数据中心网络中最重要的因素。我觉得这不是个轻松的工作。

注意：
我会在下面几个章节讨论生成树协议以及它的延伸，在第 3 章“网络虚拟化谦逊的起点”和第 6 章“生成树欺骗”中，您将了解到一些网络虚拟化技术是专门设计用来从多设计方案中得到优点、规避缺点的。

2.2.3　物理层网络布局问题

选择一个正确的逻辑拓扑并不是数据中心网络设计的结束。网络设备和服务器的物理构造确实影响这些结构的效果。图 2-7 作为例证展示了两种流行的数据中心针对机架可安装服务器的物理接入设计方案。

顶架式（Top-of-Rack，ToR）和列端式（End-of-Row，EoR）的设计代表了接入服务器和交换机是如何互连的。它们对整个中心的线缆系统有直接影响。

顶架式（ToR）的设计是基于内机架式服务器和小交换机之间的布线，可以将服务器安装在一个机架中。而这些设计方案减少了布线，优化了网络设备的使用空间，从而让网络团队可以去管理更多数量的设备（每个机架两台设备，如图 2-7 所示）。

另一方面，列端式（EoR）设计是基于服务器直接的机架间布线和高密度成列安装的交换机作为服务器机架。相比较而言，列端式减少了网络设备数量并优化了设备端口的效用，但是其在活动地板下或者电缆槽内有大量的水平线缆。

如果您问“哪个更好呢？”，那么正确的回答是模糊的“看情况”。实际上，***的设计方案选择是根据每个机架的服务器数量、连接速率、预算和运行复杂度而定。

注意：
我会更详细地讨论顶架式和列端式设计方案（和它们的变体）。第 7 章“带阵列扩展器的虚拟化机箱”会展现一种能让用户享受到两种技术方案优点的虚拟化技术。

2.2.4　ANSI/TIA-942标准

此标准是 2005 年由电信行业协会的 TR-42 工程委员会发表，EIA/TIA-942 电信数据中心基础设施标准为数据中心的设计和安装提供了非常有用的指导方针。

协议以灵活性、可拓展性、可靠性和数据中心项目的空间管理为目标，规定了一个数据中心的分等级的可靠性分类，并阐述了重要的环境问题。

特别的，ANSI/TIA-942-2005 也提供了线缆布置和空间布局的***实例。有关这些主题，标准定义以下空间和结构化布缆元素。

• 机房：一个主要功能是容纳数据处理设备的建筑空间。
• 接入室：提供数据中心结构化布缆和外部建筑线缆（服务提供商或者客户所有）之间的接口，应该位于机房外面以防止物理层受到安全破坏。
• 主要分布区（Main Distribution Area，MDA）：在机房内部，是结构化布缆的核心点。由于可以***连接到数据中心其他位置，网络设备通常位于此区域。
• 水平分布区（Horizontal Distribution Area，HDA）：活跃设备延伸线缆的分布点，同样在机房内部。小型的数据中心的主要分布区可能可以支撑网络，可能不需要水平分布区。
• 设备分布区（Equipment Distribution Area，EDA）：一个用来放置活跃设备的空间，设备包括计算机系统和通信设备。在设备分布区，来自水平分布区的水平线缆末端接上插线面板，服务器机架被间隔排布出冷通道和热通道，以方便温度管理。
• 区域分布区（Zone Distribution Area，ZDA）：一个位于水平分布区和设备分布区直接的可选互连地点，方便重配置，使系统具有灵活性。
• 交叉连接：是一种设备，使线缆终端能够和布线系统、子系统、跳线和硬盘端口连接跳线建立连接。
• 骨干线缆：在数据中心结构化布缆系统中提供主要分布区、水平分布区和接入室之间的连接。骨干线缆要求能在一个或者几个计划阶段内满足数据中心的服务需求，在不安装额外线缆的情况下，适应服务需求的增长和改变。

ANSI/TIA-942-2005 标准推荐在骨干线缆上使用分层星形拓扑，在不同区域使用交叉连接（允许非星形配置，但水平分布区之间不能有连接）。标准同时提倡将主要分布区放置在数据中心的地理几何中心来最小化布线距离。

水平布缆也同样推荐使用星形拓扑，但是不强制使用交叉连接。对于水平线缆和骨干线缆，标准建议的最大距离是双绞电缆 90m，光纤 300m。

图 2-8 展示了如何标准地规划一个数据中心网络。

图 2-8 同样描绘出了用传统的三层结构放置交换机的方式，可以设想核心和列端式汇聚交换机都可以放置在主要分布区，以接入数据中心的其他区域。列端式接入交换机通常放置在水平分布区而水平线缆则对应部署在设备分布区。列端式设备分布区的以太网水平电缆可以是双绞电缆或者光纤（当然，根据服务器接入速率，功率资源和预算而定）。

顶架式的汇聚层交换机可以放置于平行分布区域，因为接入交换机会占用设备分布区域的机架。在这些设计方案中，骨干和水平线缆（在设备分布区和水平分布区之间）为了作出有远见的线缆投资，都预先采用了光纤。而机架内部的线缆由于混杂的特性能够更快地适应服务器环境。

这些 ANSI/TIA-942-2005 中的数据中心通信基础设施标准的内容，是在经过电信行业协会（www. tiaonline.org）书面允许之后重现的。所有的标准都有可能被修订，鼓励大家检查任何标准变化，并应用可能发布的最新标准版本。