浅析数据中心网络布线架构
- 来源:中国计算机报
- 关键字:浅析,数据,网络,架构
- 发布时间:2011-04-27 14:17
数据中心布线架构基于网络架构，但又有其独立性。布线架构既要支撑网络架构，同时也要实现便利的管理功能和可灵活调整、易于扩展的能力。毕竟，在配线架上进行维护操作，都远优于直接到设备端口上进行操作。目前，常见的数据中心网络布线架构，主要有三种：区域分布式（zone-distribution）、直连式（direct-connect）和置顶式ToR（top-of-rack）。采用何种架构主要取决于服务器的种类和大小，以及对业务和操作等方面的考虑。面对不同需求，每种架构均有优劣。
区域分布式架构
区域分布式是一种典型的布线架构，这种布线架构是结构化布线，作为TIA-942数据中心标准中所推荐的架构，它的特点是模块化和灵活。在电缆的数量成本、管理性、有源设备利用率方面，它是性价比最佳的选择，适合中大型数据中心，能够适应不同的网络架构。
区域分布式架构主要分为三种：端列头交换（End-of-Row/EoR Switching）——列头柜在每列机柜的两端的方式；中间列头交换（Middle-of-Row/MoR Switching）——列头柜在每列机柜的中间位置；独立网络机柜或机架（Standalone network cabinets or racks/Network POD）——在区域中设置独立的区域放置布线和网络设备。
EoR（End-of-Row）是最常用的方法。在列头柜中用一个核心汇聚交换机去支持一个或更多的机架。因为网口集中，这种方法通常性价比较高。同时，这种方法也是最不需要考虑服务器特性的方法，它能提供最大的灵活性同时支持不同的服务器。在某些情况下，EoR还具有提高性能的优势，比如需要交换大量信息的两台服务器可以放在同一张交换机板卡上，相对于板卡到板卡或者是交换机到交换机的交换方式，这种方法会更快。EoR的主要缺点则是需要大量的跳线连到交换机，布线的成本相对较高，大量的数据线也会降低冷却系统的通风量。
MoR（Middle-of-Row）跟EoR类似，区别只是摆放头柜的位置。EoR是把设备头柜放到两边，而MoR则是把设备头柜放在中间。一般来说，MoR对布线的跳线和管理较EoR更好，因为跳线是分向两侧管理的。
简单理解Network POD就是区域布线，类似于TIA-942的ZDA区域布线区的概念。对于大型的机房或者区域机房，选择其中的一列或者独立的几个机柜或机架作为区域的配线管理区。POD布线方式也是目前比较流行的方式之一。一般情况下，8~10台机柜的两边就要增加空间，所以单列放置列头柜不一定是最佳的选择，在几列或者功能区中集中选择一些机柜或机架作为配线区，可以增加管理维护的便利性。
直连式架构
直连式（direct-connect）架构即将所有的服务器直接连接到主配线区MDA或头柜HAD，中间不经过配线架转接。
对于小型和中型规模的数据中心，管理的设备量和线缆量数量有限，直连式不失为一个好的选择。另外，对于SAN网络的布线，一般存储设备线缆连接后很少变化，也可以考虑采用直连方式。
置顶式
置顶式ToR（top-of-rack）是常用的架构。这 种架构将1RU高的接入层交换机放在机架顶部，而机架上的所有服务器直接连接到交换机。需要密集部署服务器时，通常会采用ToR架构。例如集群环境、负载均衡应用、Web搜索引擎或虚拟化应用等，因为这种情况下每个服务器都需要多个网络连接。
ToR的优点是可以在单个机柜中实现共享不同服务器的处理器，用体积较少的光缆连到汇聚层，铜缆主要集中在机架里。缺点是可能因为没有足够的服务器端口连接到交换机的端口，造成设备的浪费。同时，由于上联光纤较少，一旦将来改变结构或是提升网络设备速度时，就会产生问题。另外，在三级或四级数据中心内，交换机是需要左右备份的，增加冗余接入层交换机可能造成成本的成倍增加，同时互联布线也会使每一个机架都需要单独管理，不仅跳线添加，移动、变更管理都会更为复杂。在管理方面，这种方式不如EoR简单、方便。
特殊架构
虚拟化、云计算催生了新一代的数据中心架构。
综合交换也叫刀片式交换，是一种利用刀片服务器的整合能力（如Ethernet网络，存储光纤信道FC，高性能计算InfiniBand）实现部署的布线架构。这种架构的好处是铜缆的数目会减少。目前，由于可以支持集成式刀片服务器的交换机不多，所以设计的灵活性以及可选择范围并不大。如果同时实现服务器虚拟化，将会加大网络的复杂性，会增加设计及运维成本。
FCoE技术可将FC SAN存储运行于以太网协议之上，并将二者融合。随着FCoE技术的发展，思科公司针对数据中心推出了UFA一体化交换架构。通过思科Nexus结合CNA（Converged Network adapters）卡，可将LAN和SAN融合在一起。CNA卡取代了传统的网卡NIC，以及存储HBA卡以及高性能接口卡HCAs，减少了主机I/O接口卡的种类和数量。这种架构在网络布线架构上实际属于ToR方式。和传统ToR不同的是，它的接入层（ToR交换机）将基于服务器的CNA卡，可同时支持LAN和SAN两种数据流。上层不同应用的流量，可通过虚拟接口从核心交换机传输到各自的运行系统中。
融合的好处是显而易见的，网络虚拟化将大大提高网络的利用效率，降低主机I/O接口的复杂性，提高自动化的程度。但同时，融合的缺点也很明显，从故障排除、安全性、设备升级、运维等角度看，LAN和SAN在同一套交换机上是有风险的，尽管这种风险可以通过冗余进行保障，但是也会大大增加成本。
结论
对于数据中心网络布线，传统常用的布线架构和为新应用所提出的布线架构都是存在争议的。
从用户的角度来讲，如果用户本身很了解数据中心的需求，最适宜其需求的网络布线架构就是最好的；如果用户对其数据中心的需求难以把握，则采用标准推荐的通用架构更具灵活性、扩展性和前瞻性，更容易满足未来扩展的需求，且不易造成投资浪费。
……
区域分布式架构
区域分布式是一种典型的布线架构，这种布线架构是结构化布线，作为TIA-942数据中心标准中所推荐的架构，它的特点是模块化和灵活。在电缆的数量成本、管理性、有源设备利用率方面，它是性价比最佳的选择，适合中大型数据中心，能够适应不同的网络架构。
区域分布式架构主要分为三种：端列头交换（End-of-Row/EoR Switching）——列头柜在每列机柜的两端的方式；中间列头交换（Middle-of-Row/MoR Switching）——列头柜在每列机柜的中间位置；独立网络机柜或机架（Standalone network cabinets or racks/Network POD）——在区域中设置独立的区域放置布线和网络设备。
EoR（End-of-Row）是最常用的方法。在列头柜中用一个核心汇聚交换机去支持一个或更多的机架。因为网口集中，这种方法通常性价比较高。同时，这种方法也是最不需要考虑服务器特性的方法，它能提供最大的灵活性同时支持不同的服务器。在某些情况下，EoR还具有提高性能的优势，比如需要交换大量信息的两台服务器可以放在同一张交换机板卡上，相对于板卡到板卡或者是交换机到交换机的交换方式，这种方法会更快。EoR的主要缺点则是需要大量的跳线连到交换机，布线的成本相对较高，大量的数据线也会降低冷却系统的通风量。
MoR（Middle-of-Row）跟EoR类似，区别只是摆放头柜的位置。EoR是把设备头柜放到两边，而MoR则是把设备头柜放在中间。一般来说，MoR对布线的跳线和管理较EoR更好，因为跳线是分向两侧管理的。
简单理解Network POD就是区域布线，类似于TIA-942的ZDA区域布线区的概念。对于大型的机房或者区域机房，选择其中的一列或者独立的几个机柜或机架作为区域的配线管理区。POD布线方式也是目前比较流行的方式之一。一般情况下，8~10台机柜的两边就要增加空间，所以单列放置列头柜不一定是最佳的选择，在几列或者功能区中集中选择一些机柜或机架作为配线区，可以增加管理维护的便利性。
直连式架构
直连式（direct-connect）架构即将所有的服务器直接连接到主配线区MDA或头柜HAD，中间不经过配线架转接。
对于小型和中型规模的数据中心，管理的设备量和线缆量数量有限，直连式不失为一个好的选择。另外，对于SAN网络的布线，一般存储设备线缆连接后很少变化，也可以考虑采用直连方式。
置顶式
置顶式ToR（top-of-rack）是常用的架构。这 种架构将1RU高的接入层交换机放在机架顶部，而机架上的所有服务器直接连接到交换机。需要密集部署服务器时，通常会采用ToR架构。例如集群环境、负载均衡应用、Web搜索引擎或虚拟化应用等，因为这种情况下每个服务器都需要多个网络连接。
ToR的优点是可以在单个机柜中实现共享不同服务器的处理器，用体积较少的光缆连到汇聚层，铜缆主要集中在机架里。缺点是可能因为没有足够的服务器端口连接到交换机的端口，造成设备的浪费。同时，由于上联光纤较少，一旦将来改变结构或是提升网络设备速度时，就会产生问题。另外，在三级或四级数据中心内，交换机是需要左右备份的，增加冗余接入层交换机可能造成成本的成倍增加，同时互联布线也会使每一个机架都需要单独管理，不仅跳线添加，移动、变更管理都会更为复杂。在管理方面，这种方式不如EoR简单、方便。
特殊架构
虚拟化、云计算催生了新一代的数据中心架构。
综合交换也叫刀片式交换，是一种利用刀片服务器的整合能力（如Ethernet网络，存储光纤信道FC，高性能计算InfiniBand）实现部署的布线架构。这种架构的好处是铜缆的数目会减少。目前，由于可以支持集成式刀片服务器的交换机不多，所以设计的灵活性以及可选择范围并不大。如果同时实现服务器虚拟化，将会加大网络的复杂性，会增加设计及运维成本。
FCoE技术可将FC SAN存储运行于以太网协议之上，并将二者融合。随着FCoE技术的发展，思科公司针对数据中心推出了UFA一体化交换架构。通过思科Nexus结合CNA（Converged Network adapters）卡，可将LAN和SAN融合在一起。CNA卡取代了传统的网卡NIC，以及存储HBA卡以及高性能接口卡HCAs，减少了主机I/O接口卡的种类和数量。这种架构在网络布线架构上实际属于ToR方式。和传统ToR不同的是，它的接入层（ToR交换机）将基于服务器的CNA卡，可同时支持LAN和SAN两种数据流。上层不同应用的流量，可通过虚拟接口从核心交换机传输到各自的运行系统中。
融合的好处是显而易见的，网络虚拟化将大大提高网络的利用效率，降低主机I/O接口的复杂性，提高自动化的程度。但同时，融合的缺点也很明显，从故障排除、安全性、设备升级、运维等角度看，LAN和SAN在同一套交换机上是有风险的，尽管这种风险可以通过冗余进行保障，但是也会大大增加成本。
结论
对于数据中心网络布线，传统常用的布线架构和为新应用所提出的布线架构都是存在争议的。
从用户的角度来讲，如果用户本身很了解数据中心的需求，最适宜其需求的网络布线架构就是最好的；如果用户对其数据中心的需求难以把握，则采用标准推荐的通用架构更具灵活性、扩展性和前瞻性，更容易满足未来扩展的需求，且不易造成投资浪费。
关注读览天下微信，
100万篇深度好文，
等你来看……
