高速灵活——Arista DCS-7508万兆交换机评测

　　作为核心数据交换平台，数据中心的核心交换机性能决定了整个数据中心的运行情况。因此数据中心对于核心交换机的要求也是十分严苛的，比如高吞吐能力、高端口密度、高度冗余能力、高可用性等。

　　AristaDCS-7508（以下简称DCS-7508）作为一款数据中心核心交换机，在11U的机架单元内集成了384个10G以太网接口，可提供10Tbps的总网络容量。而在实际测试中，DCS-7508的性能表现也创造了一项项纪录：2/3层吞吐转发每秒达5.76bpps；组播流量所有端口均超过4000Group；另外DCS-7508线速转发时，每端口缓冲区可达83MB。

　　硬件设计方面除了高密度外，DCS-7508的散热也值得一提。借助于机箱内每个交换板和晶格内的风扇，DCS-7508的散热效果出众，完全可以满足7×24小时运行的需求。另外，优化的电源管理使得两个电源模块即可满足全部384个接口的供电需要。

　　软件设计方面，DCS-7508内置AristaEOS模块化操作系统，其底层类似于思科的IOS命令行界面。EOS构建于标准的Linux内核之上，所有的进程均在各自受保护的内存空间中运行，通过基于内存的数据库交换状态。此外，EOS的多任务状态共享架构为服务软件升级和弹性自愈提供了基础。测试中曾有意停掉EOS的部分模块，发现对其他模块基本上不会有任何影响。

　　最长无故障运行时间

　　虽然对于核心交换机而言，高性能是必不可少的因素，然而高可用性同样重要。DCS-7508硬件支持热插拔冗余电源、风扇、Fabric模块、引擎和线卡。其中Fabric模块为N+1冗余，并支持平滑降级。AristaEOS软件支持冗余引擎的状态故障转移及自愈，并能通过在线服务软件升级实时升级补丁。

　　为了测量Fabric模块发生故障时任务转移所需要的时间，测试中在384个端口同时进行64字节帧长单播转发时，手动移除一个Fabric模块，通过计算丢帧率，初步估算系统恢复时间为31.84微秒。虽然这并不是瞬时的，但是仍然相当快，对于许多企业应用，特别是运行在TCP上的应用而言，它们的性能并不会因此降低。

　　另外，作为一款数据中心核心交换机，功耗也是其中一个重要因素。测试中采用了两种模式，一种是满载，另一种是50%负载的情况。其中满载时，思博伦实验室测试仪器向384个端口线速转发流量；而50%负载时，仅仅启用一半的线卡（不过仍然向所有的线卡转发流量）。

　　测试结果发现，满载时，DCS-7508功率为4358w，平均每端口约为11.3w，比官方公布的10w要略高一些。在仅启用一半端口时，系统功率为1598w，每端口约为8.3w。其中，满载时的功率是一种最坏的情况，并不具备很强的代表性，50%负载的情况则更符合大多数企业的实际情况。

　　线速测试

　　在单播吞吐量测试中，DCS-7508持续进行线速转发，思博伦测试中心以网状模型对384个万兆网络接口进行流量生成/分析，结果发现DCS-7508所进行的单播测试均无丢帧现象，而且，无论是2层还是3层，速率均可达到3.832Tbps。

　　除了单播测试，还对DCS-7508进行了非阻塞多播测试，测试中使其持续转发70字节或者更长字节的帧。除了当帧长为最短的64字节时，系统吞吐量相当于92.588%的线速外，其余情况下，无论二层还是三层，系统均可实现线速无损失的转发。

　　延迟方面，通过测试单播多播的延迟分析发现，延迟一般情况下都比较低而且比较稳定，二层和三层延迟也几乎相同。单播测试中，帧长达到1518字节时，平均延迟不到9微秒，而在传输9216字节的巨型帧时，延迟较长，平均约为13微秒，而且，短帧和中长帧的最大延迟要远高于长帧。以上这种情况常见于以太网交换机，随着帧长的不断增加，平均延迟也会不断增加。

　　而在多播测试中，平均延迟和最大延迟明显低于单播测试，而且与帧长关系不大。这对于越来越多大量使用多播技术（例如金融服务行业中的股票报价和交易）的数据中心是非常重要的。具体来讲，对于帧长为1518字节或者更短的，平均延迟一般少于5微秒，而对于9216字节的巨型帧，延迟大概6微秒，并且在2/3层的测试中，没有明显不同。另外与单播测试不同，多播测试最大延迟相较于平均延迟几乎没有差别。

　　缓冲能力测试

　　当前很多厂商都在谈微爆发，但是目前还没有一个行业标准来衡量微爆发的处理能力。测试中采用了两种方法，一种是向DCS-7508强制转发两倍的流量，这是一个简单的缓冲实验与微爆发持续时间长短无关。第二种是，同一时间从不同的源头向同一端口线速转发大小不等的数据包，通过测试不同的突发传输周期，计算系统可以无损缓冲的最大微爆发时长。

　　第一种测试方法类似于我们现实中的交通环境，结果比较吃惊。面对两倍的超额流量，DCS-7508最初丢失了60%的流量，而不是预想的50%或者更少，这意味着DCS-7508几乎起不到任何缓冲的作用。结果发现这是由于DCS-7508的虚拟输出队列（VOQ）模式设置问题及测试的非随机性所造成的。经过重新设置VOQ，丢包率降低到了50%，甚至更少。

　　另外通过测试发现，无论采用哪种测试方法，缓冲能力与发送器和接受器的数量均有关系。当执行256个发射器和128个接收器的微爆发试验时，DCS-7508在零丢包的前提下，每端口缓冲可达83.49MB，远超过Arista宣传的50MB/port，这相当于大约56300个1518字节的帧。然而，如果执行相同的测试用383个发射器同时发送给一个接收器，最大无损缓冲量就要低得多，约6.85MB（约4600个1518字节的帧）。

　　上述结果的不同是由于DCS-7508的VOQ及内部架构引起的。当帧进入交换机时，DCS-7508首先会分配缓冲区，当且仅当存在足够资源进行流量转发时才进行转发，发送资源相较接收资源的比例越高，需要的与可用资源之间的比例就会越不平衡，从而导致DCS-7508的缓冲能力大大下降。

　　编译 于泽