英特尔5520网络通信性能测试分析
- 来源:计算机世界
- 关键字:英特尔5520,网络通信,性能测试
- 发布时间:2011-09-15 16:57
在完成了基于戴尔PowerEdge R710服务器的安装调试工作后，实验室环境中的测试终于拉开了序幕。为了充分验证Panabit应用层流量分析与优化系统在高负载下的性能表现，上海交通大学网络信息中心的老师们设计了为数不多但极其复杂的测试用例。例如他们使用IXIA的专业测试仪表，分别在两个10G接口后端模拟了100个MAC地址和10万个IP地址，随机发送双向流量去测试设备的吞吐量。这是非常苛刻的测试手段，至少我们在平时的测试工作中不曾使用，因为根据以往经验，许多安全产品在这样的环境下都会死机或者重启。但老师们这样测试却无可厚非，上海交通大学校园网内有数万节点，网络边缘也没有执行任何NAT策略，Panabit上线后将面对的就是测试中模拟出的情况。真实的就是最好的，也只有这样的测试，才能更精准地体现出被测设备在特定应用场景下的性能。
性能初测通过
在吞吐量测试中，老师们只选择了64Byte和512Byte两种比较具有代表性的帧长。前者是对设备极限性能的考验，现网中绝少出现（个别DDoS攻击会在短时间内产生大量小包，对工作在4层以上的设备造成很大压力）；后者则比较接近现网中的平均包长（600-700byte），测试结果具有比较强的参考价值。考虑到个别设备会在超过极限处理能力后性能大幅下降，丢包率远远超过理论值（通常丢包数量应等于测试流量减去极限处理能力），有着资深运维经验的老师们还特别考察了Panabit在过载时的性能表现。
从结果中可以看出，面对一系列苛刻的测试条件，由顶级英特尔5520平台所承载的Panabit应用层流量分析与优化系统还是表现出了不错的性能。在使用64Byte帧进行测试时，系统整体吞吐量达到20%，整体包转发速率为5.96Mpps；当使用512Byte帧时，系统整体吞吐量达到64%，整体包转发速率为3Mpps。测试结束后在Panabit提供的统计信息中可以看到，所有流量也被顺利识别为未知协议。而在使用略高于两个极限值的测试流量进行过载测试时，测试仪统计得到的丢包率也在预定范围内，系统整体运行稳定。
瓶颈究竟出现在哪个环节？是转发层面还是业务层面？老师们利用之前的环境，使用另一组测试用例进行了验证。这次测试仪发出的流量将不包含UDP头部，仅为带有IP头的3层报文。根据Panabit应用层流量分析与优化系统公布的运行逻辑，这样的流量从负责数据转发（I/O）的内核提交到做状态检测与应用协议识别控制的内核后，将只进行连接层面的处理，业务逻辑基本等同于工作在桥模式下的状态检测防火墙。在抛开繁重的应用协议识别的包袱后，系统的整体处理能力是否会有一个飞跃呢？测试得到的结果令人感到意外，当使用64Byte帧进行测试时，整机吞吐量仅比之前高出4个百分点；而当使用512Byte帧测试时，吞吐量没有发生任何变化。虽然目前无法判断状态检测引擎是不是瓶颈所在，但基本可以判定应用协议的识别控制并不是系统整体的瓶颈，x86处理器在计算能力方面的优势还是值得肯定的。而这一阶段的测试数据也让老师们相信，Panabit应用层流量分析与优化系统对于上海交通大学校园网目前的运行情况来说，也是能堪大任的。
5520平台深度分析
在征得老师们的许可后，我们在同样环境下使用久经考验的评估利器NCPBench 0.8进行了测试，得到了可以用做纵向对比的数据。在这个环节中，服务器上的两个万兆接口和每两个相邻的千兆接口被配置为网桥，在纯转发与简单业务两种模式下使用64Byte帧进行测试（NCPBench的功能介绍和使用方法见本报今年第16/17期51版）。
我们又得到了两组几乎一致的数据，无论是纯转发模式还是简单业务模式下，被测平台的吞吐量均为39.163%，包转发速率则接近14Mpps。还有一处值得注意：两种模式下，4个千兆接口间均能达到线速转发，两个万兆接口间则只能达到单向4Mpps、双向共8Mpps的转发速率。我们非常关注前者会对后者造成多大的影响，所以在最后单独对两个万兆接口进行了纯转发测试。此次得到的数据是单向5.12Mpps、双向共10.24Mpps，较之前有所上升，但与整机处理能力仍有不小的差距。需要说明的是，NCPBench允许测试者自行设定要使用处理器内核的数量，上述数据是在使用两个核情况下的测试结果。我们也尝试使用更多的内核数进行了测试，得到的数据基本相同，个别情况下还会略低。
这是个很有意思的现象，对瓶颈定位有着很大帮助。与Panabit“特定内核处理特定业务”的逻辑不同，NCPBench的业务模型采用SMP模式构建，每个内核都进行数据包转发与业务处理操作。理论上如果每个核都达到满负荷工作状态，纯转发模式时的性能会高于简单业务模式。所以我们从测试结果中只能得到这样的结论，即无论在哪种工作模式下，处理器内核的利用率都没有达到极限，即便只使用两个内核时也是如此。
在长期的测试工作中，处理器资源耗尽通常是系统整体瓶颈的惟一原因，而这种“喂不饱”处理器的情况，还是第一次出现。我们也曾怀疑性能瓶颈可能来自于NCPBench自带的网卡驱动，但在稍后进行的对英特尔Sandy Bridge平台的测试中，同样的驱动在一块同样基于英特尔82599EB网络控制器的网卡上带来了28Mpps的纯转发能力。所以，我们只能做出最遗憾的推测，即戴尔PowerEdge R710服务器的某个部分也许存在I/O方面的设计瓶颈。之所以不怀疑5520平台，是因为我们在另一个测试中，在一台采用E5550/4GB/82599EB配置的网络通信硬件平台上得到了两口间16Mpps、4口间超过22Mpps的测试数据。这也与我们经验中侧重于计算的服务器平台，在I/O方面逊于专注于通信业务的网络通信硬件平台的认识相吻合。
其实，即便是同样类型、同样配置的设备，在承载网络通信、安全这种时延敏感型业务时的表现也可能存在很大差异。在之前我们进行的基于Atom D525平台的评测过程中，就出现过来自不同厂商的配置完全一样的产品性能差异达40%的情况。我们无法对此做出更准确的解释，只能提醒广大用户和各厂商负责供应链的人员，在选型时一定要做更加细致的测试工作。
识别准确 稳定可靠
经过一系列测试，由英特尔5520平台承载的Panabit应用层流量分析与优化系统表现出了不错的性能水准，受到上海交通大学网络信息中心老师们的普遍认可。实际上，老师们对该系统在应用协议识别率及稳定性方面的测试早在去年底就已开始，他们使用另一台基于英特尔至强E5620处理器的服务器搭载Panabit，以旁路模式对两个万兆接口镜像而来的所有IPv4出口链路的上、下行流量进行了长期的监控分析。从老师们提供的统计资料中可以看出，未知协议所占流量在累计数据中所占的比重为2.8%，在10分钟统计数据中的所占比例也仅为3%，识别率堪称优秀。而在稳定性方面，资料显示该系统已连续运行超过168天，老师们也坦言没有出现过任何异常，只是在系统更新等人为操作时才会重启。
出于更加稳妥的考虑，老师们还是决定进行更长时间的旁路测试后，再讨论将其部署到网络边界。不过我们认为，在如此复杂的应用场景下长期稳定运行的事实，至少可以适当修正那些“x86架构产品稳定性不如专用系统”的论调。如果决定接入，硬件设备还要在可靠性方面满足更多的要求。例如现在工作在旁路模式下，可以不考虑接口的硬件Bypass，但当接入现网环境时，硬件Bypass特性就成为一条底线。服务器搭配多网卡的方式显然不能满足这一需求，我们建议老师们辅以专用的硬件Bypass设备，或直接选购支持该特性的x86网络通信硬件平台。
站在科研的角度，网络信息中心的老师们还提出了一些颇具价值的建议。例如针对前景被广为看好的OpenFlow，老师们建议Panabit增加在协议识别后输出Syslog信息的能力。这样一来，该系统就可以直接部署在一些基于OpenFlow搭建的网络环境中，为控制器提供基于应用层协议的策略配置能力。网络设备在并发连接方面的限制如今也需要突破，像本次测试版本中限定的600万并发连接数，仅用两台高性能服务器做端口扫描（模拟DDoS攻击）就可以打满，此时协议的正常识别就会受到影响。毫无疑问，这些来自科研领域兼一线用户的真知灼见，对产品的完善提高有着宝贵的指导意义。
测试后记
本次测试时间久、项目多，我们认为其中最有价值的内容当属老师们使用的测试方法。被测设备两端模拟大量MAC及IP地址后随机发送流量，可以快速制造出大量的新建连接和并发连接，对一切基于状态检测机制的设备造成较大的压力。即便是传统防火墙，也可能在连接的建立和拆除过程中遭遇性能瓶颈，其直接表现就是系统假死机（CPU占用率100%导致失去响应）或真死机/重启（如果系统架构有缺陷的话）。当连接信息足够多时，CPU在处理中也不得不频繁更新Cache中的数据，会对性能造成非常大的影响，许多高端x86架构产品选择Cache较大的至强处理器就是为了规避这一瓶颈。此外，如果使用比较少的流进行测试，业务处理时通常会走快速路径，而随机多流测试可以更好地模拟现网模型，充分评估设备处理慢速路径时的性能。根据我们以往的测试经验，不少安全设备在这种测试环境下性能会有数量级上的下降。
另一方面，我们在之前的下一代防火墙专题中曾经讨论过，使用UDP数据包进行吞吐量测试，不太适合于IPS、WAF等设备的评估，却很容易对流控、上网行为管理等一切基于应用层协议识别技术的设备造成极大的压力。因为目前来看，对UDP包的检测通常是应用协议识别引擎中的最长路径，而测试时构造出的UDP包又必然会被判断为未知协议类型，后继流量没有快速路径可走，设备应对其进行逐包分析。这一环节对硬件处理能力的需求，理论上远远超过状态检测，所以用户即便没有很强悍的测试仪表，也可以通过高性能PC/服务器加发包软件的方式自行测试。惟一需要注意的，是一定要在测试前验证协议识别的效果，保证协议识别引擎处于正常工作的状态。
计算机世界实验室 韩勖
……
性能初测通过
在吞吐量测试中，老师们只选择了64Byte和512Byte两种比较具有代表性的帧长。前者是对设备极限性能的考验，现网中绝少出现（个别DDoS攻击会在短时间内产生大量小包，对工作在4层以上的设备造成很大压力）；后者则比较接近现网中的平均包长（600-700byte），测试结果具有比较强的参考价值。考虑到个别设备会在超过极限处理能力后性能大幅下降，丢包率远远超过理论值（通常丢包数量应等于测试流量减去极限处理能力），有着资深运维经验的老师们还特别考察了Panabit在过载时的性能表现。
从结果中可以看出，面对一系列苛刻的测试条件，由顶级英特尔5520平台所承载的Panabit应用层流量分析与优化系统还是表现出了不错的性能。在使用64Byte帧进行测试时，系统整体吞吐量达到20%，整体包转发速率为5.96Mpps；当使用512Byte帧时，系统整体吞吐量达到64%，整体包转发速率为3Mpps。测试结束后在Panabit提供的统计信息中可以看到，所有流量也被顺利识别为未知协议。而在使用略高于两个极限值的测试流量进行过载测试时，测试仪统计得到的丢包率也在预定范围内，系统整体运行稳定。
瓶颈究竟出现在哪个环节？是转发层面还是业务层面？老师们利用之前的环境，使用另一组测试用例进行了验证。这次测试仪发出的流量将不包含UDP头部，仅为带有IP头的3层报文。根据Panabit应用层流量分析与优化系统公布的运行逻辑，这样的流量从负责数据转发（I/O）的内核提交到做状态检测与应用协议识别控制的内核后，将只进行连接层面的处理，业务逻辑基本等同于工作在桥模式下的状态检测防火墙。在抛开繁重的应用协议识别的包袱后，系统的整体处理能力是否会有一个飞跃呢？测试得到的结果令人感到意外，当使用64Byte帧进行测试时，整机吞吐量仅比之前高出4个百分点；而当使用512Byte帧测试时，吞吐量没有发生任何变化。虽然目前无法判断状态检测引擎是不是瓶颈所在，但基本可以判定应用协议的识别控制并不是系统整体的瓶颈，x86处理器在计算能力方面的优势还是值得肯定的。而这一阶段的测试数据也让老师们相信，Panabit应用层流量分析与优化系统对于上海交通大学校园网目前的运行情况来说，也是能堪大任的。
5520平台深度分析
在征得老师们的许可后，我们在同样环境下使用久经考验的评估利器NCPBench 0.8进行了测试，得到了可以用做纵向对比的数据。在这个环节中，服务器上的两个万兆接口和每两个相邻的千兆接口被配置为网桥，在纯转发与简单业务两种模式下使用64Byte帧进行测试（NCPBench的功能介绍和使用方法见本报今年第16/17期51版）。
我们又得到了两组几乎一致的数据，无论是纯转发模式还是简单业务模式下，被测平台的吞吐量均为39.163%，包转发速率则接近14Mpps。还有一处值得注意：两种模式下，4个千兆接口间均能达到线速转发，两个万兆接口间则只能达到单向4Mpps、双向共8Mpps的转发速率。我们非常关注前者会对后者造成多大的影响，所以在最后单独对两个万兆接口进行了纯转发测试。此次得到的数据是单向5.12Mpps、双向共10.24Mpps，较之前有所上升，但与整机处理能力仍有不小的差距。需要说明的是，NCPBench允许测试者自行设定要使用处理器内核的数量，上述数据是在使用两个核情况下的测试结果。我们也尝试使用更多的内核数进行了测试，得到的数据基本相同，个别情况下还会略低。
这是个很有意思的现象，对瓶颈定位有着很大帮助。与Panabit“特定内核处理特定业务”的逻辑不同，NCPBench的业务模型采用SMP模式构建，每个内核都进行数据包转发与业务处理操作。理论上如果每个核都达到满负荷工作状态，纯转发模式时的性能会高于简单业务模式。所以我们从测试结果中只能得到这样的结论，即无论在哪种工作模式下，处理器内核的利用率都没有达到极限，即便只使用两个内核时也是如此。
在长期的测试工作中，处理器资源耗尽通常是系统整体瓶颈的惟一原因，而这种“喂不饱”处理器的情况，还是第一次出现。我们也曾怀疑性能瓶颈可能来自于NCPBench自带的网卡驱动，但在稍后进行的对英特尔Sandy Bridge平台的测试中，同样的驱动在一块同样基于英特尔82599EB网络控制器的网卡上带来了28Mpps的纯转发能力。所以，我们只能做出最遗憾的推测，即戴尔PowerEdge R710服务器的某个部分也许存在I/O方面的设计瓶颈。之所以不怀疑5520平台，是因为我们在另一个测试中，在一台采用E5550/4GB/82599EB配置的网络通信硬件平台上得到了两口间16Mpps、4口间超过22Mpps的测试数据。这也与我们经验中侧重于计算的服务器平台，在I/O方面逊于专注于通信业务的网络通信硬件平台的认识相吻合。
其实，即便是同样类型、同样配置的设备，在承载网络通信、安全这种时延敏感型业务时的表现也可能存在很大差异。在之前我们进行的基于Atom D525平台的评测过程中，就出现过来自不同厂商的配置完全一样的产品性能差异达40%的情况。我们无法对此做出更准确的解释，只能提醒广大用户和各厂商负责供应链的人员，在选型时一定要做更加细致的测试工作。
识别准确 稳定可靠
经过一系列测试，由英特尔5520平台承载的Panabit应用层流量分析与优化系统表现出了不错的性能水准，受到上海交通大学网络信息中心老师们的普遍认可。实际上，老师们对该系统在应用协议识别率及稳定性方面的测试早在去年底就已开始，他们使用另一台基于英特尔至强E5620处理器的服务器搭载Panabit，以旁路模式对两个万兆接口镜像而来的所有IPv4出口链路的上、下行流量进行了长期的监控分析。从老师们提供的统计资料中可以看出，未知协议所占流量在累计数据中所占的比重为2.8%，在10分钟统计数据中的所占比例也仅为3%，识别率堪称优秀。而在稳定性方面，资料显示该系统已连续运行超过168天，老师们也坦言没有出现过任何异常，只是在系统更新等人为操作时才会重启。
出于更加稳妥的考虑，老师们还是决定进行更长时间的旁路测试后，再讨论将其部署到网络边界。不过我们认为，在如此复杂的应用场景下长期稳定运行的事实，至少可以适当修正那些“x86架构产品稳定性不如专用系统”的论调。如果决定接入，硬件设备还要在可靠性方面满足更多的要求。例如现在工作在旁路模式下，可以不考虑接口的硬件Bypass，但当接入现网环境时，硬件Bypass特性就成为一条底线。服务器搭配多网卡的方式显然不能满足这一需求，我们建议老师们辅以专用的硬件Bypass设备，或直接选购支持该特性的x86网络通信硬件平台。
站在科研的角度，网络信息中心的老师们还提出了一些颇具价值的建议。例如针对前景被广为看好的OpenFlow，老师们建议Panabit增加在协议识别后输出Syslog信息的能力。这样一来，该系统就可以直接部署在一些基于OpenFlow搭建的网络环境中，为控制器提供基于应用层协议的策略配置能力。网络设备在并发连接方面的限制如今也需要突破，像本次测试版本中限定的600万并发连接数，仅用两台高性能服务器做端口扫描（模拟DDoS攻击）就可以打满，此时协议的正常识别就会受到影响。毫无疑问，这些来自科研领域兼一线用户的真知灼见，对产品的完善提高有着宝贵的指导意义。
测试后记
本次测试时间久、项目多，我们认为其中最有价值的内容当属老师们使用的测试方法。被测设备两端模拟大量MAC及IP地址后随机发送流量，可以快速制造出大量的新建连接和并发连接，对一切基于状态检测机制的设备造成较大的压力。即便是传统防火墙，也可能在连接的建立和拆除过程中遭遇性能瓶颈，其直接表现就是系统假死机（CPU占用率100%导致失去响应）或真死机/重启（如果系统架构有缺陷的话）。当连接信息足够多时，CPU在处理中也不得不频繁更新Cache中的数据，会对性能造成非常大的影响，许多高端x86架构产品选择Cache较大的至强处理器就是为了规避这一瓶颈。此外，如果使用比较少的流进行测试，业务处理时通常会走快速路径，而随机多流测试可以更好地模拟现网模型，充分评估设备处理慢速路径时的性能。根据我们以往的测试经验，不少安全设备在这种测试环境下性能会有数量级上的下降。
另一方面，我们在之前的下一代防火墙专题中曾经讨论过，使用UDP数据包进行吞吐量测试，不太适合于IPS、WAF等设备的评估，却很容易对流控、上网行为管理等一切基于应用层协议识别技术的设备造成极大的压力。因为目前来看，对UDP包的检测通常是应用协议识别引擎中的最长路径，而测试时构造出的UDP包又必然会被判断为未知协议类型，后继流量没有快速路径可走，设备应对其进行逐包分析。这一环节对硬件处理能力的需求，理论上远远超过状态检测，所以用户即便没有很强悍的测试仪表，也可以通过高性能PC/服务器加发包软件的方式自行测试。惟一需要注意的，是一定要在测试前验证协议识别的效果，保证协议识别引擎处于正常工作的状态。
计算机世界实验室 韩勖
关注读览天下微信，
100万篇深度好文，
等你来看……