实时大数据成现实

　　自2012年英特尔发布Hadoop发行版（IDH）后，基于Hadoop架构的大数据应用已陆续在行业开花。从电信到交通，从医疗到金融，通过计算平台的架构革新与软件助力，英特尔已让大数据实时采集、实时分析变为现实。大数据的真正实力开始显现，它正在渐渐改变这些行业的面貌。

　　从“拖死系统”到“零”影响

　　大数据分析的需求在智能交通领域由来已久，但实现大数据的实时采集和实时分析却并不像想象得那么简单。对智能交通应用而言，长久以来，大数据分析只能作为延迟的“智慧”。

　　杭州诚道科技有限公司销售总监陈海涛告诉记者，为了从几百TB的数据中找到交通行业用户需要的信息，借助数据分析的结果帮助用户开发实时应用，他们花了很多年时间进行研究，但始终未果。开始采用大量的PC集群，但因计算能力“跟不上”，很多有价值的信息无法通过关系型数据库细化、挖掘出来。后来又尝试了“小机+存储”模式，结果做一个分析应用有时能‘拖死’整个系统。直到他们找到了Hadoop和英特尔，通过制定专门的行业解决方案，才逐渐完成了计算架构的改革升级，渐渐解决了大数据从实时采集到实时分析的一系列问题。

　　陈海涛所在的公司是做“智能交通”系统集成的，以前一到“五一”、“十一”，他们就会进入加班“黄金周”。因为，只有在这段业务相对空闲的时间里，他们才敢从系统中实时调取数据做一些分析，而不会让系统因此受影响。而现在，从768TB的数据中寻找那些昼伏夜出的可疑车辆、发现套牌车，几秒钟即可完成实时分析，且完全不会影响正常业务系统的运行。按照陈海涛的话，在采用大数据分布式计算架构后，原来的应用都变成了实时应用，针对经过的每一辆车都可以做实时分析，“效果非常好”。

　　“软硬兼修”释放大数据潜能

　　在交通行业，与杭州诚道科技有限公司有类似经历的ISV有很多，今天他们中的不少企业已经成为英特尔的合作伙伴。吸引这些企业自动加入英特尔生态圈的原因，不仅英特尔的核心处理器平台可以为大数据实时分析提供强有力的计算能力，而是英特尔针对大数据核心应用需求而进行的创新以及“软硬兼修”的投入。

　　为实现大数据的实时采集、实时分析，英特尔近两年来在硬件策略上的改变非常明显：面向大数据的采集和边缘处理，英特尔有凌动处理器及至强E3处理器平台；面向实时的大数据分析需求，英特尔有高效可扩展，能承载大数据分布式存储、管理、处理、查询等重任的至强E5处理器平台；面向大数据分析和商业智能，英特尔有高性能，支持高带宽、高容量内存计算，且具备可媲美小型机可靠性、可用性和可维护性的至强E7处理器平台；除此之外，英特尔围绕这些核心处理器平台所构建的服务器设备，还提供了万兆以太网和固态硬盘等创新技术，可让大数据应用突破数据传输和存储方面的性能瓶颈。这种“端到端”的改变，让底层硬件平台不再成为束缚大数据应用落地的因素。

　　为了进一步优化计算平台以适应大数据应用的需要，英特尔在软件方面也花了更大的功夫。大数据分析对存储的扩容性要求很高，传统存储架构最大的缺陷是扩容难、成本高。Hadoop虽然提供了易扩容且廉价的架构，但在实际应用中其与底层硬件的配合还存在很多问题。英特尔推出IDH就是为了释放Hadoop的实际效能，而最新的Hadoop架构已经能够扩展到万台服务器了。

　　到目前为止，英特尔的大数据处理平台（IDP）也远远超越了英特尔Hadoop发行版的范畴。为了让用户更好地使用Hadoop并发挥硬件平台的效能，IDP又在英特尔Hadoop发行版的基础上添加了很多周边工具，还包括对内存计算、流计算的支持，以及对全球用户提供技术服务和咨询等。在国内，英特尔还为合作伙伴提供大数据方面的技术培训，特别是针对Hadoop应用开发、Hadoop平台管理等。

　　大数据涉及各种复杂系统，从数据采集到数据分析，实现数据在不同操作系统、不同IT设备上的存储和传输非常困难，这也是大数据难以实时采集、分析的原因。在技术上，以一个共同的平台为基础，实现跨平台的大数据应用，打破不同系统、不同平台、不同行业之间的壁垒，借助IDP，英特尔可以解决大数据的最大困扰。在过去一年中，英特尔能够驱动大量合作伙伴，在基于英特尔的端到端产品技术组合上开发大数据应用和解决方案的原因恰恰在此。

　　本报记者 卜娜