大数据新玩法

　　2015IBM举行能力拓展营、PDA、开源研讨会

　　今天我们正深处一个大数据的时代，大数据正作为新兴的自然资源出现，它推进着各行各业的转型。同时，它也日益成为获得竞争优势的关键。从繁杂的大数据中获取洞察将是企业必须具备的能力。前瞻的商业领袖已经意识到大数据中蕴含的商业价值，很大一部分企业已经为增强大数据能力开始投入。如何分析海量数据，从中获得有用洞察，如何使用分析结果来服务我们、创造价值，都是值得我们关注的问题。为此，IBM PureData System for Analytics（PDA）数据仓库一体机与SPSS数据分析工具，将大数据管理、挖掘与分析变得更简单，为商业智能做好充分准备。

　　Datastage与Hadoop平台的完美结合

　　2015年11月18日，IBM在北京举行了主题为“数据管理与洞察”的CDO能力拓展、PDA、开源——大数据新玩法研讨会。会上，IBM针对当下大数据时代而开展的IBM PDA数据仓库一体机，如何利用大数据准确把握海量信息的定位，抓取有用价值。针对大数据环境下非结构化数据管理的挑战，为核心行业提供了完整的解决方案。并分享了IBM PDA在大型银行的案例分享，并且在现场可亲自体验进行上机实践。

　　IBM在大数据整合和治理领域处于领导地位，从2011年到2015年，IBM大数据整合能力在逐渐增强。IBM负责人表示：“对大数据而言，治理和整合是关键。”

　　赶集网技术总监王海龙说：“任何企业都会面临大数据整合以及分析的问题，因此在未来，CDO能够为企业带来巨大的价值，这个价值主要体现在数据整合、辅助决策、数据效率以及数据收入提升上。同时，CDO需要具备的技术和能力挑战主要来自于大数据储存能力、大数据并行处理能力以及大数据挖掘分析能力的挑战。”

　　如何高效地从复杂的数据中获取有价值的洞察，是企业制定正确决策的关键。IBM认为，IBM对于在大数据整合中最佳实践从四个角度展开。第一点不单纯是EPR；第二点是针对大数据的特点是数据量比较大，因此数据的整合提高要无限的拓展能力；第三点是高校中的开发；第四点是后期运维的投入。IBM在企业内容管理领域处于行业领先地位，在信息采集、数据分析、价值挖掘等各个环节都有完善对技术支持，可以为企业提供完备的企业内容管理解决方案，已经在金融、通讯、医疗等领域发挥了重要作用。

　　宜信研发总监郑赟说：“真正需要CDO的公司应该是一个数据驱动的企业，在这个数据驱动的前提下，CDO能有效的释放数据的价值，促进企业业务成长。对于一家互联网金融企业，CDO的作用主要体现在：通过数据分析为客户提供更好的互联网金融服务；帮助公司实现数据化运营，发现业务增长、成本控制等关键性因素。另外，CDO需要既懂数据科学，又能深刻理解业务。”

　　新发布的大数据智能应用中心，通过从信息采集、大数据分析到案例处理的过程，为企业提供全面的内容管理解决方案。该解决方案支持各种数据来源的信息采集，并可以对数据来源实行定制化的智能分析，获得有价值的洞察。灵活性和便捷性是大数据智慧中心解决方案的重要特征之一，从检测、分析到处理的全过程都可以通过友好的用户界面进行实时的观察。

　　足迹副总裁CTO孙东风表示：“CDO的价值主要体现在如何将数据作为资产进行管理，并将其转换成有形的商业价值，因为作为资产而言，数据是唯一不会降解，不会消耗的。与此同时，CDO应该具备MySQL/Redis/MongoDB/Hadoop等技术能力。

　　据介绍，IBM对Hadoop的研究开始于2～3年前。截止到目前，研究成果涉及作业调度、查询语言等多个方面。作为典型应用成果，IBM InfoSphere大数据分析平台包括BigInsights和Streams，二者互补，Biglnsights对大规模的静态数据进行分析，它提供多节点的分布式计算，可以随时增加节点，提升数据处理能力。Streams采用内存计算方式分析实时数据。InfoSphere大数据分析平台还集成了数据仓库、数据库、数据集成、业务流程管理等组件。

　　拥抱开源，加速大数据创新

　　随着信息技术应用范围的不断扩展，对数据进行挖掘分析的需求日益增加，但是信息量的不断增大及其应用构建的复杂性却日益成为了传统数据分析的一个瓶颈。IBM构建的数据分析平台针对上述问题，基于Hadoop技术，对数据查询语言，数据分析软件，数据库，作业调度模块进行了有效整合，实现了对数据的有效、高效处理，保证了高度的扩展性和兼容性。数据分析背景及其传统数据分析平台的问题起源BigInsights平台的查询语言和对传统数据库的支持BigSheets——BigInsights平台提供的强大数据分析功能总结IBM也在2011年中旬对外发布了针对大数据处理和分析技术：在SmartCloud平台上新增基于Apache Hadoop的服务InfoSphere BigInsights分析软件。关于大数据今天的数据正呈爆炸式增长，从气候信息到Analytics能帮助开发人员更快速安全地创新，帮助业务处理能力，帮助企业更快地获得深入的洞察，IBM提供了四个有利因素来帮助客户采用大数据。一是创新的开源；二是统一标准的技术；三是熟悉的接口以及和现有工具集成；四是新的分析能力的引入。

　　IBM负责人在会上表示：“如今大家都在谈开源、开放。开放的意义很丰富，其实开放不是简单的一个词，没有一种开放是拿一堆开源的产品对其进行大量的改造，变成我自己私有的平台，这就意味着即使现在Hadoop 2.0很难迁移到3.0平台上，因为底层不是开放模式，这样的话说是开源，其实并不开源。还有一种开放就是说，我们会搞一套我们自己的东西开放出来，没人跟我们一起玩，就自己玩，没有生态圈也不行。而IBM的这款集成的开源Hadoop，首先IBM承诺没有对标准的文件格式做任何的修改，这是很重要的。”

　　关于统一标准的技术。IBM负责人表示：“统一标准的技术是很重要的。我们有很多资产，写好的代码，采购的第三方工具，这些都在新的环境下大数据时代时代下使用，但目前来看在大数据环境下，没有标准的接口那如何采用第三方的那一套呢？因此，标准的技术是很重要的，如果没有标准的技术，我们之前的产品采购的资产基本上是没法用的，在这一方面，IBM提供一些标准的接口。”

　　在当今信息爆炸的时代，企业需要对越来越多的数据进行访问和处理。除了传统的在线交易处理系统和管理信息系统外，半结构化和无结构化的数据呈现出了更快速的增长趋势，如何更加有效地低成本处理这些大量的数据，从而和商业智能相结合以挖掘出对企业有益的信息，并帮助用户作出更准确的决策，是一个急需解决的问题。

　　本报记者 李晓利