面对企业内部传统数据的快速增长和不断增加的市场压力,越来越多的企业开始关心如何通过大数据来发现新的商机,提升企业的市场竞争力。然而,不少企业在通往大数据这个新世界时,却忽略了企业中早就建好了各种数据仓库,没有把企业已有的数据仓库和大数据探索平台整合起来,不仅新增了一个新的信息孤岛,同时也让数据价值大打折扣。
“在大数据时代,企业要想用数据制胜,就必须尽早建立数据资产管理策略。只有拥有战略性视野和专业技术,才能更好地获得商业洞察力,才能将数据资产转换成战略资产和竞争力。”Teradata天睿公司大中华区首席执行官辛儿伦在日前举行的“2013 Teradata大数据峰会”上表示。这是该公司本年度最大的活动之一,两天的活动吸引了1700多名数据分析界的专业人士、用户代表参加。
辛儿伦表示,对于很多已经拥有数据资产的公司,比如拥有了自己的数据仓库和数据分析平台,在利用大数据时必须整体考虑,应建立一个统一的数据处理和分析架构。帮助用户实现这一架构也正是本次大数据峰会的作用之一。
实际上,大数据的分析处理平台与传统数据分析处理平台各有优缺点。目前非常流行的大数据处理平台Hadoop具有非常好的可扩展性和高性能,采用了通用的存储和计算设备,具有Hadoop本身的开源特性,让企业可以快速、经济地完成PB甚至TB级的数据处理工作,如果有足够的专业编程人才的话,还可以完成各种数据的分析和处理。
然而,Hadoop的批处理特性并不适合一些实时性要求非常高的场合,其在复杂查询方面的支持能力也不够。另外,对技术人员要求高,一般的业务分析师还无法掌握使用。比较而言,目前已经在大型组织中广泛应用的数据仓库平台在实时性、复杂查询能力等方面优势更加突出。
为此,Teradata天睿公司首席技术官宝立明(Stephen Brobst)建议,将低价值密度数据、非关系型数据以及数据的预处理可以采用Hadoop来处理,而需要进行迭代探索、实时处理、仪表盘、需要可视化工具和多维度视图的场合最好是依托传统的关系型数据处理平台(如数据仓库)来负责。
“不过,两种平台必须建立在一个统一的架构之上,是互通的。最终的目标是,IT部门能提供统一的平台来存储、提炼以及分析所有的数据源,而业务部门根据自己的需要来探索数据。”宝立明说这与之前迥然不同,过去是业务部门先提出问题,IT部门组织所需的数据来回答问题。
在峰会上,Teradata天睿公司演示了其新一代数据分析解决方案——Teradata统一数据构架(UDA)。该架构整合了Teradata数据仓库、Aster大数据探索以及Hadoop数据存储,使用SQL-MapReduce以及SQL-H等连接器,在分析中无需分析人员掌握复杂耗时的编程语言。
值得一提的是,Teradata统一数据构架中的Aster大数据探索能力。这一能力得益于其2011年收购的Aster Data公司。据Teradata天睿公司大中华区Aster事业部总监孔宇华介绍,成立于2005年的Aster Data是专门提供大数据分析和处理技术的公司,包括网民点击流量分析、社交网络关系分析、推荐和个性化设置等。特别是其SQL-MapReduce专利技术支持通过标准的SQL语言来访问Hadoop中的数据,从而能很好地实现传统数据处理平台与大数据处理平台的结合。目前,包括LinkedIn、MySpace等领先的数据驱动公司都在使用其产品和技术。
本报记者 邹大斌
……
关注读览天下微信,
100万篇深度好文,
等你来看……