大数据：《少数派报告》

　　当顾客刚刚跨进百货商场，门口的电脑会自动打招呼，然后根据顾客过去的购物经历推送商品；如果有犯罪企图的人进来，商场安装的能侦察人脑电波的“聪明”的机器人――“先知”可以自动报警……这是在汤姆·克鲁斯主演的科幻片《少数派报告》中的一幕。

　　虽然这是一部科幻片，但其中描述的场景正在一步步变成现实，而背后的技术源动力就是大数据。实际上，不少行业已经从大数据中受益。比如，不少电商网站开始采用基于Hadoop的商品推荐系统或者商品推荐服务。它根据访客的历史交易数据、访客在该网站的浏览数据、在其他合作伙伴网站的浏览信息，以及用户的评论行为来综合评估推荐访客可能感兴趣的产品。这样的场景还有很多，正是有了大数据的分析，我们可以更全面、更准确地了解这个世界，做出更为精准的决策。为此，不少业内人士预言，大数据将引发了全球范围内深刻的社会与商业变革。

　　IT厂商早就注意到了大数据市场的兴起，IBM、Oracle、微软等IT巨头都是大数据市场的积极推动者，它们不仅都推出了自己的Hadoop版本，同时，还推出了各种接口和工具来打通自己的传统数据库、数据仓库与Hadoop之间的联系。而BI厂商更是不敢轻视，如数据仓库的技术供应商Teradata甚至专门收购一家从事大数据业务的公司。在大数据市场，存储厂商也是一只非常活跃的生力军，如EMC、HDS等都有大数据解决方案推出，其中EMC走得更远，已经超过数据的存储而把业务延伸到数据的分析领域。值得一提的是，一些厂商还推出了大数据的一体机，把它作为抢占市场制高点的有力武器。刚刚过去的2012年，我们看到IBM、Oracle都有大数据一体机推出。

　　展望2013年，随着大数据的应用不断涌现，大数据热仍将持续，更多的企业将会关注甚至使用各种大数据解决方案，市场上也会出现更多的相关产品和方案。不过，从技术发展阶段而言，大数据仍将处于在市场培育期，无论是从解决方案本身还是方法论的角度来说，用好海量的数据仍将继续探索和总结。

　　这其中最大的挑战包括Hadoop生态系统有待逐步完善以及大数据人才的缺乏等。众多周知，Hadoop并不是一个商业化的产品，而是一个开源软件。它的产品规划以及软件更新都有很大随意性，产品本身也有待于完善。虽然已经有公司（如Cloudera）能提供Hadoop的技术支持，但用户主要的技术支持仍然来自社区。2013年里，技术支持的问题如果不解决，用户要用好Hadoop仍然会顾虑重重。

　　与技术支持有关的一个问题是大数据相关的人才。在国外已经有企业开始尝试设立类似“数据科学家”的职位（有的称其为“数据分析师”或者“数据工程师”），与一般商业智能分析师不同，这些专家不仅能找到和提供数据，他们还要使用它进行大量预测。其理想的候选人是对分析和市场营销都非常熟悉，此外，最好还能懂数据挖掘、统计甚至人工智能。

　　当然，无论如何，技术总是不断进步，我们对技术的掌握也是在不断进步，既然大量的数据已经从互联网、移动设备等各个源头中产生，我们终究会有能力从这座数据金矿中找到有价值的信息。这就是技术的魅力。

　　本报记者 邹大斌