大数据商业智能的十大戒律

来源:中国信息化周报
关键字:大数据
发布时间:2017-02-08 11:17

　　如今，各路企业和组织都不再使用上一代架构来存储大数据。既然如此，为什么在此基础上还要使用上一代商业智能（BI）工具来进行大数据分析呢？BI系统对于企业发现市场新机会、创造竞争新优势的作用显而易见，但企业在真正实施BI过程中，并不是一帆风顺。为企业选择BI工具时，“十诫”原则或许会带来不少启示。

　　第一诫：不要试图转移大数据

　　首先，转移大数据代价高昂，毕竟大数据很“大”，如果打包转移负担太重；也不能将数据提取出来，做成数据集市和数据立方，因为“提取”就意味着转移，会在维护、网络性能附加处理器方面造成纷乱庞杂的问题，出现两个逻辑上相同的备份，所以让BI深入更底层运行数据就是大数据萌发的最初动力。

　　第二诫：不要违反企业安全政策

　　众所周知，安全并非可有可无，不幸的是数据泄露事件频繁发生，这表明实现安全并非易事。要选择能够利用现有安全模型的BI工具，依靠Ranger、Sentry、Knox等综合性安全系统，大数据可以使实现数据安全变得更加容易。如今就连Mongo数据库都有了令人惊叹的安全架构，所有那些模型都允许插入权限，将用户信息一路传播到应用层，实施可视化的授权和提供与该授权相关的数据志。

　　第三诫：不要按照用户数以及数据量付费

　　大数据的一个主要好处在于如果做得成功，它就能实现极高的性价比。把5PB数据存储到Oracle可能会倾家荡产，但存储到大数据系统则不会。尽管如此，在付钱购买之前，还是应该警惕某些价格陷阱。

　　有些BI应用会按照数据量或者索引数据量向用户收费。数据量和大数据使用量出现指数式增长是再平常不过的事情，客户曾目睹其访问量在短短几个月时间里从数百亿次猛增到数千亿次，用户数扩大50倍，这是大数据系统的另一个好处：渐进式可扩展性，所以为防止被低价迷惑，去购买一种会对企业增长征收“高税”的BI工具很重要。

　　第四诫：要大胆借鉴别人的可视图

　　无论是PDF文档、PNG图片还是电子邮件的附件，到处都在传播静态图表。但对于大数据和BI，静态图表还远远不够，拥有的一切无非都是些漂亮的图片而已，重要的是应该让任何人都能够随心所欲地与你的数据进行交互，把可视化看作是驾驭数据的交互式路线图。

　　为什么要闭门造车？将交互式可视化手段公之于众只是第一步。看看Github的模式就知道，与其说“这是我的最终发布产品”，不如说“这是一幅可视图，复制下来，分解它，就是从中得到哪些见解，看看它还能用于其他哪些领域”。这会是其他人从另一方的见解中学到的有用的东西。

　　第五诫：要分析天然形态的数据

　　大数据是“非结构化”的，这样的说法我们已经听过太多，其实不然，财务和传感器会产生大量的键值对。JSON（可能是当下最流行的数据格式）可以是半结构化、多结构化等，Mongo数据库对这种数据格式下了重注。JSON具有好处理和可规模化的优点，但如果把它转换成表格，表达力就会丢失。很多大数据仍然被制成表格，通常拥有数千栏。不得不为所有的值寻找关系：“在那种情况下……从这里选择这个”。扁平化会毁掉原始结构中所表达的重要关系，所以应该远离那些对你说“请把数据转换成表格，因为我们一直都这么干”的BI解决方案。

　　第六诫：不要无限期地等待结果

　　2017年，预计数据处理速度将会变得更快。一个典型方法是联机分析处理（OLAP）立方，本质上就是把数据转移到预计算缓存，从而加快处理速度。问题在于必须提取以及转移数据，以便建造数据立方，然后才能加快其速度。

　　现在这种方法能够在一定的数据规模下良好运转，但如果临时表格过于庞大，笔记本电脑在试图将表格本地化的时候就会崩溃；当提取新数据重建缓存时，新数据的分析就会中途停下来。此外还要注意样本问题，可能会得到一个看起来不错、效果很好的可视图，但最后却发现全不对路，而问题就出在缺少大局观，所以选择那些能便捷地不断调整数据的BI工具很关键。

　　第七诫：不要制作报告，而是要打造应用

　　在很长一段时间里，“获得数据”意味着获得报告。在大数据时代，BI用户希望从多个来源获得异步数据，这样就不需要刷新任何东西，用户希望和可视元素进行交互，得到他们正在寻找的答案，而不是对已经提供给他们的结果进行交叉过滤。Rails等框架使打造Web应用变得更加简单。为什么不对BI应用做同样的事情呢？没理由不对这些应用、应用程序接口（API）、模板、可重用性等等采取类似的做法，现在是时候通过现代Web应用开发透镜来看待BI。

　　第八诫：要利用智能工具

　　在提供基于数据的可视图方面，BI工具已经证明了自己的能力。现在则轮到在模型和缓存的自动维护上下功夫，这样一来终端用户就省心不少。在庞大的数据规模下，自动维护几乎是不可或缺的，可以从用户和数据与可视图的交互中获得大量信息，现代工具应该使用这些信息来对数据网络效应加以利用。

　　另外，要选择那些内置全面搜索能力的工具，因为之前曾见过有些客户拥有成千上万的可视图，所以需要一种迅速查找的方法，改变在网络的长年熏陶下已经习惯了搜索，而不是翻找菜单的习惯。

　　第九诫：要超越基本范畴

　　如今的大数据系统因为预测分析能力而著称，相关性、预测和其他功能使企业用户比以往任何时候都能更便捷地进行高级分析。不需要编程经验就能处理大数据的可视化技术让分析师如有神助，超越了基本分析的范畴。为了实现其真正的潜力，大数据不应该依赖于每个人都变成R预言程序员，人类非常善于处理可视化信息，必须更加努力地将可视化信息呈现在人们眼前。

　　第十诫：不要只是站在数据边，等着数据科学家来干活儿

　　不管是把大数据当成数据湖还是企业数据中心，Hadoop已经改变了数据的处理速度和存储成本。人们每天都在创造更多的数据，但在真正利用大数据为企业用户服务方面常常存在一种“只写系统”——创造数据的人很多，但利用数据的人却很少。其实，用Hadoop中的数据可以为企业用户解答数不清的问题，BI讲究的是打造数据可视化应用，为日常决策提供支持。企业中的每个人都希望做出数据驱动的决策，把大数据能够解答的所有问题局限于需要数据科学家来处理的问题，这是奇耻大辱。