数据可视：让科幻走向现实

来源:中国信息化周报
关键字:大数据可视分析技术,少数派报告,犯罪
发布时间:2016-08-04 10:36

　　“一场凶残暴力的犯罪即将爆发，具备未来感知能力的警察及时出现，在实施犯罪之前，罪犯就已经被逮捕。”这是科幻电影《少数派报告》中的情节。

　　“事实上，利用大数据可视分析技术，人们已能预测未来，比如未来的发展趋势等。”在长沙举办的第三届中国可视化与可视分析大会(China Vis 2016)上相关专家如是表示。

　　据了解，美国许多城市在使用软件处理过往犯罪数据，预测哪些区域犯罪率会更高，并提前派出更多警车到这一区域巡逻，导致区域的犯罪率大幅下降。

　　在国际上，大数据可视分析早已成为一大热点。可视分析挑战赛——VAST Challenge也已举办了近10年之久。这一领域已经涌现了一批新兴企业，其中包括利用大数据分析找到本拉登、估值200亿美元的神秘独角兽公司Palantir。

　　在第三届中国可视化与可视分析大会(China Vis 2016)数据可视分析挑战赛中，参赛选手通过对格式化的企业邮件进行可视分析，直观地展示出企业的发展历程，以及各阶段业务特点，甚至直接明确公司重要人物，展示了数据可视分析的价值。

　　数据可视分析赋予“看见”的能力

　　可视分析一词，由美国国家可视与分析中心的Jim Thomas创造，现在已经成为整合数据分析、可视和交互的事实标准流程，旨在更好地理解复杂系统。

　　实际上，大数据可视分析主要是在利用计算机自动化分析能力的同时，充分挖掘人对可视信息的认知能力优势，将人、机的各自强项进行有机融合，辅助人们更为直观和高效地洞悉大数据背后的信息、知识与智慧。

　　这是因为，统计无法独立传递足够的信息用于决策，而算法不能独立编码人类丰富的认知，可视则不能有效管理数据的细节或区分不同信息的重要性。因此，人脑+电脑的大数据可视分析成为了解决问题的出路。

　　据报道，早在10多年前，利用人脑+电脑来分析复杂问题的可能性就初见端倪。斯坦福大学的几个教授以公开的海量信息为输入，利用计算机建立关于人物关系的网络，最后锁定了一堆疑似人物，并迅速将结果发布出去。结果CIA等部门大为震惊，因为教授们的结果与CIA花人力大量侦查和审讯的结果很近似。

　　尽管CIA、FBI等情报机构掌握着成千上万个数据库，包括财务数据、DNA样本、语音资料、录像片段以及世界各地的地图，但要在这些数据之间建立联系，却相当耗费时间。如何从浩如星海的数据中快速找出有价值的线索，提前掌握恐怖份子可能发动袭击的消息，对情报部门的技术水平有非常高的要求。

　　这正是Palantir等公司要解决的问题：收集并整合这些数据，从而帮助当局及时阻止潜在的恐怖袭击。

　　2004年，被誉为硅谷投资教父的PayPal前首席执行官Peter Thiel和斯坦福大学的同学共同创立了Palantir。名字的灵感来自《指环王》，在剧中，这是一个可以穿越时空、看到一切的水晶球，它可以帮助剧中人物和其它水晶球建立联系，从而可以看到附近的图像。

　　最神秘的数据可视分析公司

　　Palantir公司曾被称为是美国最神秘的新创公司，因为它的客户中包括了美国的军方和很多的情报机构。有消息称，Palantir在美国击毙本拉登的行动中发挥了情报分析的作用。

　　Palantir的基本要点就是收集大量数据，帮助非科技用户发现关键联系，并最终找到复杂问题的答案。Palantir联合创始人兼首席执行官卡普曾说道：“Palantir实质上是将结合数据、技术、分析师的专业能力，人和计算机完美地融合在一起，并将各自的优势发挥到了极致。”

　　现如今Palanti公司总共拥有两大产品线——Palantir Gotham和Palantir Metropolis，分别应用于国防安全与金融领域。

　　它的成功案例包括：赶在阿富汗的简易爆炸装置引爆前成功预言了它们的位置；帮助多伦多大学Munk全球事务学院的科研人员发现网络间谍组织——“影子网络（Shadow Network）”，该组织当时正在从印度国防部窃取机密资料。帮助J.P.Morgan对付欺诈犯；以及帮助整合美国情报界零散的数据库，让分析师有一体化的情报网可以使用。还有传言称，它协助捕获了奥萨马·本·拉登，并帮助多家银行追回了纳斯达克前主席Bernie Madoff所隐藏起来的数十亿美元巨款。

　　现在，Palantir凭借其200亿美元的估值跻身美国第三大创业公司，估值仅次于估值400亿美元的Uber和估值240亿美元的Airbnb。

　　数据可视分析让安全可视化告别地图炮

　　说到安全数据可视化，很多人就会想到一张地图上，激光炮、气功弹打来打去。

　　“这种地图炮只能算是安全数据可视化的初级阶段，真正的安全数据可视化在于帮助用户发现未知威胁，进行事件溯源，甚至直接定位犯罪人员，或预测未来的安全态势。”作为China Vis数据可视分析挑战赛评委的360天眼实验室张卓表示。

　　作为国内最早涉足可视分析的安全公司，2015年，360与北京大学首次联合参加VAST Challenge即获得了亚军。360天眼实验室作为China Vis数据可视分析挑战赛的支持机构，已经连续为挑战赛提供了基础数据和设定题目。

　　事实上，作为国内最早将数据可视化应用于安全分析的机构，360已有多款得到用户认可的产品发布。

　　在2016“4·29首都网络安全日”活动中，360首次对外展示了基于数据可视分析的伪基站追踪系统。据产品负责人徐凤超介绍，360伪基站追踪系统依托海量的数据、高效的数据分析处理和数据可视化，可以为追查伪基站提供精确信息与准确判断。

　　北京网安的统计数字显示，自2015年12月使用360伪基站追踪系统以来，北京警方已利用该系统破获多起在京活动的重大伪基站犯罪团伙案，抓获犯罪嫌疑人160余名，缴获设备100多套，有力地遏制了利用伪基站发送诈骗短信的犯罪行为。

　　在帮助企业应对高级持续威胁的过程中，360天眼也展示出了数据可视分析的强大能力。

　　根据《2015中国APT研究报告》，截至2015年11月底，360威胁情报中心利用天眼大数据分析系统，监测到的针对中国的境内外黑客组织累计29个，14个为360首先发现，其中包括2015年5月末发布的海莲花（Ocean Lotus）APT组织。