大数据分析：信息安全下一站

　　2012年3月，Gartner在一份报告中明确指出——信息安全正在成为一个大数据分析问题。

　　诚然，安全威胁千变万化，特别是近年来APT攻击等新型安全威胁的出现，让企业、非盈利组织乃至政府机构等攻击目标防不胜防。攻击方总是想尽办法突破原有的攻击思路，创新攻击技术和手段，从而达到攻陷对手的目的。而防守方面对变化莫测、创新不断的攻击，很难找到统一的、行之有效的方案，来主动应对威胁。更多的时候，他们只能头痛医头脚痛医脚，被动挨打。

　　真的没有这样的方案吗？

　　答案并非如此。

　　曙光已至

　　正如Gartner指出的那样，大数据分析或许就是这样一个方案。大数据分析的巨大价值，不仅可以用于为消费者画像，帮助企业进行精准营销。它同样可以用于为攻击者画像，从而主动预测、识别、防范攻击，抢先进行处置。

　　与沙箱等被动的防护方式不同，如果通过大数据分析真的能把隐匿在数据海洋中的攻击者或者潜在攻击者“揪”出来，那么攻击方在暗处，防守方在明处，攻击方主动，防守方被动，攻击方出招，防守方只能接招的不利局面将被彻底扭转。

　　面对一丝曙色，我们有理由相信，大数据分析不仅为信息安全防护提供一个新的思路，它还有可能改变整个信息安全产业。

　　启明星辰泰合产品本部产品总监叶蓬认为，大数据分析技术能够给网络与信息安全带来全新的技术提升，突破传统技术的瓶颈，可以更好地解决已有的安全问题，也可以帮助我们应对新的安全问题。

　　简言之，安全数据的大数据化、传统安全分析面临的诸多挑战，以及正在兴起的智能安全和情境感知理念都将大数据分析视作关键的解决方案。于是，业界出现了将大数据分析技术应用于信息安全的技术——大数据安全分析(Big Data Security Analytics，简称BDSA)，也有人称做针对安全的大数据分析(Big Data Analytics for Security)。

　　借助大数据安全分析技术，人们能够更好地解决天量安全要素信息的采集、存储的问题，借助基于大数据分析技术的机器学习和数据挖据算法，能够更加智能地洞悉信息与网络安全的态势，更加主动、弹性地应对新型复杂的威胁和未知多变的风险。“现在的数据规模越来越大，能够通过大数据分析来实现网络威胁检测和威胁防护的效果也越来越明显。例如，一个攻击者和一个网络的正常使用者，其网络使用频率、服务访问时间和次数都是完全不同的，通过大数据分析技术，对网络的正常使用者的网络行为建模，如果某个人的网络行为不符合正常的行为模型，那么就可以很容易判断出这个人是攻击者。”山石网科产品市场总监贾彬告诉记者，这样的行为分析方式相比较传统的安全防护技术的最大优势在于，传统方式是基于特征的，也就是必须是已知攻击的特点和行为，才能够检测出攻击，但是对于没有特征的攻击无能为力。而行为分析方式，对于未知威胁，那些没有被识别出特征的威胁，可以通过模型分析方式检测出来，很好地弥补特征检测的缺陷。

　　攻击者的攻击行为隐藏在海量的安全事件中，通过包捕获，也能拿到天量的包含攻击流量的数据。所有这些天量数据汇聚起来就是安全大数据。通过对这些安全大数据进行实时分析和历史分析，建立行为轮廓，并进行行为建模和数据挖掘，就能帮助安全分析师识别出攻击者及其攻击行为和过程，并提取攻击特征，反馈给安全防御设施进行阻断。

　　“其实，这类分析方法很早就提出来了，只是受限于当时的技术实现手段，难以落地。大数据技术的成熟，以及大数据生态系统的日益壮大，使得这些分析方法有了落地的可性能。”叶蓬告诉记者。

　　防御思想变革

　　毫无疑问，信息安全始终是一场攻与防的博弈，此消彼长。当攻击方不断创新和突破的时候，那防守方呢？

　　“APT攻击的典型特点是持续时间长，攻击者对于威胁防护设备进行持续的试探和尝试，不断研究和测试攻击目标系统中的弱点，一旦发现防护短板，再利用各种技术进行攻击。就像一个伺机而动的小偷，不断研究保险柜如何破解，再坚固的保险柜在其不断尝试过程中，也会有弱点被小偷发现。传统的安全防护体系与保险柜有很多相似之处，都是被动的等待攻击者。”贾彬表示，新的攻击方式必须有新的防护方式进行防护。未来的安全防护设备不仅要具备防护能力，更要具备自我分析、动态控制、安全加固的能力。

　　“现在业界讨论更多的不是有没有遭到攻击，而是何时会遭受攻击，甚至是当我们已经遭受攻击时，如何迅速、准确地找到网络中已经存在的攻击！”叶蓬认为，面对越来越高级和新型的安全威胁，当前整个网络安全防御体系已经失效，因而安全防御的思想方法论也需要进行重大的变革。

　　“当然，这并不是说传统的防御思想一无是处，而是需要进行反思和提升。”叶蓬告诉记者，当前的信息安全发展趋势正在从面向合规的安全向面向对抗的安全转变；从消极被动防御到积极主动防御，甚至是攻防兼备、积极对抗的转变。

　　一种防御思想是纵深防御。尽管这个防御思想经常被提及，但是当下要更加深化对“纵深”的理解。“这种纵深不能仅仅是防范某类些攻击路径上的纵深，还需要考虑防范攻击的时间纵深、管理纵深、物理纵深。总之，我们要从更高的维度来进行纵深防御，因为我们的对手也正在研究如何从更高的维度来发起攻击。”叶蓬说。

　　随着网络安全日渐上升到国家层面，以及网络战风险的加大，很多军事理论也被引入了网络安全领域，譬如更加重视情报，尤其是威胁情报在网络威胁检测中的作用。情报的获得与分享将大大提升对高级威胁防御的有效性。而情报的分析与分享需要大数据平台来做支撑。又譬如，军事领域的伪装、诱饵技术也应用于网络安全，安全防御体系中正在加入伪装的核心数据库和服务器，对设备、主机、系统和应用的特征指纹进行伪装，以及部署蜜网等。

　　“100%的守住网络安全是绝不可能的。因此，我们不能被动地防守，我们需要更快更好地识别潜在的威胁和敌人。从国家网络空间安全的角度来看，就是要具备先发制人的能力，以及网络空间威慑的能力。从一般企业和组织的角度来看就是要具备主动防御能力，包括提前获悉网络中的暴露面，获悉网络威胁情报。”叶蓬表示。

　　还有一种防御思维是积极防御、积极对抗。这种思想的终极目标是不求阻止任何攻击，而是尽可能地延缓攻击，拖延攻击者的时间，以便为找到对策争取时间。网络攻防很多时候就是一场夺取时间的战斗，谁得到的时间越多，谁就越有可能掌握对抗的主动权，而掌握主动就意味着更有可能获取对抗的胜利。

　　叶蓬告诉记者，诸如美国国防部提出了移动目标防御(Moving Target Defense，简称MTD)的理论，并投入大量资金进行研究和产业化。移动目标防御的核心就是不断变换己方关键目标的工作姿态，从而使得对方疲于破解，消耗对方的时间，为己方赢得防御时间，提升系统的可生存性。

　　“这种积极防御就像踢足球一样。过去，我们的防守也有阵型，但是更像是站桩式防守，对方一变阵，就完全无法应对。我们过去部署的大量安全设备和系统基本上都是站桩式的，缺乏协作与变换，相互协作和补防能力都没有。积极防御就是要求防守队员都跑动起来，相互之间更好地协同，对于网络安全防护设备而言就是要相互协同联动起来。再厉害一点，连球门(关键保护对象)的位置也要能够变化，譬如隐匿IP，动态化IP等。”叶蓬说。

　　“除了场上的队员要积极起来，场下的教练和分析师智囊团也要积极起来，要根据场上的形势变化做出合理的战术布置和调整。对于网络安全防御，就是要有一个决策分析与研判的机制，要有一个安全分析的大脑。这个大脑能够能够基于历史数据挖掘分析，找到合适的设备，将其部署到合适的位置，让各种安全设备和机制发挥最大的作用；同时，能够实时分析对抗过程中产生的信息，做出合理的防守变化。”叶蓬的比喻非常形象。

　　显然，这个安全分析的大脑就是大数据安全分析平台。

　　大数据安全分析平台

　　“在一个较为完备的基于大数据安全分析的解决方案中，通常会有一个大数据安全分析平台作为整个方案的核心部件，承载大数据分析的核心功能，将分散的安全要素信息进行集中、存储、分析、可视化，对分析的结果进行分发，对分析的任务进行调度，将各个分散的安全分析技术整合到一起，实现各种技术间的互动。”叶蓬表示，通常意义上的SIEM(安全信息与事件分析系统)、安全运营中心(SOC、安管平台)、DLP(数据防泄露系统)、4A系统(认证、账号、授权、审计)等都在这个大数据安全分析平台之下。

　　2014年底，启明星辰发布的具有自主知识产权的泰合大数据安全分析平台，正是基于上述思想进行设计的。叶蓬介绍，该平台可以帮助用户实现在规模不断扩大的异构海量数据如事件、流、网络原始流量、文件等信息中，结合流行的关联分析、机器学习、数理统计、实时分析、历史分析和人机交互等多种分析方法和技术，发现传统的安全产品无法检测的安全攻击和威胁，从而进一步保护用户的信息不被破坏，保障用户的业务安全稳定运行，为用户达成核心战略创造价值。

　　“泰合大数据安全分析平台面向大型企事业单位、政府、组织机构等用户，提供一套完整的分布式数据采集框架及预处理过程，选用成熟的大数据存储架构，结合SQL、NewSQL和NoSQL技术，实现对异构安全数据的快速可靠的存储。平台提供了多种集中式和分布式数据分析方法，可实现对天量安全数据的实时分析与事后分析，同时还提供一套可视化的数据挖掘分析工具，借助于可视化人机界面，协助安全分析师灵活调整分析过程，发现数据价值。”叶蓬介绍，平台采用分布式处理技术在提升采集、存储与分析性能的同时，提供了友好的数据展示平台，采用丰富的数据展示组件，实现了安全数据集及分析结果的可视化，为安全管理人员呈现有价值的分析结果。

　　叶蓬介绍，泰合大数据安全分析平台架构分为采集层、大数据层、分析层、管控层和呈现层，分别完成天量异构数据测采集、预处理、存储、分析和展示，采用多种分析方法，包括关联分析、机器学习、运维分析、统计分析、OLAP分析、数据挖掘和恶意代码分析等多种分析手段对数据进行综合关联，完成数据分析和挖掘的功能，并集成了业界领先的智能威胁情报管理功能，结合内外部威胁情报，可以为安全分析人员和管理人员提供快捷高效的决策支持。

　　重塑信息安全产业

　　“做大数据分析，数据质量非常关键，如果提供分析的数据本身就有问题或者错误，那么分析结果必然有问题。尤其是大数据安全分析中，数据的真实性和原始性更加重要。具体来说，如果我们仅针对海量日志进行分析，可能由于攻击者将关键日志抹除，或者故意掺入假日志，反而会让基于日志的大数据安全分析误导我们。这时，我们很强调对原始网络流量的分析，将这些流量转换为流(元数据)，然后进行大数据分析，配合日志分析，效果更佳。”叶蓬说。

　　当然，整体上而言，和大数据分析在其他行业的应用一样，大数据安全分析还处于早期，尚未成熟，但前景乐观。叶蓬认为，一方面，大数据分析自身的生态还未真正建立，大数据技术本身还在迅速演化；另一方面，基于大数据的安全分析算法还不够丰富，安全分析算法的设计人员和数据分析师匮乏，大部分分析结果还需要富有经验的安全分析师才能解读，分析结果还做不到一目了然。因此，目前大数据安全分析主要用于针对APT等新型威胁的检测分析，因为这类需求本身很复杂，值得做这个投入。叶蓬强调，用户在建设大数据安全系统之前，一定要确认清晰的目标，要有对发展现状和自身能力的正确认知，切不可盲从。

　　贾彬则认为，大数据分析技术在信息安全领域应用的最大障碍在于如何将数据分析与威胁结合起来。“数据建模、行为分析都是围绕威胁进行的，要解决这个问题，最重要的是需要具备网络安全积累、熟悉网络威胁特点、了解攻防技术的技术专家，对数据进行建模、分析，这样才能在海量数据中抓取出真正属于威胁的数据进行分析，否则威胁行为将会淹没在数据的海洋中。”贾彬说。

　　大数据时代的到来，使得安全数据的地位和价值得到了空前的提升，数据成为了网络安全的关键资源。叶蓬指出，大数据安全分析本质上还是一种知识的运用和提取。在大数据时代，安全对抗往往体现为数据和知识的对抗。

　　叶蓬也强调，大数据安全分析不是一个产品分类，而是一种技术，一种安全分析理念和方法。大数据安全分析技术正在重塑整个信息安全产业，体现在安全防护架构、安全分析体系和业务模式等诸多方面，各种安全产品也正在被大数据安全分析技术重塑。

　　链接 大数据安全分析重塑安全防护架构

　　启明星辰泰合产品本部产品总监叶蓬认为，安全数据的大数据化、传统安全分析面对新型威胁的缺陷、情境感知和智能安全的发展大势，使得大数据安全分析迅速进入了网络安全领域。而一旦网络安全遇到大数据安全分析，就必然被深刻地影响并重塑。这种重塑体现在安全防护架构、安全分析体系和业务模式等诸多方面。在大数据安全分析重塑安全防护架构方面，叶蓬认为主要体现在以下六个方面。

　　一是大数据安全分析重塑SIEM和安管平台。

　　在所有网络安全领域中，大数据安全分析对安全管理平台(SOC平台、安管平台)和安全信息与事件分析(SIEM)系统的影响最为深远。

　　传统的SIEM和安管平台由于其核心的安全事件采集、分析及存储引擎的架构是针对中小数据集合而设计的，在面对大数据的时候运行乏力，难以为继。SIEM和安管平台都具有安全事件(日志)的采集、存储、分析、展示等几个过程，正好与大数据分析的收集、存储、分析和可视化过程完全相同。因此，SIEM和安管平台天然具有应用大数据分析技术的特质。而将传统SIEM和安管平台的安全事件采集、分析及存储引擎更换为大数据分析引擎后，SIEM和安管平台被带到了一个全新的高度，进入大数据时代。

　　大数据安全分析技术的运用已经成为未来SIEM和安管平台的关键技术发展趋势之一。

　　二是大数据安全分析推动高级威胁检测。

　　传统的安全分析是构建在基于特征的检测基础之上的，只能做到知所已知，难以应对高级威胁的挑战。而要更好地检测高级威胁，就需要知所未知，这也就催生了诸如行为异常分析技术的发展。行为异常分析的本质就是一种机器学习，自动建立起一个正常的基线，从而去帮助分析人员识别异常。面对天量的待分析数据，要想达成理想的异常分析结果，借助大数据分析技术成为明智之举。

　　同时，为了对抗高级威胁，还需要有长时间周期的数据分析能力，而这正是大数据分析的优势所在。

　　此外，安全分析人员在进行高级威胁检测的过程中需要不断地对感兴趣的安全数据进行数据勘探，而要针对天量数据实现即席的交互式分析，需要有强大的数据查询引擎，这同样也是大数据分析的优势所在。

　　三是大数据安全分析促进欺诈检测。

　　客户业务的日益复杂和线上业务的不断丰富，使得欺诈检测遭遇了前所未有的挑战。现代的欺诈检测系统大都具备基于行为轮廓的异常检测能力，而对天量的用户、账号、实体、业务的访问行为信息进行建模绝非易事，大数据技术的引入有助于提升建模过程的速度和准确度。大数据安全分析技术正在重塑欺诈检测系统。

　　四是大数据安全分析增强各类安全产品。

　　除了前面提及的已经显著受到大数据技术影响的安全防护系统之外，很多传统的安全防护系统也同样正在引入大数据安全分析技术。

　　借助大数据安全分析技术，DLP系统将变得更加智能，不仅能够对已经标定的敏感信息进行检测，还能对用户使用数据的行为过程进行建模，从而针对更多地难以进行简单标定的敏感信息的访问进行异常检测。

　　借助大数据安全分析技术，通过对DAM系统收集到的海量数据库访问日志进行业务建模，从而识别用户的业务违规，使得DAM系统的价值得到进一步提升。

　　借助大数据安全分析技术，能够实现针对IAM和4A系统的用户违规智能审计。通过对IAM和4A系统的海量用户访问日志进行建模和机器学习，发现小概率的异常事件。

　　借助大数据安全分析技术，还能够提升静态应用安全测试(SAST)系统的检测速率，并能够通过高效地聚类/分类等算法更好地寻找应用系统的安全漏洞。

　　五是大数据安全分析激发网络威胁情报分析与协作。

　　随着高级威胁的日益泛滥，尤其是网络空间安全对抗逐步上升到专门组织、国家层面，很多传统的犯罪分析和军事战争的理论及战略战术被不断引入网络空间安全之中。这其中，最显著的一个趋势就是网络威胁情报的兴起。

　　Gartner认为，威胁情报是一种基于证据的知识，包括了情境、机制、指标、隐含和实际可行的建议。威胁情报描述了现存的、或者是即将出现针对资产的威胁或危险，并可以用于通知主体针对相关威胁或危险采取某种响应。

　　威胁情报最大的好处就是能够直接作用于企业和组织的安全防护设施，实现高效快速的威胁检测和阻断。

　　但是威胁情报信息的获得绝非易事。专业的威胁情报服务提供商能够采集互联网上的各种数据，既包括浅层Web，也包括深层Web，甚至是暗网(Dark Web)的数据，抑或是授权客户的数据，然后基本上都利用大数据分析技术产生有关攻击者的威胁情报信息。

　　谁也不可能独立获得最全的威胁情报，就像我们的反恐或者犯罪调查一样，各个情报组织间的合作至关重要。网络威胁情报亦是如此。利用大数据分析技术，有的厂商建立起一个威胁情报的分享和协作平台，进行威胁情报的交换，更大限度地发挥情报的价值。

　　简言之，借助大数据安全分析技术，威胁情报分析与共享这个新兴的安全分析领域获得了突飞猛进的进步，当前正处于聚光灯下。

　　六是大数据安全分析造就大数据安全分析平台。

　　大数据安全分析不仅重塑着传统的安全防护系统，催化着威胁情报，有时候也显性化地表现为一个专有的分析平台。

　　如前所述，大数据安全分析不是一个产品分类，而代表一种技术，各种安全产品都能够运用大数据安全分析技术。在一个较为完备的基于大数据安全分析的解决方案中，通常会有一个大数据安全分析平台作为整个方案的核心部件，承载大数据分析的核心功能，将分散的安全要素信息进行集中、存储、分析、可视化，对分析的结果进行分发，对分析的任务进行调度，将各种分散的安全分析技术整合到一起，实现各种技术间的互动。此时，通常意义上的SIEM(安全信息与事件分析系统)、安全运营中心(SOC、安管平台)、DLP(数据防泄露系统)、4A系统(认证、账号、授权、审计)等都在这个大数据安全分析平台之下。

　　本报记者 程彦博