大数据驱动的网络安全态势感知平台架构与性能评估

　　文/李静 杨斌通信作者 枣庄学院信息科学与工程学院

　　摘要：本文设计了一个包含四个核心层次的安全态势感知平台架构，其中，数据采集层自动收集多种来源的数据，存储与处理层实现海量数据的高效管理，数据分析层应用机器学习算法挖掘有价值信息，态势感知与可视化层通过综合评估模型实时监测网络安全态势，以直观方式展示结果，加快升级硬件软件配置，提升平台性能。

　　关键词：大数据；网络安全；态势感知平台

　　引言

　　网络已成为现代社会不可或缺的基础设施，但是，网络安全问题也日渐凸显，网络攻击手段不断翻新，传统安全防护手段难以应对。大数据技术以其强大的数据处理能力为网络安全态势感知提供了新的可能。本文设计了一个包含四个核心层次的安全态势感知平台，该平台能够实现对网络安全态势的实时感知，并在检测到异常或威胁时，及时发出预警，有助于用户更好地理解当前的安全状况，从而作出科学的决策。

　　1. 大数据技术与网络安全态势感知

　　1.1 大数据技术概述

　　1.1.1 数据采集、存储与处理技术

　　数据采集技术从各种来源（如传感器、日志文件、社交媒体等）自动或半自动收集数据，通过网络爬虫技术可以从互联网上抓取大量信息，传感器技术则可以从物理世界中实时捕获数据[1]。分布式存储技术如Hadoop Distributed File System（HDFS）成为主流，能够将数据分散存储在多个节点上，提高存储效率。

　　1.1.2 大数据分析与挖掘技术

　　大数据分析与挖掘技术从海量数据中提取有价值的信息，通过聚类分析，可以将相似的数据点分组，发现隐藏的模式或关联。数据分析常使用统计方法和机器学习算法。机器学习算法如决策树、支持向量机（SVM）和神经网络等，能够从数据中学习并作出预测。机器学习中的线性回归模型可以用公式表示为

　　（1）

　　式中，y为因变量，x1为自变量，βi为回归系数，为误差项。在聚类分析中，K-means算法是一种常用的方法，其目标是最小化每个数据点与其所属类别中心点之间的距离平方和，即

　　（2）

　　式中，J为聚类的目标函数，表示所有数据点到其所属类别中心点的距离平方和；K为聚类的数量；Ck为第k个聚类；xi是属于第k个聚类的数据点；μk为第一个聚类的中心点。在数据分类问题中，逻辑回归模型也常被使用，其公式可以表示为

　　（3）

　　式中，为在给定自变量x的条件下，因变量Y取值为1的概率；为逻辑回归模型的系数。通过多样化的数据采集技术，网络安全态势感知平台能够实时地从不同来源（如网络流量、系统日志、用户行为等）抓取与网络安全相关的数据。数据收集为后续的态势分析和预警提供了信息基础。

　　1.2 网络安全态势感知原理

　　1.2.1 态势感知模型与算法

　　在网络安全态势感知中，态势感知模型是核心组成部分，通常基于数据融合、威胁评估、网络行为分析等技术构建[2]。为全面评估网络安全状况，采用基于权重和的综合评估模型。该模型可以表示为

　　（4）

　　式中，S为网络安全态势的综合评估值；wi为第一个安全指标的权重，反映了该指标在整体安全评估中的重要性；si为第i个安全指标的得分或评估值；n为安全指标的总数。模型综合考虑多个安全指标，能够给出一个全面的网络安全态势评估。每个指标的权重可以根据实际情况进行动态调整，以适应不同的安全需求。算法可以准确地识别网络中的异常行为和潜在威胁。

　　1.2.2 实时态势监测与评估

　　实时态势监测要求系统能实时监控网络流量、系统日志、用户行为等关键信息，及时发现并应对安全威胁。在实时监测过程中，采用机器学习技术来建立正常的行为基线，并据此检测异常行为，使用基于滑动窗口的异常检测算法来实时监测网络流量。该算法可以计算每个时间窗口内的流量统计特征，并与历史数据进行比较，检测出异常流量。具体公式可以表示为

　　（5）

　　式中，为在时间t的异常得分；为在时间观测到的流量统计特征值；和分别是到时间t为止观测到的流量统计特征的均值和标准差。当超过某个预设的阈值时，就认为发生了异常流量。

　　2. 基于大数据的网络安全态势感知平台设计

　　2.1 平台架构设计

　　基于大数据的网络安全态势感知平台设计包括四个核心层次：数据采集层负责从各种来源自动收集数据；数据存储与处理层利用分布式存储技术高效管理海量数据，并进行实时处理；数据分析层运用大数据分析与挖掘技术提取有价值信息；态势感知与可视化层通过综合评估模型及实时监测算法，实现网络安全的全面态势感知，并将结果以直观方式展示，以便快速响应决策[3]。基于大数据的网络安全态势感知平台如图1所示。

　　2.2 关键技术分析

　　2.2.1 分布式数据采集技术

　　分布式数据采集技术是构建基于大数据的网络安全态势感知平台的基础。该技术通过在网络环境中部署多个数据采集节点，实现对多种数据源的数据监控，不仅提高了数据采集的效率，还保证了数据的完整性。该技术采用了负载均衡、数据压缩和加密传输等策略，有效解决了大规模数据采集过程中可能出现的网络拥塞、数据丢失等问题。

　　2.2.2 大数据存储与计算框架（如Hadoop、Spark）

　　Hadoop和Spark是当前最流行的大数据框架。Hadoop通过分布式文件系统（HDFS）实现海量数据的可靠存储，并通过MapReduce编程模型支持大规模数据的并行处理；Spark则提供了更加高效的数据处理引擎，支持内存计算实时分析网络数据并快速响应安全威胁。

　　2.2.3 数据流处理与实时分析技术（如Storm、Flink）

　　框架采用分布式计算架构，能够并行处理大量数据流，同时提供低延迟和高吞吐量的数据处理能力。通过应用这些技术，网络安全态势感知平台能够在短时间内对网络环境进行全面监控，及时发现并响应安全事件[4]。

　　2.2.4 机器学习算法在态势感知中的应用

　　机器学习算法通过应用机器学习算法，让网络安全态势感知平台自动学习和识别网络环境中的正常和异常行为模式。使用无监督学习算法对大量网络数据进行聚类分析，发现异常流量和行为模式；使用监督学习算法对已知的安全威胁进行分类和识别；使用强化学习算法不断优化态势感知模型，提高威胁检测的准确性。

　　3. 平台应用与效果评估

　　3.1 平台部署与运行环境

　　基于大数据的网络安全态势感知平台的部署需要考虑服务器硬件、操作系统、大数据框架和网络环境等多个方面。服务器硬件CPU核心数，≥32核；内存，≥256GB；存储，≥10TBSSD用于HDFS，≥2TBRAM用于Spark缓存。选择Linux发行版，如CentOS 7或Ubuntu 18.04 LTS。大数据框架基于Hadoop 3.x，选择可高速互联网连接的内部网络带宽足够支持数据实时传输。部署完成后，需要配置相应的服务，如HDFS、YARN、ZooKeeper等，并安装和配置所需的大数据框架和工具。

　　3.2 应用案例分析

　　以中国移动四川公司网络安全态势感知平台为例，该平台采用上述技术架构进行部署。网络流量需要确定采集范围，以及采集的具体数据内容。安全事件要定义类型和来源，数据采集环境需要部署数据采集代理或传感器在网络中的关键位置，以便捕获所需的流量、日志和事件[5]。让数据采集设备具有足够的处理能力来实时捕获数据，并且配置正确，以避免数据丢失。设置大数据处理集群（如Hadoop、Spark），配置数据流处理框架（如Storm、Flink），以便实时分析网络流量和日志数据。

　　测试数据集准备包含正常和异常流量的测试数据集，准备已知的安全事件数据集，用于验证安全事件处理的准确性。然后，确定实验的时间周期，如连续几天或几周，以收集足够的数据进行评估。将捕获的数据导入大数据处理集群，并使用MapReduce、Spark等框架进行处理分析，使用Storm或Flink处理数据流，并计算处理延迟。应用案例数据如表1所示。

　　3.3 效果评估与优化建议

　　网络流量的数据采集量达到每天500GB，且采集延迟不超过1秒，数据处理延迟方面，网络流量的处理延迟在5秒以内，系统日志的处理延迟在3秒以内，安全事件的处理延迟更是低于1秒。从表中数据可见，网络流量的异常检测率高达98%，系统日志的异常检测率为95%，安全事件的异常检测率更是达到了100%，平台异常检测较为准确。中国移动四川公司网络安全态势感知平台在数据采集效率、数据处理能力和异常检测准确性方面均表现出色。

　　随着数据量的不断增长，平台的数据处理能力也将面临更大的挑战。建议进一步升级大数据处理集群的硬件和软件配置，提升用户对平台功能和操作的熟练程度，及时解决用户在使用过程中遇到的困难。

　　结语

　　本文通过构建核心层次平台架构，实现了对网络安全的全面实时监控，平台采用分布式数据采集技术，有效提高了数据采集效率与数据完整性。借助Hadoop、Spark等大数据框架，实现了海量数据的高效存储与实时处理。通过应用机器学习算法，平台能够自动学习和识别网络环境中的异常行为模式，从而大幅提高异常检测的准确性。

　　参考文献：

　　[1]王帅.大数据背景下网络安全态势感知平台技术分析[J].软件,2023,44(4): 172-174.

　　[2]李昶.基于大数据的安全态势感知系统研究[J].移动信息,2023,45(9):132-134.

　　[3]李泽慧,徐沛东,邬阳,等.基于大数据的网络安全态势感知平台应用研究[J].计算机应用与软件,2023,40(7):337-341.

　　[4]谢志奇.基于大数据分析的网络安全态势感知系统设计与应用[J].网络安全和信息化,2023(10):115-118.

　　[5]王可阳.基于大数据技术的网络安全态势感知研究[J].科学与信息化,2023(11):46-48.

　　作者简介：李静，硕士研究生，助教，研究方向：网络安全；通信作者：杨斌，博士研究生，教授，研究方向：医学大数据。