随着网络基础设施的不断发展和电子政务比重的不断增加，网络规模逐渐扩大，安全数据与日俱增，网络安全问题也被提到了至关重要的位置。
随着学校业务的信息化和数字化，网络威胁也在不断演变，网络安全威胁也越来越复杂。而现有的安全产品，如防火墙、入侵检测系统、入侵防御系统、漏洞扫描系统、反病毒系统等，都是各自为政的，无法全面、有机地发现网络中存在的安全问题。
近年来，网络安全态势感知引起了研究者和各大厂商的广泛关注。网络安全态势感知可以整合所有可用信息，全面感知网络威胁态势，提高网络监控能力，可视化网络安全状态，为网络安全管理者提供决策依据，提高应急响应能力[1]。因此，为了解决北京大学医学部网络安全面临的问题，本文提出了一种主动防御模式的网络安全态势感知方案。
网络安全面临的问题
从1996年“211”校园网建设项目启动到2016年校园网建设改造，北大医学部主干线路速度从155Mbps提升到10 Mbps，校园物理服务器增加到24台，校园虚拟服务器增加到123台，虚拟化存储增加到90TB。
随着北大医学部网络规模的逐渐扩大，网络管理者的安全意识逐渐加深，各种安全防护产品纷纷上架，如防火墙、安全审计产品、入侵检测产品、漏洞扫描系统等。但随着大数据时代的到来，网络安全面临着新的挑战：
1.海量日志处理问题
经过几十年的发展，北京大学医学部的信息化建设几乎覆盖了校园的每个角落。
一方面，学生和教职工的各类电子设备，如手机、平板电脑、笔记本、科研服务器等，成为校园网络日志数据的重要来源，每天都会产生大量的上网行为日志；另一方面，随着网络规模的扩大，网络设备本身会产生大量的操作系统日志和设备日志。
如何从海量日志中挖掘有效信息是一项重要任务，但传统的日志分析软件无法高效、实时地分析和处理海量日志。
2.传统的安全设备是分散的。
在目前的网络安全体系中，安装杀毒软件查杀病毒，安装防火墙防范常见的外部攻击，购买入侵检测系统防范入侵，使用漏洞扫描系统防范Web攻击。
但是这些设备是单一的、分散的，需要网络管理人员逐个进行配置，并对这些设备产生的数据进行人工汇总和分析。它们缺乏全面、整体、持续的功能，只是将设备堆叠起来，无法实现安防设备之间的协同联动。
3.高级持续威胁(高级
持续威胁的增加(APT)
随着以APT [2]为代表的新型攻击的发展，网络安全形势发生了很大变化，APT攻击已经成为一种高风险的网络攻击方式。
与传统的数据库注入、跨站脚本攻击、病毒和木马威胁不同，APT攻击的破坏性更强、隐蔽性更强、持久性更强。
而现有网络安全防御设备的告警信息是单独存储的，没有从全方位整体的角度看待安全问题，很难从海量日志中发现APT。
网络安全态势感知方案
自1999年美国空军通信与信息中心的T.Bass提出网络空间态势感知的概念[3]以来，各种专家学者基于这一概念提出了不同的改进模型。综合各种不同的模型，得出网络安全态势感知是指
“收集导致网络状态变化的安全态势因素，并运用相关数学理论
从概念上可以看出，网络安全态势感知包括网络态势元素提取、网络态势数据融合和网络态势预测三个层次，如图1所示。
针对网络安全面临的三个问题，以态势感知的概念设计了一个网络安全态势感知方案，如图2所示。
图2网络安全态势感知框架
该方案分为三个级别：
1.元素提取。元素提取是网络安全态势感知的基础。同时，也是构建网络安全态势感知平台的第一步。综合态势因子提取对于平台的有效性至关重要，不同来源和类型的日志是态势感知平台的信息源。
2.数据融合。数据融合是网络安全态势感知的保障。它融合孤立和单独存储的数据，形成协作数据。这不仅为网络安全态势感知提供了数据接口，也为日志管理提供了通道。
3.形势预测。态势预测是网络安全态势感知的关键。态势感知平台的效果很大程度上取决于态势预测的准确性。利用态势预测的结果，可以提高网络系统的应急能力和监控能力。可视化是网络安全态势感知的一种表达方式。
下面详细介绍网络安全态势感知各部分的细节。
元素提取
元素提取是从网络架构中提取影响网络态势变化的元素，是建立网络安全态势感知的第一步。
首先，元素的提取要全面，包括WEB日志、操作系统日志、网络和安全设备日志。全面的数据采集是具有整体性和全局性的态势感知的重要保证。同时也能形成对设备的全方位监控。
其次，元素的收集方式多样化。不同的产品有不同的日志输出方式，多样化的数据元素采集方式是保证元素提取全面性的重要手段。常见的数据采集方式有：探针、爬虫、FileBeat采集和SDK接口。
最后，对提取的元素进行归一化处理。不同产品的日志格式往往差别很大，甚至同一产品不同类型的日志格式也不一样。所以对于下一步的数据融合来说，数据的标准化是必不可少的。常用的规范化处理方法有根据需求进行正则化处理和使用Logstash、Kafka、ETL等工具进行处理。
数据融合
数据融合是通过收集和汇集不同来源的不同种类的数据，依次进行数据描述、数据组织和数据交换，最终通过数据服务提供数据检索和显示功能的数据融合功能。
图2网络安全态势感知框架
如图2所示，通过元素提取对数据进行归一化处理后，结合大数据不同的分布式存储方式，对日志数据进行分类存储。一些元素，比如防火墙日志，使用ElasticSearch及其对应的组件来存储和检索数据，而另一些使用Hive及其对应的组件来存储和检索数据。
ElasticSearch具有强大的聚合统计和全文检索功能，但不能与查询关联。Hive具有关系检索和数据转换能力，但实时性不足。它们相互补充，相互配合，可以联合查询不同来源的数据。
数据融合横向打通多源异构数据，通过数据融合可以实时捕捉到原业务系统的任何数据变化。从而为威胁事件及时检索出某段时间内威胁行为的源IP地址和目的IP地址，进而挖掘出更有效的信息。
形势预测
根据数据融合提供的数据接口，利用机器学习算法进行态势预测，识别各种网络活动和异常网络活动的意图，从而获得网络安全态势。
北京大学健康科学中心使用机器学习算法来预测情况。机器学习在描述非线性复杂系统方面有很好的表现，其适应性、自组织性和无限逼近能力
网络安全管理者根据呈现的攻击、威胁和风险提示，及时做出预判和干预，快速准确地消除或降低安全威胁隐患。
情况预测将威胁响应时间从过去的几天缩短到几十分钟，进一步降低了病毒横向传播的概率。可视化是态势感知平台的重要组成部分，能够清晰有效地传达态势预测信息。
网络安全态势预测是一种主动防御机制，它首先分析和了解当前和过去的网络态势要素，然后推测未来的网络态势，因此是建立动态响应机制的重要保障。
标签
针对北京大学医学部海量日志处理、高级持续性威胁上升、与传统安全设备关联性弱等问题，提出了一种网络安全态势感知方案。
在该方案中，采取多种措施提取安全元素的数据，并使用两种分布式数据存储方法对数据进行融合。最后，使用机器学习算法来预测网络的未来情况。该方案提高了高校校对人员对海量数据的管理能力，增强了网络安全的防御能力，也增加了安全状况的可视性。
参考
[1]石，刘佳，等.网络安全态势感知研究综述[J].计算机工程与应用，2019，55 (24): 9。
[2]董刚，魏昱，玄光哲。高级持久威胁中攻击特征的分析与检测[J].吉林大学学报：科学版，2019，57 (2): 6。
[3]塔达G，萨勒诺J J，波尔维尔D，等.在网络环境中实现态势感知[C]//SPIE .SPIE，2006:624204-624204-8。
[4]胡浩。基于攻击图的网络安全态势感知方法研究[D].战略支援部队信息工程大学，2018。
作者：耿(北京大学医学部网络安全与信息化技术中心)